Machine Learning on Nalar

Adaptasi Neural Network dengan Gradient Reversal

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah classifier dapat bekerja baik saat evaluasi lalu melemah setelah deployment karena input berubah. Foto produk mungkin berasal dari kamera baru, pesan dukungan dapat memakai kosakata berbeda, atau pembacaan sensor datang dari hardware lain. Mengumpulkan label untuk lingkungan baru bisa mahal meskipun contoh tanpa label mudah diperoleh.

Domain-adversarial training menangani salah satu bentuk masalah ini. Metode ini meminta feature extractor mendukung tugas prediksi sekaligus membuat domain source dan target sulit dibedakan. Sebuah gradient reversal layer membuat kedua tujuan yang berlawanan itu dapat dilatih dengan backpropagation biasa dengan membalik gradient dari domain classifier sebelum mencapai feature extractor.

Model Ensembling untuk Menggabungkan Prediksi

Sat, 05 Sep 2026 00:00:00 +0000

Sebuah model machine learning dapat gagal karena pola yang spesifik terhadap proses pelatihannya: initialization, batch yang tersampel, data pelatihan, arsitektur, atau hyperparameter. Model lain dapat menghasilkan kesalahan yang berbeda. Ensembling memanfaatkan perbedaan tersebut dengan menggabungkan prediksi beberapa model alih-alih bergantung pada satu model saja.

Idenya sederhana, tetapi ensemble yang berguna membutuhkan lebih dari sekadar merata-ratakan semua model yang tersedia. Model yang membuat kesalahan hampir identik memberikan sedikit informasi pelengkap, sedangkan model yang beragam dapat memperbaiki prediksi dengan konsekuensi tambahan biaya pelatihan, memori, dan inference.

Ukur Konsentrasi Attention dengan Entropi

Sat, 05 Sep 2026 00:00:00 +0000

Attention pada Transformer sering diperiksa sebagai matriks bobot. Cara ini cukup untuk beberapa contoh, tetapi menjadi sulit ketika Anda perlu membandingkan banyak head, layer, token, atau beberapa model run. Ringkasan yang berguna adalah entropi attention: angka yang menggambarkan seberapa terkonsentrasi atau tersebar suatu distribusi attention.

Entropi dapat menjawab pertanyaan yang sempit tetapi praktis: apakah query menempatkan sebagian besar massa attention pada sedikit posisi yang tersedia, atau menyebarkannya secara luas? Entropi tidak memberi tahu apakah model benar, apakah sebuah token menyebabkan prediksi, atau apakah sebuah head penting. Dengan memahami batas tersebut, entropi menjadi diagnostik ringkas untuk perilaku attention.