Neural Network on Nalar

Batasi Pergeseran Parameter dengan Elastic Weight Consolidation

Thu, 17 Sep 2026 00:00:00 +0000

Fine-tuning neural network pada task baru dapat menggeser parameter dari nilai yang mendukung task sebelumnya. Objective baru tidak memiliki alasan inheren untuk mempertahankan perilaku lama ketika data task sebelumnya tidak ikut dalam update. Elastic weight consolidation, atau EWC, menambahkan constraint di parameter space untuk mengurangi pergeseran tersebut.

Constraint ini selektif, bukan seragam. Parameter yang diperkirakan lebih berpengaruh bagi task sebelumnya menerima penalti lebih besar ketika bergerak, sedangkan parameter dengan importance lebih rendah dapat berubah lebih bebas. EWC karena itu bukan sekadar weight decay menuju nol.

Memperhitungkan Label Smoothing pada Confidence Classifier

Tue, 15 Sep 2026 00:00:00 +0000

Classifier yang dilatih dengan target one-hot mendapat dorongan untuk memindahkan massa probabilitas ke kelas berlabel. Cross-entropy terus menurun saat model memberi kelas tersebut probabilitas yang semakin mendekati satu, bahkan setelah kelas prediksi sudah benar. Label smoothing mengubah tekanan ini dengan memberikan sedikit massa target kepada kelas lain.

Perubahan tersebut mudah dianggap sebagai detail kecil pada loss function. Namun dampaknya tidak kecil ketika aplikasi menggunakan nilai probabilitas model. Target yang dilunakkan mengubah optimum yang didorong oleh objektif training, sehingga skor confidence dari model dengan smoothing tidak seharusnya ditafsirkan seolah berasal dari objektif yang sama dengan training one-hot biasa.

Akumulasi Gradien di Beberapa Microbatch

Mon, 14 Sep 2026 00:00:00 +0000

Sebuah batch pelatihan dapat melampaui kapasitas memori accelerator meskipun parameter model dan state optimizer masih muat dengan nyaman. Aktivasi dari forward pass sering mengambil porsi besar dari sisa penggunaan memori, dan biayanya bertambah seiring jumlah contoh yang diproses bersama.

Gradient accumulation membagi batch logis yang lebih besar menjadi beberapa microbatch. Setiap microbatch menjalankan forward dan backward pass sendiri, tetapi optimizer menunggu sampai beberapa backward pass berkontribusi ke gradien parameter. Pola ini mengurangi memori aktivasi yang diperlukan untuk satu pass tanpa memaksa pembaruan optimizer setelah setiap microbatch.

Adaptasi Neural Network dengan Gradient Reversal

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah classifier dapat bekerja baik saat evaluasi lalu melemah setelah deployment karena input berubah. Foto produk mungkin berasal dari kamera baru, pesan dukungan dapat memakai kosakata berbeda, atau pembacaan sensor datang dari hardware lain. Mengumpulkan label untuk lingkungan baru bisa mahal meskipun contoh tanpa label mudah diperoleh.

Domain-adversarial training menangani salah satu bentuk masalah ini. Metode ini meminta feature extractor mendukung tugas prediksi sekaligus membuat domain source dan target sulit dibedakan. Sebuah gradient reversal layer membuat kedua tujuan yang berlawanan itu dapat dilatih dengan backpropagation biasa dengan membalik gradient dari domain classifier sebelum mencapai feature extractor.

Rata-ratakan Bobot Neural Network dengan Stochastic Weight Averaging

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah neural network jarang mengakhiri pelatihan tepat di satu-satunya titik berguna dalam ruang parameter. Menjelang akhir pelatihan, stochastic gradient descent (SGD) dapat mengunjungi beberapa konfigurasi parameter yang berdekatan dan semuanya berkinerja cukup baik, sementara checkpoint terakhir hanya mewakili salah satunya.

Stochastic weight averaging (SWA) mengubah pengamatan tersebut menjadi teknik pelatihan sederhana: kumpulkan parameter model dari beberapa titik pada bagian akhir trajektori SGD lalu hitung rata-rata aritmetikanya. Hasilnya adalah satu model dengan bobot yang dirata-ratakan, sehingga inference tidak perlu menjalankan ensemble dari semua checkpoint yang dikumpulkan.

Rata-ratakan Bobot Neural Network dengan Stochastic Weight Averaging

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah neural network jarang mengakhiri training pada satu-satunya titik yang berguna di parameter space. Menjelang akhir training, stochastic gradient descent (SGD) dapat mengunjungi beberapa konfigurasi parameter berdekatan yang semuanya bekerja cukup baik, sementara checkpoint terakhir hanya merepresentasikan salah satunya.

Stochastic weight averaging (SWA) mengubah pengamatan tersebut menjadi teknik training sederhana: kumpulkan parameter model dari beberapa titik pada bagian akhir trajectory SGD lalu hitung rata-rata aritmetikanya. Hasilnya adalah satu model dengan bobot yang sudah dirata-ratakan, sehingga inference tidak perlu menjalankan ensemble dari semua checkpoint yang dikumpulkan.