Optimisasi on Nalar

Hitung Ulang Statistik BatchNorm Setelah Weight Averaging

Fri, 18 Sep 2026 00:00:00 +0000

Merata-ratakan dua checkpoint jaringan neural dapat menghasilkan vektor parameter yang berguna, tetapi meninggalkan statistik berjalan BatchNorm yang terikat pada jaringan berbeda. Bobot menentukan satu kumpulan aktivasi; running mean dan running variance yang tersimpan dapat menggambarkan aktivasi dari bobot sebelumnya. Inferensi kemudian menggabungkan state dari dua titik berbeda di ruang parameter.

Ketidakcocokan ini mudah terlewat karena statistik berjalan BatchNorm merupakan buffer, bukan parameter yang dioptimalkan, pada banyak implementasi. Prosedur weight averaging dapat menangani semua bobot dengan benar dan tetap menghasilkan state inferensi yang tidak konsisten secara internal.

Batasi Pergeseran Parameter dengan Elastic Weight Consolidation

Thu, 17 Sep 2026 00:00:00 +0000

Fine-tuning neural network pada task baru dapat menggeser parameter dari nilai yang mendukung task sebelumnya. Objective baru tidak memiliki alasan inheren untuk mempertahankan perilaku lama ketika data task sebelumnya tidak ikut dalam update. Elastic weight consolidation, atau EWC, menambahkan constraint di parameter space untuk mengurangi pergeseran tersebut.

Constraint ini selektif, bukan seragam. Parameter yang diperkirakan lebih berpengaruh bagi task sebelumnya menerima penalti lebih besar ketika bergerak, sedangkan parameter dengan importance lebih rendah dapat berubah lebih bebas. EWC karena itu bukan sekadar weight decay menuju nol.

Akumulasi Gradien di Beberapa Microbatch

Mon, 14 Sep 2026 00:00:00 +0000

Sebuah batch pelatihan dapat melampaui kapasitas memori accelerator meskipun parameter model dan state optimizer masih muat dengan nyaman. Aktivasi dari forward pass sering mengambil porsi besar dari sisa penggunaan memori, dan biayanya bertambah seiring jumlah contoh yang diproses bersama.

Gradient accumulation membagi batch logis yang lebih besar menjadi beberapa microbatch. Setiap microbatch menjalankan forward dan backward pass sendiri, tetapi optimizer menunggu sampai beberapa backward pass berkontribusi ke gradien parameter. Pola ini mengurangi memori aktivasi yang diperlukan untuk satu pass tanpa memaksa pembaruan optimizer setelah setiap microbatch.

Rata-ratakan Bobot Neural Network dengan Stochastic Weight Averaging

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah neural network jarang mengakhiri pelatihan tepat di satu-satunya titik berguna dalam ruang parameter. Menjelang akhir pelatihan, stochastic gradient descent (SGD) dapat mengunjungi beberapa konfigurasi parameter yang berdekatan dan semuanya berkinerja cukup baik, sementara checkpoint terakhir hanya mewakili salah satunya.

Stochastic weight averaging (SWA) mengubah pengamatan tersebut menjadi teknik pelatihan sederhana: kumpulkan parameter model dari beberapa titik pada bagian akhir trajektori SGD lalu hitung rata-rata aritmetikanya. Hasilnya adalah satu model dengan bobot yang dirata-ratakan, sehingga inference tidak perlu menjalankan ensemble dari semua checkpoint yang dikumpulkan.

Rata-ratakan Bobot Neural Network dengan Stochastic Weight Averaging

Mon, 07 Sep 2026 00:00:00 +0000

Sebuah neural network jarang mengakhiri training pada satu-satunya titik yang berguna di parameter space. Menjelang akhir training, stochastic gradient descent (SGD) dapat mengunjungi beberapa konfigurasi parameter berdekatan yang semuanya bekerja cukup baik, sementara checkpoint terakhir hanya merepresentasikan salah satunya.

Stochastic weight averaging (SWA) mengubah pengamatan tersebut menjadi teknik training sederhana: kumpulkan parameter model dari beberapa titik pada bagian akhir trajectory SGD lalu hitung rata-rata aritmetikanya. Hasilnya adalah satu model dengan bobot yang sudah dirata-ratakan, sehingga inference tidak perlu menjalankan ensemble dari semua checkpoint yang dikumpulkan.