https://nalar.dev/id/tags/jaringan-neural/ Recent content in Jaringan Neural on Nalar Hugo id-id Fri, 18 Sep 2026 00:00:00 +0000 https://nalar.dev/id/hitung-ulang-statistik-batchnorm-setelah-weight-averaging/ Fri, 18 Sep 2026 00:00:00 +0000 https://nalar.dev/id/hitung-ulang-statistik-batchnorm-setelah-weight-averaging/ <p>Merata-ratakan dua checkpoint jaringan neural dapat menghasilkan vektor parameter yang berguna, tetapi meninggalkan statistik berjalan BatchNorm yang terikat pada jaringan berbeda. Bobot menentukan satu kumpulan aktivasi; running mean dan running variance yang tersimpan dapat menggambarkan aktivasi dari bobot sebelumnya. Inferensi kemudian menggabungkan state dari dua titik berbeda di ruang parameter.</p> <p>Ketidakcocokan ini mudah terlewat karena statistik berjalan BatchNorm merupakan buffer, bukan parameter yang dioptimalkan, pada banyak implementasi. Prosedur weight averaging dapat menangani semua bobot dengan benar dan tetap menghasilkan state inferensi yang tidak konsisten secara internal.</p>