https://nalar.dev/id/tags/pelatihan/ Recent content in Pelatihan on Nalar Hugo id-id Mon, 07 Sep 2026 00:00:00 +0000 https://nalar.dev/id/rata-ratakan-bobot-neural-network-dengan-stochastic-weight-averaging/ Mon, 07 Sep 2026 00:00:00 +0000 https://nalar.dev/id/rata-ratakan-bobot-neural-network-dengan-stochastic-weight-averaging/ <p>Sebuah neural network jarang mengakhiri pelatihan tepat di satu-satunya titik berguna dalam ruang parameter. Menjelang akhir pelatihan, stochastic gradient descent (SGD) dapat mengunjungi beberapa konfigurasi parameter yang berdekatan dan semuanya berkinerja cukup baik, sementara checkpoint terakhir hanya mewakili salah satunya.</p> <p><strong>Stochastic weight averaging (SWA)</strong> mengubah pengamatan tersebut menjadi teknik pelatihan sederhana: kumpulkan parameter model dari beberapa titik pada bagian akhir trajektori SGD lalu hitung rata-rata aritmetikanya. Hasilnya adalah satu model dengan bobot yang dirata-ratakan, sehingga inference tidak perlu menjalankan ensemble dari semua checkpoint yang dikumpulkan.</p>