https://nalar.dev/id/tags/optimization/ Recent content in Optimization on Nalar Hugo id-id Thu, 17 Sep 2026 00:00:00 +0000 https://nalar.dev/id/membatasi-update-gradien-dengan-global-norm-clipping/ Thu, 17 Sep 2026 00:00:00 +0000 https://nalar.dev/id/membatasi-update-gradien-dengan-global-norm-clipping/ <p>Satu langkah optimisasi dapat menghasilkan gradien dengan besar gabungan yang jauh melebihi langkah-langkah di sekitarnya. Jika gradien itu langsung diberikan kepada optimizer, update parameter yang dihasilkan dapat memindahkan model ke wilayah space parameter yang sangat berbeda. Global norm clipping membatasi besar gradien sebelum optimizer memakainya.</p> <p>Mekanismenya sederhana, tetapi perilakunya mudah disalahartikan. Mekanisme ini tidak membatasi setiap elemen gradien secara terpisah dan tidak menjamin norm update parameter yang tetap untuk optimizer adaptif. Mekanisme ini menskalakan ulang seluruh vektor gradien ketika norm yang dipilih melewati ambang.</p>