https://nalar.dev/id/tags/gradient-clipping/ Recent content in Gradient Clipping on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/global-gradient-norm-clipping-menskalakan-ulang-gradient-parameter-dengan-satu-faktor-bersama/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/global-gradient-norm-clipping-menskalakan-ulang-gradient-parameter-dengan-satu-faktor-bersama/ <p>Global gradient norm clipping memperlakukan gradient parameter saat ini sebagai satu vektor agregat. Jika norm-nya melampaui ambang, setiap gradient yang terlibat dikalikan dengan koefisien yang sama. Operasi ini mengubah besar update sambil mempertahankan arah vektor gradient agregat, selain perbedaan yang dapat muncul akibat presisi numerik terbatas.</p> <h2 id="satu-norm-mengendalikan-seluruh-kumpulan-gradient">Satu norm mengendalikan seluruh kumpulan gradient</h2> <p>Misalkan gradient parameter adalah <code>g_1, g_2, ... g_m</code>. Untuk p-norm, global clipping terlebih dahulu menghitung norm yang ekuivalen dengan hasil konkatenasi seluruh gradient:</p>