https://nalar.dev/id/tags/stabilitas-numerik/ Recent content in Stabilitas Numerik on Nalar Hugo id-id Mon, 14 Sep 2026 00:00:00 +0000 https://nalar.dev/id/batasi-logit-ekstrem-dengan-soft-capping/ Mon, 14 Sep 2026 00:00:00 +0000 https://nalar.dev/id/batasi-logit-ekstrem-dengan-soft-capping/ <p>Transformer dapat menghasilkan logit dengan magnitudo yang jauh melampaui rentang yang diperlukan untuk menyatakan preferensi kuat. Skor attention yang besar dapat membuat distribusi softmax sangat terkonsentrasi, sedangkan logit output yang besar dapat membuat probabilitas token hampir one-hot. Hard clamp dapat membatasi nilai tersebut, tetapi menghasilkan wilayah datar dengan perubahan turunan yang mendadak pada ambang batas.</p> <p>Logit soft capping memakai fungsi saturasi yang halus sebagai gantinya. Salah satu bentuk yang umum adalah:</p>