https://nalar.dev/id/tags/sampling-token/ Recent content in Sampling Token on Nalar Hugo id-id Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/penalti-repetisi-mengubah-skor-token-berdasarkan-output-sebelumnya/ Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/penalti-repetisi-mengubah-skor-token-berdasarkan-output-sebelumnya/ <p>Penalti repetisi mengubah distribusi next-token tanpa mengubah parameter model atau komputasi hidden state. Model tetap menghasilkan logit dari konteks saat ini, tetapi decoder mengubah skor tertentu berdasarkan token yang sudah muncul. Sampling kemudian bekerja pada skor hasil perubahan tersebut, bukan langsung pada output model.</p> <p>Pemisahan ini relevan saat mereproduksi perilaku generation. Dua sistem dapat menjalankan bobot model dan token ID yang identik tetapi menghasilkan continuation berbeda karena rumus penalti, cakupan riwayat token, atau posisi aturan itu dalam pipeline decoding tidak sama.</p>