Logit Bias Mengubah Odds Token Sebelum Sampling

Wed, 23 Sep 2026 00:00:00 +0000

Bias pada level token umumnya diterapkan pada skor model sebelum probabilitas dinormalisasi. Posisi operasi ini menentukan efeknya. Penambahan konstanta pada logit satu token mengubah odds token tersebut relatif terhadap semua token yang tidak menerima konstanta yang sama, tanpa mengubah parameter model maupun hidden state saat itu.

Mekanismenya sederhana, tetapi dampak operasionalnya bergantung pada pipeline decoding yang mengikutinya.

Bias aditif bekerja pada selisih skor

Untuk vocabulary dengan logit (z_1, \ldots, z_V), softmax memberikan probabilitas token (i) sebesar

Speculative Sampling Mempertahankan Distribusi Target lewat Koreksi Rejection

Wed, 23 Sep 2026 00:00:00 +0000

Model draft dapat mengusulkan token yang tidak akan dipilih model target pada random draw yang sama, tetapi speculative sampling tetap dapat mempertahankan distribusi model target. Syarat utamanya bukan prediksi draft yang selalu tepat. Ketepatan distribusi berasal dari aturan acceptance dan koreksi setelah rejection.

Dua sifat ini perlu dipisahkan. Kualitas draft menentukan seberapa sering proposal lolos verifikasi. Konstruksi rejection-correction menentukan apakah sampel akhir mengikuti distribusi target.

Acceptance bergantung pada rasio probabilitas

Misalkan model target mendefinisikan distribusi next-token (p(x)), sedangkan model draft yang lebih cepat mendefinisikan (q(x)) pada ruang token yang sama. Proposal (x) diambil dari (q).

Language Model on Nalar

Logit Bias Mengubah Odds Token Sebelum Sampling

Bias aditif bekerja pada selisih skor

Speculative Sampling Mempertahankan Distribusi Target lewat Koreksi Rejection

Acceptance bergantung pada rasio probabilitas