Logit on Nalar

Tanh Logit Soft Capping Membatasi Skor Ekstrem Sebelum Softmax

Thu, 24 Sep 2026 00:00:00 +0000

Softmax dapat menerima logit dengan magnitudo hingga berapa pun selama nilainya finite, tetapi selisih skor yang besar membuat keluarannya semakin terkonsentrasi. Tanh logit soft capping menyisipkan transformasi nonlinear terbatas sebelum softmax sehingga logit hasil transformasi tidak melewati magnitudo yang ditentukan.

Untuk cap positif c, bentuk yang umum adalah:

copied = false, 1600)" class="absolute right-3 top-3 z-10 rounded-lg border border-line-strong bg-surface px-2 py-1 font-mono text-[0.8rem] text-muted opacity-0 transition group-hover:opacity-100 hover:bg-ink hover:text-white dark:border-night-line dark:bg-night dark:text-night-muted dark:hover:bg-white dark:hover:text-ink">

softcap(z; c) = c * tanh(z / c)

Operasi ini bukan hard clipping pada ambang tertentu. Di sekitar nol perilakunya hampir linear, lalu magnitudo yang lebih besar dikompresi secara bertahap saat mendekati -c atau c.

Logit Bias Mengubah Odds Token Sebelum Sampling

Wed, 23 Sep 2026 00:00:00 +0000

Bias pada level token umumnya diterapkan pada skor model sebelum probabilitas dinormalisasi. Posisi operasi ini menentukan efeknya. Penambahan konstanta pada logit satu token mengubah odds token tersebut relatif terhadap semua token yang tidak menerima konstanta yang sama, tanpa mengubah parameter model maupun hidden state saat itu.

Mekanismenya sederhana, tetapi dampak operasionalnya bergantung pada pipeline decoding yang mengikutinya.

Bias aditif bekerja pada selisih skor

Untuk vocabulary dengan logit (z_1, \ldots, z_V), softmax memberikan probabilitas token (i) sebesar

Repetition Penalty Mengubah Logit untuk ID Token yang Sudah Muncul

Wed, 23 Sep 2026 00:00:00 +0000

Repetition penalty dapat bekerja sebelum sampling dengan mengubah logit milik ID token yang sudah terdapat dalam riwayat token tertentu. Operasi ini tidak harus membandingkan kata, frasa, atau string hasil render. Unit yang diperiksa dapat berupa ID integer dari tokenizer, sehingga makna mekanismenya lebih sempit daripada kesan yang diberikan oleh namanya.

Perbedaan tersebut terlihat saat decoder menghasilkan token subword. Dua string yang tampak serupa dapat tersusun dari urutan token berbeda, sedangkan satu token yang dipakai di dalam kata berbeda tetap dapat ditandai sebagai token yang sudah muncul.