Bias pada level token umumnya diterapkan pada skor model sebelum probabilitas dinormalisasi. Posisi operasi ini menentukan efeknya. Penambahan konstanta pada logit satu token mengubah odds token tersebut relatif terhadap semua token yang tidak menerima konstanta yang sama, tanpa mengubah parameter model maupun hidden state saat itu.
Mekanismenya sederhana, tetapi dampak operasionalnya bergantung pada pipeline decoding yang mengikutinya.
Bias aditif bekerja pada selisih skor
Untuk vocabulary dengan logit (z_1, \ldots, z_V), softmax memberikan probabilitas token (i) sebesar
[ p_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)}. ]
Jika decoder menambahkan bias (b_i) sebelum softmax, distribusinya menjadi
[ p_i’ = \frac{\exp(z_i + b_i)}{\sum_j \exp(z_j + b_j)}. ]
Untuk dua token (i) dan (k), rasio probabilitasnya berubah menjadi
[ \frac{p_i’}{p_k’} = \exp\big((z_i-z_k) + (b_i-b_k)\big). ]
Pada rasio ini, yang berpengaruh adalah bias relatif. Menambahkan konstanta yang sama ke seluruh logit vocabulary tidak mengubah distribusi softmax. Sebaliknya, bias pada satu token langsung mengubah log-odds token itu terhadap alternatif yang tidak diubah.
Karena itu, satu nilai bias tidak memiliki interpretasi probabilitas yang tetap untuk semua konteks. Probabilitas akhir bergantung pada logit awal serta seluruh kandidat lain dalam suku normalisasi.
Bias terbatas bukan hard constraint
Bias positif dengan nilai terbatas menaikkan skor token, tetapi secara matematis tidak menjamin token tersebut terpilih. Token lain masih dapat memiliki skor setelah penyesuaian yang lebih tinggi, dan sampling stokastik tetap dapat memilih kandidat lain selama beberapa token mempunyai probabilitas bukan nol.
Bias negatif terbatas juga hanya menekan token. Dalam softmax bernilai real ideal, probabilitasnya tidak menjadi tepat nol. Sistem yang memerlukan aturan eksklusi biasanya membutuhkan hard mask atau mekanisme spesifik implementasi yang benar-benar mengeluarkan kandidat.
Magnitudo yang sangat besar menambah batas lain. Runtime produksi dapat melakukan clamping, memakai presisi yang lebih rendah, merepresentasikan mask dengan nilai sentinel khusus, atau mengatur ulang transformasi demi stabilitas numerik. Perilaku tersebut berasal dari implementasi serving, bukan dari persamaan softmax itu sendiri.
Tokenisasi menentukan unit yang menerima bias
Indeks logit menunjuk token vocabulary, bukan langsung sebuah kata, frasa, atau konsep semantik. Teks yang tampak sebagai satu kata dapat dipetakan ke beberapa token ID, bergantung pada tokenizer, whitespace di sekitarnya, kapitalisasi, atau representasi byte-level.
Karena itu, bias pada satu token ID memengaruhi token tersebut setiap kali ia menjadi kandidat next-token yang valid. Operasi ini tidak otomatis mencakup seluruh ejaan tekstual atau semua rangkaian token yang dapat menghasilkan string visual yang sama.
Batasnya makin jelas pada frasa multi-token. Bias pada token pertama dapat mengubah probabilitas untuk memasuki sebuah frasa, tetapi token berikutnya dinilai pada langkah decoding berikutnya dengan konteks yang sudah berubah. Bias level token saja tidak menyatakan constraint rangkaian yang arbitrer.
Urutan pipeline menentukan kandidat efektif
Decoder sering menggabungkan beberapa transformasi skor dan filter. Temperature scaling, repetition penalty, vocabulary mask, top-k, nucleus filtering, serta processor lain yang spesifik terhadap runtime dapat terlibat dalam satu langkah.
Operasi tersebut secara umum tidak dapat dipertukarkan urutannya. Bias yang ditambahkan sebelum filter top-k, misalnya, dapat mendorong token masuk atau keluar dari himpunan kandidat. Bias yang sama tidak dapat mengembalikan token setelah hard filter membuangnya, kecuali implementasi secara eksplisit membangun ulang himpunan tersebut.
Temperature juga mengubah kekuatan efektif bias yang diterapkan sebelumnya. Jika logit setelah bias dibagi dengan temperature (T),
[ \tilde{z}_i = \frac{z_i+b_i}{T}, ]
maka kontribusi bias pada pairwise log-odds menjadi ((b_i-b_k)/T). API yang mendefinisikan bias pada tahap berbeda dapat memiliki semantik berbeda, sehingga urutan processor yang terdokumentasi merupakan bagian dari kontrak antarmuka.
Bias dapat mengubah state model berikutnya secara tidak langsung
Bias tidak mengubah bobot model atau hidden state pada langkah saat ini. Namun, jika bias mengubah token yang terpilih, token tersebut masuk ke konteks decoding berikutnya. Logit pada langkah selanjutnya kemudian dapat berbeda karena generasi autoregresif bergantung pada output sebelumnya.
Ada dua efek yang perlu dipisahkan. Pada langkah saat ini, bias merupakan transformasi skor eksternal. Pada langkah berikutnya, token yang berubah dapat mengarahkan trajectory model ke konteks lain melalui conditioning autoregresif biasa.
Perbedaan output yang besar beberapa token kemudian tidak berarti bias diterapkan langsung pada logit di semua langkah tersebut.
Semantik antarmuka lebih menentukan daripada nama parameter
Field bernama logit_bias mengisyaratkan penyesuaian skor aditif, tetapi API konkret tetap menentukan token ID yang diterima, rentang angka yang diizinkan, tahap penerapan penyesuaian, serta interaksinya dengan mask atau kontrol sampling. Detail itu harus dianggap spesifik implementasi kecuali antarmuka mendokumentasikannya.
Pada level mekanisme, batas yang stabil lebih sempit: bias aditif mengubah skor relatif sebelum operasi lanjutan yang dijalankan decoder. Mekanisme ini cocok untuk menggeser preferensi token ketika posisi penerapannya diketahui. Bias tersebut bukan grammar umum, constraint frasa, atau jaminan bahwa string tertentu pasti muncul atau hilang.