ALiBi on Nalar

ALiBi Menambahkan Bias Proporsional Jarak pada Skor Attention

Thu, 24 Sep 2026 00:00:00 +0000

ALiBi mengubah skor attention sebelum softmax, bukan menambahkan vektor posisi ke representasi token. Pada transformer kausal, key yang berada semakin jauh di belakang query menerima offset negatif yang semakin besar. Offset tersebut linear terhadap jarak token dan memakai slope yang terkait dengan attention head.

Bentuk sederhana untuk skor head h dapat ditulis sebagai:

copied = false, 1600)" class="absolute right-3 top-3 z-10 rounded-lg border border-line-strong bg-surface px-2 py-1 font-mono text-[0.8rem] text-muted opacity-0 transition group-hover:opacity-100 hover:bg-ink hover:text-white dark:border-night-line dark:bg-night dark:text-night-muted dark:hover:bg-white dark:hover:text-ink">

score_h(i, j) = q_i k_j^T / sqrt(d) - m_h * (i - j)

untuk pasangan kausal yang diizinkan dengan j <= i dan slope positif m_h. Causal mask tetap menentukan posisi masa depan yang tidak dapat diakses. ALiBi mengubah skor relatif di antara posisi yang masih diizinkan.

ALiBi Menambahkan Penalti Jarak Langsung ke Logit Attention

Thu, 24 Sep 2026 00:00:00 +0000

Attention with Linear Biases (ALiBi) mengubah skor causal attention sebelum softmax dengan menambahkan penalti yang membesar seiring jarak antartoken. Posisi masuk melalui jalur skor, bukan melalui vektor posisi yang ditambahkan ke representasi setiap token.

Untuk query pada posisi i yang mengakses key pada posisi j, satu head dapat ditulis secara skematis sebagai:

score(i, j) = q_i · k_j / sqrt(d_k) - m_h * (i - j)

untuk posisi kausal j <= i. Slope positif m_h bersifat spesifik untuk attention head h. Causal mask tetap mencegah akses ke posisi masa depan; komponen linear hanya mengubah preferensi relatif di antara posisi yang masih terlihat.