Arsip

ALiBi

2 artikel

Kecerdasan Buatan 24 Sep 2026 5 min read

ALiBi Menambahkan Penalti Jarak Langsung ke Logit Attention

Attention with Linear Biases (ALiBi) mengubah skor causal attention sebelum softmax dengan menambahkan penalti yang membesar seiring jarak antartoken. Posisi masuk melalui jalur skor, bukan melalui vektor posisi yang ditambahkan ke representasi setiap token. Untuk query pada posisi i yang mengakses key pada posisi j, satu head dapat ditulis secara skematis sebagai: score(i, j) = q_i · k_j / sqrt(d_k) - m_h * (i - j) untuk posisi kausal j <= i. Slope positif m_h bersifat spesifik untuk attention head h. Causal mask tetap mencegah akses ke posisi masa depan; komponen linear hanya mengubah preferensi relatif di antara posisi yang masih terlihat.

Kecerdasan Buatan Transformer

Kecerdasan Buatan 24 Sep 2026 5 min read

ALiBi Menambahkan Bias Proporsional Jarak pada Skor Attention

ALiBi mengubah skor attention sebelum softmax, bukan menambahkan vektor posisi ke representasi token. Pada transformer kausal, key yang berada semakin jauh di belakang query menerima offset negatif yang semakin besar. Offset tersebut linear terhadap jarak token dan memakai slope yang terkait dengan attention head. Bentuk sederhana untuk skor head h dapat ditulis sebagai: score_h(i, j) = q_i k_j^T / sqrt(d) - m_h * (i - j) untuk pasangan kausal yang diizinkan dengan j <= i dan slope positif m_h. Causal mask tetap menentukan posisi masa depan yang tidak dapat diakses. ALiBi mengubah skor relatif di antara posisi yang masih diizinkan.

Kecerdasan Buatan Transformer