Attention with Linear Biases (ALiBi) mengubah skor causal attention sebelum softmax dengan menambahkan penalti yang membesar seiring jarak antartoken. Posisi masuk melalui jalur skor, bukan melalui vektor posisi yang ditambahkan ke representasi setiap token.
Untuk query pada posisi i yang mengakses key pada posisi j, satu head dapat ditulis secara skematis sebagai:
score(i, j) = q_i · k_j / sqrt(d_k) - m_h * (i - j)untuk posisi kausal j <= i. Slope positif m_h bersifat spesifik untuk attention head h. Causal mask tetap mencegah akses ke posisi masa depan; komponen linear hanya mengubah preferensi relatif di antara posisi yang masih terlihat.
Bias bekerja pada logit, bukan state token
Position embedding absolut atau sinusoidal umumnya masuk ke residual stream melalui kombinasi dengan representasi token. ALiBi menempatkan informasi posisi di lokasi berbeda. Query dan key dibentuk tanpa penambahan position embedding untuk mekanisme ini, lalu nilai deterministik yang bergantung pada jarak ditambahkan ke logit attention.
Penempatan tersebut memberi efek langsung. Komponen posisi ikut menentukan nilai yang kemudian dieksponensialkan oleh softmax. Jika dua key memiliki skor query-key berbasis konten yang sama tetapi jaraknya berbeda, key yang lebih dekat menerima koreksi negatif yang lebih kecil pada head dengan slope ALiBi positif.
Key terdekat tidak selalu memperoleh bobot terbesar. Skor konten yang cukup tinggi pada key jauh dapat melampaui penalti jarak. ALiBi adalah aturan scoring dengan bias ke posisi terbaru, bukan hard mask untuk local attention.
Slope per head membentuk beberapa skala jarak
ALiBi umumnya tidak memakai satu slope identik untuk seluruh attention head. Konstruksi aslinya menetapkan sekumpulan slope tetap sehingga tiap head dapat memiliki laju penalti jarak berbeda.
Untuk dua key yang berjarak d1 dan d2 dari query, perbedaan kontribusi posisi pada head h adalah:
delta_bias = -m_h * (d2 - d1)Nilai m_h yang lebih besar membuat selisih jarak lebih dominan. Nilai yang lebih kecil mempertahankan pengaruh skor konten pada pemisahan yang lebih jauh. Beberapa slope memberi satu layer attention sejumlah preferensi posisi tanpa menyimpan embedding terlatih untuk setiap indeks absolut.
Pada metode asli, slope tersebut merupakan konstanta arsitektural. Mengubahnya menjadi kontrol temperatur runtime secara sembarang mengubah aturan scoring dan tidak harus mempertahankan perilaku checkpoint yang dilatih dengan jadwal slope tertentu.
Jarak relatif membuat bias tetap saat posisi digeser
Pada causal self-attention, komponen ALiBi bergantung pada i - j. Jika kedua posisi digeser dengan offset c yang sama:
(i + c) - (j + c) = i - jmaka bias posisinya tetap sama. Sifat ini berbeda dari tabel trained absolute position embedding, karena token yang berpindah indeks absolut dapat memperoleh vektor posisi berbeda.
Ketergantungan pada jarak relatif menghilangkan kebutuhan untuk mengambil embedding baru hanya karena inference mencapai indeks absolut yang tidak muncul saat training. Sifat tersebut mendukung ekstrapolasi panjang konteks, tetapi tidak menjamin kualitas yang sama pada panjang sequence sembarang.
Konteks lebih panjang memperbesar penalti
Aturan linear yang tidak memerlukan tabel posisi absolut juga membuat jarak besar menghasilkan logit yang makin negatif. Untuk slope head yang tetap:
bias(d) = -m_h * dJika d menjadi dua kali lipat, magnitudo komponen posisi juga menjadi dua kali lipat. Softmax kemudian mengubah selisih logit menjadi perbedaan multiplikatif pada bobot attention sebelum normalisasi.
Konsekuensinya mencakup batas numerik dan batas pemodelan. Posisi sangat jauh dapat memperoleh probabilitas attention yang amat kecil pada head dengan slope lebih curam. Arsitektur dapat menerima evaluasi pada posisi di luar panjang training, tetapi kemampuan menerima indeks dan kemampuan mengambil informasi jarak jauh adalah dua hal berbeda.
Analisis terbaru juga melaporkan efek floating-point underflow pada nilai attention berbias ALiBi yang cukup negatif dalam konfigurasi tertentu. Ini merupakan persoalan implementasi dan numerik di atas aturan linear matematis, bukan jaminan arsitektural dari metode aslinya.
Causal mask dan ALiBi menangani batas yang berbeda
Causal mask menentukan posisi yang boleh terlihat. ALiBi memberi preferensi berbasis jarak pada posisi yang sudah diizinkan. Keduanya memiliki fungsi semantik berbeda.
Posisi masa depan yang terkena mask tetap tidak dapat diakses terlepas dari nilai ALiBi. Posisi masa lalu yang diizinkan hanya mengalami perubahan skor, bukan larangan akses. Implementasi dapat menggabungkan masking, scaling, penambahan bias, dan softmax ke satu kernel, tetapi fungsi logis tiap operasi tetap berbeda.
Pemisahan ini juga penting saat konsep serupa diterapkan di luar causal decoder attention standar. Pola attention bidirectional memiliki simetri jarak dan aturan visibilitas berbeda, sehingga menyalin matriks bias kausal tanpa mendefinisikan semantiknya dapat menghasilkan mekanisme lain.
Ekstrapolasi panjang bersifat empiris, bukan tanpa batas
Riset ALiBi asli mengevaluasi language model pada sequence yang lebih panjang daripada panjang training dan melaporkan ekstrapolasi yang lebih baik dibanding baseline posisi yang diuji dalam studi tersebut. Mekanismenya memungkinkan evaluasi semacam itu tanpa memperpanjang tabel trained absolute position.
Hasil tersebut tidak menetapkan context window tak terbatas. Komputasi attention, distribusi data training, presisi numerik, kemampuan retrieval konten, kapasitas model, dan batas implementasi tetap membatasi konteks yang berguna. Model dapat menerima sequence lebih panjang sambil memberi bobot efektif yang sangat kecil pada informasi yang jauh dari query saat ini.
Klaim arsitekturalnya lebih sempit: ALiBi memasukkan posisi melalui penalti jarak relatif yang deterministik pada logit attention dengan slope per head, bukan melalui tabel absolute position embedding. Aturan scoring karena itu tetap terdefinisi pada jarak di luar training, sekaligus mempertahankan preferensi posisi yang kekuatannya bertambah secara linear terhadap jarak.