ALiBi Menambahkan Bias Proporsional Jarak pada Skor Attention

ALiBi mengubah skor attention sebelum softmax, bukan menambahkan vektor posisi ke representasi token. Pada transformer kausal, key yang berada semakin jauh di belakang query menerima offset negatif yang semakin besar. Offset tersebut linear terhadap jarak token dan memakai slope yang terkait dengan attention head.

Bentuk sederhana untuk skor head h dapat ditulis sebagai:

score_h(i, j) = q_i k_j^T / sqrt(d) - m_h * (i - j)

untuk pasangan kausal yang diizinkan dengan j <= i dan slope positif m_h. Causal mask tetap menentukan posisi masa depan yang tidak dapat diakses. ALiBi mengubah skor relatif di antara posisi yang masih diizinkan.

Bias bekerja di ruang logit

Term posisi ditambahkan sebelum softmax. Letak operasi ini berpengaruh karena softmax mengubah selisih logit aditif menjadi rasio probabilitas yang bersifat multiplikatif.

Pertimbangkan dua key yang diizinkan dengan content logit sama. Jika jaraknya terhadap query berbeda sebesar Delta, kontribusi ALiBi berbeda sebesar:

-m_h * Delta

Sebelum normalisasi, rasio yang hanya berasal dari bias ini proporsional terhadap:

exp(-m_h * Delta)

Hal tersebut tidak menjamin probabilitas attention selalu menurun secara monoton terhadap jarak. Content logit dapat mengimbangi atau melampaui penalti posisi. ALiBi memberikan prior berbasis jarak pada permukaan skor; mekanisme ini tidak menggantikan attention berbasis konten.

Perbedaan yang sama berlaku untuk masking. Causal mask umumnya merepresentasikan posisi terlarang dengan skor yang secara efektif bernilai negatif tak hingga sebelum softmax. ALiBi menggunakan penalti jarak finite untuk posisi yang diizinkan. Menyamakan kedua mekanisme tersebut akan mengubah domain attention.

Slope per head membentuk beberapa skala jarak

ALiBi memberikan slope berbeda pada attention head. Slope positif yang lebih besar memberi penalti lebih kuat pada key yang jauh, sedangkan slope lebih kecil membuat content score relatif kurang dipengaruhi jarak.

Variasi tersebut memberi head skala peluruhan posisi yang berbeda tanpa menyimpan vektor position embedding untuk setiap indeks. Jadwal slope yang tepat merupakan bagian dari definisi model. Implementasi arsitektur atau checkpoint harus mereproduksi jadwal yang diharapkan; sekadar menambahkan penalti linear sembarang tidak mempertahankan semantik model.

Slope bukan probabilitas attention dan tidak perlu berjumlah satu di seluruh head. Nilai itu adalah koefisien di ruang logit. Efek numeriknya juga bergantung pada skala content logit yang masuk ke operasi penjumlahan yang sama.

Indeks absolut direduksi menjadi jarak relatif

Untuk bentuk kausal di atas, menggeser kedua posisi dengan nilai yang sama tidak mengubah selisih ALiBi:

(i + c) - (j + c) = i - j

Bias bergantung pada pemisahan relatif, bukan indeks absolut itu sendiri. Sifat ini berbeda dari skema yang memasukkan vektor eksplisit berdasarkan posisi absolut.

Konsekuensinya, penanganan posisi tidak dapat disimpulkan hanya dari tensor hidden state. Dua token dapat memiliki representasi konten identik sebelum attention tetapi menerima bias attention berpasangan yang berbeda karena jaraknya terhadap posisi lain berbeda.

Implementasi dapat membentuk bias dari indeks posisi, matriks jarak, atau kernel fused yang ekuivalen. Bentuk tersebut merupakan pilihan operasional. Persyaratan semantiknya adalah setiap pasangan query-key yang diizinkan menerima term jarak khusus head yang sesuai.

Sequence lebih panjang memperluas aturan aritmetika yang sama

Formula jarak linear dapat dievaluasi untuk indeks di luar sequence pendek tanpa mengalokasikan entri tabel baru untuk setiap posisi tambahan. Ekstensibilitas aritmetika tersebut membuat ALiBi relevan terhadap perilaku panjang konteks.

Namun, sifat itu tidak menjamin model mempertahankan kualitas tugas pada panjang sequence sembarang. Konteks lebih panjang mengubah himpunan candidate key, memperbesar rentang magnitudo bias, dan dapat memunculkan perilaku yang tidak dibatasi oleh distribusi training. Kualitas model di luar rentang panjang saat training tetap merupakan sifat empiris dari model dan workload konkret.

Untuk key yang jauh, magnitudo penalti bertambah linear terhadap jarak:

penalty = m_h * distance

Dalam finite precision, gabungan logit yang cukup negatif dapat memberi massa softmax yang sangat kecil. Titik terjadinya kondisi tersebut bergantung pada slope, content score, dtype, implementasi softmax, dan detail numerik di sekitarnya. Formula ALiBi sendiri tidak menentukan effective context length yang universal.

Penggunaan ulang cache tetap memerlukan posisi yang konsisten

Serving autoregresif umumnya menyimpan tensor key dan value token sebelumnya di KV cache. ALiBi tidak mengharuskan cached key membawa vektor position embedding terpisah, tetapi runtime tetap memerlukan informasi posisi yang cukup untuk menghitung jarak yang benar dari query baru ke setiap cached key.

Jika cache dipotong, digeser, dipaging, atau digunakan ulang, posisi token logis tidak boleh disamakan dengan slot cache fisik. Key yang tersimpan pada slot nol belum tentu berada pada posisi logis nol. Menghitung jarak dari offset penyimpanan setelah cache dikompaksi dapat mengubah bias secara diam-diam meskipun tensor key dan value yang tersimpan tidak berubah.

Batas ini terutama relevan pada sistem streaming atau prefix reuse. Manajemen cache dapat menata ulang penyimpanan untuk kebutuhan operasional, sementara semantik ALiBi mengacu pada pemisahan query-key logis yang diharapkan model.

Attention bidirectional memerlukan konvensi jarak yang terdefinisi

Ekspresi kausal i - j mengasumsikan j <= i. Pola attention bidirectional tidak otomatis mewarisi konvensi tersebut. Implementasi dapat memerlukan jarak absolut atau konstruksi bertanda lain sesuai arsitektur.

Menggunakan formula kausal tanpa perubahan pada layer bidirectional akan memberi tanda berlawanan pada key di dua sisi query. Itu merupakan fungsi bias yang berbeda, bukan ekstensi netral. Pola attention dan aturan posisi yang ditetapkan model harus dipertimbangkan bersama.

Kontrak arsitektural ALiBi karena itu cukup sempit: mekanisme ini mengubah logit attention dengan fungsi khusus head terhadap pemisahan posisi. ALiBi tidak mendefinisikan causal mask, proyeksi konten token, layout KV cache, atau rentang ekstrapolasi yang dapat diterima. Batas-batas tersebut tetap menjadi bagian terpisah dari model dan sistem serving.