Transformer kausal tidak harus membuka seluruh token sebelumnya untuk setiap posisi query. Pada sliding-window attention, posisi i hanya dapat melakukan attention terhadap rentang key terdahulu yang terbatas. Token di luar rentang itu tidak ikut dalam operasi attention pada layer tersebut, meskipun masih menjadi bagian dari input model.
Batas ini bukan sekadar mengubah bentuk matriks attention. Ia memisahkan akses langsung dari informasi yang hanya dapat mencapai suatu posisi setelah diteruskan melalui hidden state perantara.
Mask menentukan akses langsung
Untuk window kausal selebar W, bentuk konseptual yang umum mengizinkan posisi i mengakses posisi yang memenuhi:
max(0, i - W + 1) <= j <= iKonvensi endpoint dapat berbeda antarimplementasi, sehingga arti tepat W harus mengikuti model dan serving stack yang digunakan. Properti utamanya tetap sama: span dibatasi. Key yang cukup jauh di belakang i tidak memperoleh bobot attention pada layer itu karena sudah di-mask sebelum hasil attention dibentuk.
Kondisi ini berbeda dari memberi probabilitas sangat kecil kepada token lama. Key yang di-mask dikeluarkan dari himpunan attention yang diizinkan. Mengubah softmax temperature atau parameter sampling tidak memulihkan akses tersebut.
Layer lokal masih dapat meneruskan informasi jauh
Window lokal tidak berarti hidden state akhir hanya bergantung pada W token input terakhir. Tumpukan layer dapat meneruskan informasi ke arah depan.
Misalkan setiap layer mengizinkan sebuah token membaca wilayah terbatas di belakangnya. Hidden state di dekat sisi kanan dapat membawa informasi yang dikumpulkan layer sebelumnya dari posisi yang lebih jauh ke kiri. Layer berikutnya kemudian dapat membaca hidden state tersebut. Receptive field efektif dapat bertambah seiring kedalaman walaupun setiap operasi attention tetap lokal.
Perbedaan ini penting saat menganalisis perilaku model. Edge attention langsung menunjukkan state yang dapat dibaca sebuah layer saat itu juga. Edge tersebut tidak dengan sendirinya menunjukkan seluruh posisi input yang mungkin sudah memengaruhi representasi pada layer dalam.
Seberapa banyak informasi dapat diteruskan dan seberapa baik informasi itu dipertahankan merupakan properti model, bukan jaminan dari mask. Fakta yang secara teoritis berada dalam receptive field belum tentu dipertahankan atau digunakan oleh jaringan.
Ukuran window dan panjang konteks adalah batas berbeda
Model dapat menerima sequence yang lebih panjang daripada satu window attention lokal. Panjang konteks menentukan posisi token yang dapat diberikan sesuai batas posisi dan runtime model. Aturan attention lokal menentukan posisi mana yang terlihat secara langsung oleh query tertentu pada layer tertentu.
Sebagai contoh, input dapat berisi ribuan posisi sementara sebuah layer lokal hanya membaca suffix terbatas untuk setiap query. Kedua kondisi itu dapat berlaku bersamaan. Menganggap panjang konteks yang dipublikasikan sebagai span attention langsung dapat memberikan gambaran arsitektur yang keliru.
Arsitektur juga dapat mencampur pola lokal dan global. Sebagian layer dapat memakai attention terbatas sementara layer lain membuka rentang lebih luas. Pada kondisi tersebut, analisis receptive field perlu mengikuti jadwal layer yang sebenarnya, bukan menerapkan satu nilai window ke seluruh jaringan.
KV cache dapat memiliki wilayah aktif yang terbatas
Saat decoding autoregresif, full causal attention umumnya mempertahankan key dan value dari seluruh posisi terdahulu yang masih dibutuhkan query berikutnya. Layer yang benar-benar lokal memiliki kebutuhan berbeda. Setelah suatu posisi cache secara permanen berada di luar window semua query mendatang, layer tersebut tidak lagi membutuhkan posisi itu untuk komputasi attention-nya sendiri.
Secara konseptual, jika query berikutnya hanya dapat membaca W posisi terbaru, wilayah KV aktif pada layer itu dapat tetap dibatasi oleh window alih-alih terus bertambah bersama seluruh sequence hasil generasi.
Perilaku memori yang tepat bergantung pada implementasi. Serving engine dapat mengalokasikan cache dalam blok, mempertahankan posisi tambahan untuk alignment, mencampur layer lokal dan nonlokal, atau memakai layout cache dengan alokasi fisik yang tidak menyusut tepat pada batas logis mask. Kelayakan arsitektural untuk eviction dan perilaku allocator aktual adalah dua hal berbeda.
Attention campuran memperjelas batas ini. Layer lokal mungkin dapat membuang state KV lama, sedangkan full-attention layer pada model yang sama masih membutuhkan state dari seluruh konteks aktif. Konsumsi cache total karena itu tidak dapat ditentukan hanya dari ukuran window lokal.
Memotong input tidak setara dengan attention lokal
Menghapus token lama dari input mengubah komputasi sejak layer pertama. Mempertahankan token tersebut dalam sequence sambil membatasi akses langsung pada posisi yang lebih baru menghasilkan jalur berbeda: hidden state awal token lama masih dapat berpartisipasi dalam propagasi lokal sebelum token itu keluar dari window query berikutnya.
Hal ini juga membedakan attention lokal dari pemotongan prompt pada tingkat aplikasi. Pemotongan prompt menghapus posisi sebelum eksekusi model. Sliding-window attention mempertahankan posisi sesuai aturan konteks model, tetapi membatasi edge attention berdasarkan posisi dan layer.
Karena itu, mengganti model local-attention dengan truncation manual bukan transformasi yang mempertahankan semantik. Keduanya dapat menyediakan jalur hidden state berbeda meskipun query akhir melihat jumlah raw token terbaru yang sama.
Batas yang relevan bersifat arsitektural, bukan tekstual
Sliding-window attention bekerja pada posisi model dan state cache, bukan pada paragraf, pesan, atau unit semantik. Batas window dapat memotong kalimat atau record terstruktur karena batasnya mengikuti posisi token.
Untuk sistem yang bergantung pada bukti jauh, pertanyaan yang relevan adalah apakah arsitektur menyediakan jalur komputasi dari bukti tersebut ke posisi output. Akses lokal langsung, propagasi melalui tumpukan layer, layer dengan attention lebih luas, dan retrieval di sisi aplikasi merupakan jalur berbeda dengan batas berbeda. Konteks input yang besar tidak membuat jalur-jalur tersebut saling menggantikan.