Sebuah layer causal attention tidak harus membuka seluruh token sebelumnya untuk setiap query. Dengan sliding window selebar w, query pada posisi i dapat dibatasi ke posisi-posisi terbaru alih-alih seluruh prefix. Graf attention menjadi lokal: token lama keluar dari kumpulan koneksi langsung meskipun token tersebut tetap berada di dalam sequence.
Batas ini mengubah komputasi, lalu lintas memori, dan jalur informasi sekaligus. Sliding-window attention bukan sekadar implementasi full attention yang lebih efisien. Ketika mask membuang pasangan key-value yang jauh, layer menjalankan pola dependensi yang berbeda.
Mask menetapkan kumpulan predecessor yang terbatas
Pada causal self-attention biasa, query di posisi i dapat mengakses key dari posisi 0 sampai i. Window kausal lokal dapat membatasi posisi yang diizinkan menjadi:
A(i) = { j | max(0, i - w + 1) <= j <= i }Konvensi endpoint dapat berbeda antarimplementasi, sehingga angka ukuran window perlu dibaca bersama definisi mask pada runtime. Sifat strukturalnya tetap sama: jumlah predecessor yang dapat diakses langsung dibatasi oleh konstanta yang berkaitan dengan w, bukan terus bertambah mengikuti i.
Perhitungan skor pada posisi yang diizinkan tetap berbentuk:
score(i, j) = q_i k_j^T / sqrt(d)Namun skor di luar A(i) dikeluarkan oleh attention mask. Normalisasi softmax berlangsung pada kumpulan lokal, bukan pada seluruh token sebelumnya.
Perbedaan ini penting secara semantik. Kernel yang menghitung dense mask yang sama dengan lebih efisien tetap mempertahankan graf dense attention. Sliding-window attention justru menghapus sebagian edge dari graf tersebut.
Window tetap mengubah scaling terhadap panjang sequence
Dense self-attention membentuk interaksi query-key dengan jumlah yang sebanding dengan kuadrat panjang sequence n. Window lokal dengan ukuran tetap membatasi jumlah interaksi menjadi sekitar n * w, dengan mengabaikan efek batas dan padding implementasi.
full causal attention: O(n^2)
fixed sliding window: O(nw)Ketika w tetap sementara n bertambah, jumlah interaksi tumbuh secara linear terhadap panjang sequence. Pernyataan asimtotik ini berlaku pada pola sparse attention itu sendiri. Latensi dan perilaku memori aktual juga dipengaruhi kernel, layout tensor, batching, utilisasi hardware, serta apakah implementasi mematerialisasi mask atau tensor skor.
Pola sparse tidak menjamin percepatan wall-clock yang sebanding. Hardware dapat menjalankan operasi matriks dense dengan sangat efisien, sedangkan operasi sparse yang tidak teratur dapat menambah biaya indexing atau scheduling. Sparsity pada tingkat arsitektur dan throughput serving yang benar-benar tercapai merupakan dua klaim terpisah.
Jangkauan langsung berbeda dari jangkauan lintas layer
Token di luar window sebuah layer tidak memiliki edge attention langsung menuju query. Kondisi itu tidak berarti informasi dari token tersebut sama sekali tidak dapat memengaruhi representasi pada posisi yang lebih baru.
Pada satu layer, posisi i hanya menerima informasi dari lingkungan lokalnya. Di layer berikutnya, state dari token-token tetangga sudah membawa hasil agregasi dari lingkungan lokal mereka sendiri. Pengulangan proses tersebut memperluas receptive field efektif melalui kedalaman model.
Untuk stack sederhana dengan window identik dan tanpa edge global, jarak maksimum yang dapat ditempuh jalur informasi melalui posisi token dapat bertambah bersama jumlah layer. Receptive field persisnya bergantung pada konvensi mask, struktur layer, residual path, dan komponen arsitektur tambahan.
Propagasi tidak langsung tersebut tidak setara dengan edge full attention langsung. Informasi harus melewati hidden state perantara, dan model tidak dapat memberi satu bobot attention dari query saat ini ke key yang sangat jauh ketika pasangan tersebut tidak tersedia di mask.
Causal decoding dapat membatasi histori KV yang dapat diakses
Pada decoding autoregresif, layer dense causal attention dapat mengakses state key-value untuk seluruh token sebelumnya. Layer yang sepenuhnya lokal hanya memerlukan histori yang masih berada di dalam window aktif untuk query berikutnya, selama arsitektur model tidak membutuhkan state lama tersebut melalui jalur attention lain.
Secara konseptual, histori yang dapat diakses dapat bergerak seperti region bergulir:
... [expired KV] [active KV window] [current token]Setelah sebuah posisi tidak mungkin lagi masuk ke kumpulan local attention pada query berikutnya, state KV posisi itu untuk layer lokal tidak lagi diwajibkan oleh aturan sliding window. Runtime serving dapat memanfaatkan sifat tersebut dengan representasi cache terbatas atau rolling cache.
Detail implementasi tetap menentukan hasil akhirnya. Sebuah model dapat memakai pola attention berbeda antar-layer, menggabungkan local dan global attention, mempertahankan state demi kemudahan batching, atau menyediakan API cache yang lebih besar daripada minimum yang tersirat dari local mask. Batas arsitektur memungkinkan pengurangan cache, tetapi tidak memaksa setiap runtime mencapai footprint penyimpanan minimum.
Batas window menciptakan constraint informasi nyata
Local attention menarik karena membatasi pekerjaan komputasi, tetapi edge yang hilang juga menjadi constraint kapasitas. Dua token yang terpisah lebih jauh daripada jangkauan langsung window tidak dapat berinteraksi dalam satu operasi local attention. Dependensi pada bukti yang jauh harus mengandalkan propagasi lintas layer atau mekanisme lain yang menyediakan jalur lebih panjang.
Arsitektur dapat menambahkan jalur semacam itu dengan beberapa bentuk. Sebagian layer dapat memakai window lebih besar. Token tertentu dapat diberi konektivitas global. Layer lokal dan global dapat disusun bergantian. Desain lain menggabungkan local attention dengan state recurrent, terkompresi, atau berbasis retrieval.
Mekanisme tersebut tidak identik. Global token membuat edge jarak jauh secara eksplisit. Stack lokal yang lebih dalam membentuk jalur multi-hop. Retrieval memasukkan konten terpilih melalui proses seleksi terpisah. Masing-masing mengubah batas berbeda pada graf dependensi.
Ukuran window mengikat biaya dan konteks langsung
Memperbesar w memberi setiap query lebih banyak predecessor langsung sekaligus menambah jumlah interaksi attention. Memperkecilnya mengurangi pekerjaan lokal sekaligus memperpendek horizon langsung. Ukuran window karena itu merupakan parameter komputasi sekaligus constraint representasi.
Efeknya juga bergantung pada panjang sequence. Jika n <= w, window kausal lokal dapat mencakup seluruh prefix yang tersedia dan berperilaku seperti dense causal attention untuk sequence tersebut. Batas sparse baru terlihat ketika sequence melampaui ukuran window.
Pada sequence panjang, perbedaannya terus berlaku. Token terbaru hanya dapat mengakses langsung region lokal aktif walaupun model menerima total konteks yang jauh lebih panjang. Panjang sequence maksimum yang diterima model dan rentang attention langsung sebuah layer adalah dua besaran yang berbeda.
Sliding-window attention menukar konektivitas sepanjang sequence dengan graf lokal yang terbatas. Pada ukuran window tetap, graf tersebut membatasi pekerjaan attention per query dan dapat membatasi histori KV yang diperlukan layer decoding lokal. Batas yang sama menghapus edge jarak jauh langsung, sehingga kedalaman model atau jalur arsitektur tambahan harus membawa informasi melampaui jarak window.