https://nalar.dev/id/tags/long-context/ Recent content in Long Context on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/sliding-window-attention-membatasi-query-pada-horizon-token-lokal/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/sliding-window-attention-membatasi-query-pada-horizon-token-lokal/ <p>Sebuah layer causal attention tidak harus membuka seluruh token sebelumnya untuk setiap query. Dengan sliding window selebar <code>w</code>, query pada posisi <code>i</code> dapat dibatasi ke posisi-posisi terbaru alih-alih seluruh prefix. Graf attention menjadi lokal: token lama keluar dari kumpulan koneksi langsung meskipun token tersebut tetap berada di dalam sequence.</p> <p>Batas ini mengubah komputasi, lalu lintas memori, dan jalur informasi sekaligus. Sliding-window attention bukan sekadar implementasi full attention yang lebih efisien. Ketika mask membuang pasangan key-value yang jauh, layer menjalankan pola dependensi yang berbeda.</p>