https://nalar.dev/id/tags/pagedattention/ Recent content in PagedAttention on Nalar Hugo id-id Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/pagedattention-memetakan-blok-kv-logis-ke-memori-fisik-tidak-kontigu/ Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/pagedattention-memetakan-blok-kv-logis-ke-memori-fisik-tidak-kontigu/ <p>KV cache sebuah request autoregresif bertambah ketika token baru diproses, sementara panjang akhir sequence belum diketahui saat decoding dimulai. Reservasi satu area kontigu sebesar panjang maksimum mengikat memori pada kapasitas yang mungkin tidak pernah terpakai. PagedAttention mengubah batas alokasi tersebut: sequence direpresentasikan sebagai blok KV logis, lalu block table memetakan setiap blok logis ke blok fisik yang tidak harus bersebelahan di memori GPU.</p> <p>Mekanisme ini mengubah penempatan dan alokasi cache. Persamaan attention tidak berubah, dan jumlah state KV per token yang dipertahankan tidak otomatis berkurang.</p>