https://nalar.dev/id/tags/grouped-query-attention/ Recent content in Grouped-Query Attention on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/grouped-query-attention-mengecilkan-kv-cache-dengan-berbagi-head-key-value/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/grouped-query-attention-mengecilkan-kv-cache-dengan-berbagi-head-key-value/ <p>Grouped-query attention mengubah jumlah key dan value head yang harus disimpan selama decoding autoregresif. Setiap query head tidak lagi selalu memiliki pasangan key-value sendiri. Beberapa query head memakai key-value head yang sama. Sisi query tetap dapat memiliki banyak head, sedangkan state KV persisten menggunakan lebih sedikit proyeksi independen.</p> <p>Perubahan ini berada pada arsitektur attention, bukan codec kompresi cache. Cache menjadi lebih kecil karena model memang menghasilkan lebih sedikit key dan value head yang berbeda untuk setiap token.</p>