https://nalar.dev/id/tags/gqa/ Recent content in GQA on Nalar Hugo id-id Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/grouped-query-attention-berbagi-kv-head-di-antara-grup-query/ Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/grouped-query-attention-berbagi-kv-head-di-antara-grup-query/ <p>Grouped-query attention (GQA) mengubah satu rasio struktural di dalam layer attention: jumlah query head dapat lebih besar daripada jumlah key dan value head. Beberapa query head memakai key dan value head hasil proyeksi yang sama. Komputasi pada sisi query tetap terpisah per head, sedangkan state KV dibagi di dalam setiap grup.</p> <p>Asimetri ini berpengaruh langsung pada decoding autoregresif karena key dan value dari token sebelumnya disimpan di cache. Semakin sedikit KV head yang berbeda, semakin sedikit pula state KV per token yang perlu dipertahankan untuk langkah decoding berikutnya.</p>