Grouped-query attention mengubah jumlah key dan value head yang harus disimpan selama decoding autoregresif. Setiap query head tidak lagi selalu memiliki pasangan key-value sendiri. Beberapa query head memakai key-value head yang sama. Sisi query tetap dapat memiliki banyak head, sedangkan state KV persisten menggunakan lebih sedikit proyeksi independen.
Perubahan ini berada pada arsitektur attention, bukan codec kompresi cache. Cache menjadi lebih kecil karena model memang menghasilkan lebih sedikit key dan value head yang berbeda untuk setiap token.
Jumlah head memisahkan kapasitas query dari state KV
Misalkan sebuah layer attention memiliki Hq query head dan Hkv key-value head, dengan Hkv membagi Hq. Pada pengelompokan reguler:
query_per_kv_head = Hq / HkvSetiap query head tetap menghitung query vector sendiri. Query head dalam grup yang sama menggunakan key dan value vector dari satu KV head bersama.
Multi-head attention berada pada titik:
Hkv = HqSetiap query head memiliki key-value head berbeda. Multi-query attention berada pada titik lain:
Hkv = 1Semua query head memakai satu key head dan satu value head. Grouped-query attention berada di antara keduanya:
1 < Hkv < HqPengelompokan ini memberikan parameter struktural yang menentukan jumlah state KV independen pada sebuah layer.
Ukuran KV cache mengikuti jumlah key-value head
Pada incremental decoding, key dan value token sebelumnya disimpan agar dapat dipakai kembali oleh token berikutnya. Untuk batch B, panjang sequence tersimpan T, jumlah key-value head Hkv, dimensi head D, dan lebar elemen S byte, penyimpanan mentah satu layer sebanding dengan:
KV_bytes = 2 * B * T * Hkv * D * SFaktor 2 berasal dari key dan value. Persamaan ini tidak memasukkan padding allocator, metadata, struktur paging, metadata kuantisasi, atau overhead layout yang spesifik terhadap implementasi.
Jika Hq = 32 dan Hkv = 8 dengan D serta format elemen yang sama, tensor KV mentah memiliki seperempat jumlah elemen head dibanding konfigurasi dengan 32 key-value head:
8 / 32 = 1/4Rasio tersebut berlaku pada komponen penyimpanan KV head. Total memori model tidak otomatis turun dengan rasio yang sama karena weight, activation, workspace runtime, dan state lain tetap ada.
Pengurangan ini juga memengaruhi lalu lintas memori saat decode. Decoder berulang kali mengakses key dan value yang sudah tersimpan ketika menghasilkan token baru. Lebih sedikit KV head independen berarti lebih sedikit data KV yang perlu direpresentasikan dan dapat mengurangi byte yang dipindahkan untuk state tersebut. Latensi aktual tetap bergantung pada kernel, hardware, bentuk batch, panjang sequence, layout cache, dan bagian model lainnya.
Sharing terjadi sebelum data masuk ke cache
Perbedaan antara GQA dan deduplikasi cache penting secara teknis. Model memproyeksikan hidden state menjadi Hkv key head dan Hkv value head. Tensor itulah yang disimpan untuk operasi attention berikutnya. Pada representasi GQA standar, runtime tidak perlu menghitung KV head terpisah untuk setiap query lalu menggabungkannya hanya untuk membentuk cache.
Secara konseptual, sebuah grup dapat ditulis sebagai:
Q_0, Q_1, Q_2, Q_3 -> K_0, V_0
Q_4, Q_5, Q_6, Q_7 -> K_1, V_1untuk kasus empat query head per KV head. Proyeksi query tetap berbeda. Sharing berlaku pada sisi key dan value yang dipakai query tersebut.
Kernel dapat melakukan expand, broadcast, repeat, atau indexing terhadap KV head dalam bentuk internal yang berbeda. Pilihan implementasi itu tidak mengubah relasi head pada arsitektur. Materialized repeat dapat menghilangkan sebagian keuntungan memori pada buffer perantara, sedangkan representasi berbasis indexing atau broadcast dapat menghindari ekspansi tersebut. Definisi model dan realisasi kernel perlu dipisahkan saat menganalisis penggunaan memori.
Pengelompokan mengubah parameterisasi attention
Mengurangi Hkv mengubah parameterisasi proyeksi key dan value sekaligus geometri cache. Dengan dimensi head D yang sama, lebar keluaran proyeksi key dan value sebanding dengan Hkv * D. KV head yang lebih sedikit berarti lebih sedikit channel key dan value independen pada batas proyeksi tersebut.
Di sinilah kompromi arsitektural muncul. Setiap query head tidak lagi menerima proyeksi key-value privat. Head dalam satu grup harus melakukan attention melalui representasi key dan value bersama, walaupun query vector dan distribusi attention yang dihasilkan tetap dapat berbeda.
Softmax masih dihitung per query head. Pemakaian K dan V bersama tidak memaksa dua query head menghasilkan attention weight identik karena query vector dapat berbeda:
scores_i = Q_i K_g^T / sqrt(D)
weights_i = softmax(scores_i)
output_i = weights_i V_gDi sini g adalah grup KV untuk query head i. Dua head yang dipetakan ke g yang sama memakai K_g dan V_g yang sama, tetapi Q_i berbeda dapat menghasilkan scores_i dan weights_i yang berbeda.
GQA adalah titik arsitektural di antara MHA dan MQA
Formulasi GQA dari Ainslie dan kolega menggeneralisasi multi-query attention dengan memakai lebih dari satu key-value head, tetapi jumlahnya lebih sedikit daripada query head. Paper tersebut juga membahas konversi checkpoint multi-head melalui uptraining, termasuk pembentukan grouped key-value head dari head yang sudah ada. Prosedur konversi itu merupakan strategi training, bukan syarat bahwa setiap model GQA harus berasal dari checkpoint multi-head.
Tidak ada satu rasio Hq:Hkv yang menjadi definisi tunggal GQA. Model dapat memilih jumlah head sebagai bagian dari arsitektur, sesuai batas grouping dan implementasi. Kualitas, throughput, dan perilaku memori tidak dapat ditentukan hanya dari rasio tersebut.
Riset multi-query attention oleh Shazeer sebelumnya menempatkan pemuatan berulang tensor key dan value yang besar sebagai salah satu biaya penting pada incremental decoding, lalu memakai key dan value bersama untuk seluruh query head. GQA bergerak ke arah yang sama dalam mengurangi state KV independen, tetapi mempertahankan beberapa KV head di antara titik MQA dan MHA.
Penghematan cache dapat digabung dengan teknik KV lain
GQA mengurangi jumlah KV head. Mekanisme lain dapat menargetkan dimensi berbeda dari cache yang sama. Penyimpanan KV dengan presisi lebih rendah mengubah S; sliding atau bounded attention mengubah T efektif; cache paging mengubah alokasi dan penempatan; reuse prefix dapat menghindari penyimpanan state prefix duplikat pada request yang kompatibel.
Mekanisme tersebut tidak saling menggantikan. Model dengan sedikit KV head masih dapat memakai konteks panjang sehingga state cache tetap besar. Cache terkuantisasi masih dapat memiliki banyak KV head. Paged cache dapat memperbaiki perilaku alokasi tanpa mengurangi jumlah logis elemen KV.
Untuk analisis kapasitas, pemisahan dimensinya membantu menjaga estimasi tetap jelas:
KV capacity ~ layers * B * T * Hkv * D * bytes_per_elementSetiap optimasi bekerja pada satu atau beberapa faktor, sedangkan overhead runtime dapat menambah komponen di luar ekspresi sederhana ini.
Grouped-query attention menempatkan jumlah KV head langsung di dalam arsitektur model. Dampaknya pada serving berasal dari batas tersebut: lebih sedikit proyeksi key-value independen dihasilkan per token, lebih sedikit elemen KV head memerlukan penyimpanan persisten, dan beberapa query head memakai setiap representasi KV yang tersimpan. Besarnya peningkatan kecepatan merupakan hasil implementasi, sedangkan pengurangan state KV head logis merupakan sifat struktural.