QK normalization menempatkan normalisasi pada vektor query dan key sebelum dot product attention. Operasi ini mengubah geometri perhitungan skor: magnitudo vektor tidak lagi masuk ke dot product dalam bentuk mentah yang sama, sementara keselarasan arah tetap menjadi bagian dari skor.

Untuk satu vektor query q dan key k, scaled dot-product attention biasa membentuk skor seperti:

s = dot(q, k) / sqrt(D)

Varian dengan QK normalization lebih dulu menjalankan fungsi normalisasi yang ditetapkan model:

qn = norm_q(q)
kn = norm_k(k)
s  = dot(qn, kn) * scale

Aturan normalisasi, parameter skala terlatih, epsilon, dan skala skor akhir bersifat spesifik terhadap arsitektur. Istilah QK normalization menunjukkan lokasi normalisasi, bukan satu formula universal untuk semua model.

Magnitudo dot product berasal dari dua komponen

Tanpa normalisasi, dot product dapat ditulis sebagai:

dot(q, k) = ||q|| * ||k|| * cos(theta)

Magnitudonya dipengaruhi norma kedua vektor serta keselarasan sudut. Jika normalisasi memetakan vektor ke norma yang terkendali, faktor norma dikendalikan oleh transformasi tersebut dan skor menjadi lebih langsung terkait keselarasan ditambah skala eksplisit yang tetap atau terlatih.

Untuk normalisasi L2 unit yang eksak:

qn = q / ||q||
kn = k / ||k||
dot(qn, kn) in [-1, 1]

Bentuk normalisasi lain tidak selalu menghasilkan norma L2 unit. Interval numerik tersebut karena itu tidak berlaku secara umum untuk setiap arsitektur dengan QK normalization.

Softmax tetap bergantung pada selisih skor

Normalisasi berlangsung sebelum softmax. Operasi ini tidak menggantikan softmax dan tidak membuat bobot attention menjadi seragam. Setelah masking dan scaling yang ditentukan arsitektur, baris skor tetap dinormalisasi pada posisi key yang terlihat:

A = softmax(S + mask)

Dua key yang sudah dinormalisasi dapat memiliki keselarasan berbeda terhadap query yang sama, sehingga menghasilkan logit dan bobot attention berbeda. QK normalization mengendalikan atau membentuk ulang input ke operasi skor, bukan menghilangkan variasi skor.

Hal ini juga berbeda dari pengurangan nilai maksimum baris saat mengevaluasi softmax secara stabil. Pengurangan maksimum adalah teknik evaluasi softmax yang ekuivalen secara aljabar. QK normalization mengubah fungsi skor itu sendiri.

Lokasi operasi menjadi bagian dari semantik checkpoint

Menormalisasi hidden state sebelum proyeksi Q dan K secara umum tidak ekuivalen dengan menormalisasi Q dan K setelah proyeksi. Proyeksi linear dan operasi normalisasi nonlinear secara umum tidak dapat ditukar urutannya.

Secara konseptual:

norm(x Wq)

tidak secara umum sama dengan:

norm(x) Wq

Implementasi serving harus mempertahankan permukaan tensor yang ditetapkan checkpoint. Memindahkan operasi melewati proyeksi dapat menghasilkan dimensi tensor yang tetap valid, tetapi fungsi model sudah berubah.

Prinsip yang sama berlaku pada transformasi posisi rotary. Spesifikasi model dapat menempatkan QK normalization sebelum atau setelah transformasi posisi. Kedua urutan itu tidak otomatis dapat dipertukarkan, terutama jika normalisasi memiliki parameter per fitur atau operasi posisi mengubah koordinat secara terstruktur.

Epsilon dan presisi terbatas tetap terlihat

Normalisasi memerlukan denominator yang berasal dari statistik vektor. Implementasi biasanya memakai epsilon atau aturan lain untuk denominator kecil. Nilai serta lokasi epsilon memengaruhi perilaku pada magnitudo kecil dan merupakan bagian dari kontrak numerik model.

Eksekusi presisi terbatas menambah batas lain. Reduction, reciprocal, skala terlatih, dan dot product dapat memakai tipe accumulator atau kernel terfusi yang berbeda. Dua runtime dapat menjalankan arsitektur matematis yang sama tetapi menghasilkan perbedaan numerik kecil akibat urutan reduction dan pilihan presisi.

QK normalization juga tidak mencegah NaN atau infinity yang terbentuk pada jalur numerik bermasalah di tempat lain. Ekspresi matematis yang terbatas untuk input finite bukan jaminan bagi nilai intermediate non-finite.

Semantik cache bergantung pada batas normalisasi

Pada decoding autoregresif, key lazimnya dipertahankan dalam KV cache. Jika arsitektur menormalisasi K sebelum representasi cache dikonsumsi, runtime harus mempertahankan komputasi efektif yang sama ketika menulis dan membaca entri cache.

Sistem dapat menyimpan representasi sebelum atau setelah suatu transformasi hanya jika jalur eksekusinya tetap menghasilkan keluaran sesuai definisi model. Format cache merupakan keputusan implementasi; lokasi matematis normalisasi bukan keputusan bebas.

Batas ini semakin penting saat kuantisasi atau paging cache ditambahkan. Mekanisme tersebut mengubah representasi atau lokasi penyimpanan, sedangkan QK normalization mengubah komputasi pembentuk skor. Kombinasinya harus mempertahankan posisi token, identitas head, urutan transformasi, dan interpretasi numerik.

Kontrol skor bukan jaminan stabilitas seluruh model

QK normalization mengendalikan satu permukaan input pada logit attention. Mekanisme ini tidak dengan sendirinya membatasi magnitudo residual stream, aktivasi feed-forward, logit keluaran, state optimizer, atau setiap tensor intermediate di dalam model.

Mekanisme ini juga tidak menjamin efek tertentu pada kecepatan serving. Normalisasi tambahan memerlukan komputasi, sementara perubahan perilaku skor dapat berinteraksi dengan kernel terfusi dan perangkat keras secara berbeda. Latency end-to-end harus diukur pada runtime konkret, bukan disimpulkan hanya dari formula.

Batas teknisnya spesifik: QK normalization mentransformasi vektor query dan key pada antarmuka pembentukan skor attention sehingga magnitudo vektor mentah tidak masuk ke dot product tanpa perubahan. Attention yang dihasilkan tetap bergantung pada keselarasan vektor, scaling eksplisit, masking, softmax, serta kontrak normalisasi yang ditetapkan model.

Kecerdasan Buatan Transformer Attention Normalisasi Softmax