RoPE Mengodekan Offset Relatif melalui Fase Query-Key yang Diputar

Thu, 24 Sep 2026 00:00:00 +0000

Rotary Position Embedding (RoPE) menerapkan rotasi berbasis posisi pada koordinat query dan key sebelum dot product attention dihitung. Skor yang dihasilkan membawa posisi relatif melalui selisih fase kedua rotasi tersebut, bukan melalui vektor posisi aditif yang ditempelkan pada representasi token.

Perbedaan ini bersifat struktural. RoPE memakai indeks absolut untuk menentukan setiap rotasi, tetapi inner product antara query dan key dapat ditulis sebagai fungsi offset di antara kedua posisi.

Pasangan koordinat membawa frekuensi sudut yang berbeda

RoPE membagi query atau key berdimensi genap menjadi pasangan koordinat dua dimensi. Untuk satu pasangan, posisi m menerapkan rotasi

Rotary Position Embedding Mengubah Indeks Absolut Menjadi Fase Relatif pada Attention

Thu, 24 Sep 2026 00:00:00 +0000

Self-attention dapat membandingkan isi token tanpa memberi urutan pada posisi token. Rotary Position Embedding (RoPE) memasukkan posisi ke dalam perbandingan itu dengan merotasi pasangan koordinat pada query dan key. Setiap token menerima rotasi berdasarkan indeks absolut, tetapi inner product query-key mereduksi kedua sudut absolut tersebut menjadi selisih sudut.

Pembatalan secara aljabar ini merupakan mekanisme utama RoPE. Tidak ada vektor posisi yang harus ditambahkan ke hidden state. Posisi mengubah orientasi komponen query dan key sebelum dot product dihitung.

Position Encoding on Nalar

RoPE Mengodekan Offset Relatif melalui Fase Query-Key yang Diputar

Pasangan koordinat membawa frekuensi sudut yang berbeda

Rotary Position Embedding Mengubah Indeks Absolut Menjadi Fase Relatif pada Attention