https://nalar.dev/id/tags/rope/ Recent content in RoPE on Nalar Hugo id-id Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/pergeseran-posisi-rope-mempertahankan-fase-relatif-tetapi-mengubah-rotasi-absolut/ Wed, 23 Sep 2026 00:00:00 +0000 https://nalar.dev/id/pergeseran-posisi-rope-mempertahankan-fase-relatif-tetapi-mengubah-rotasi-absolut/ <p>Rotary position embeddings, yang umum disebut RoPE, memasukkan posisi ke attention dengan merotasi pasangan channel query dan key memakai sudut yang ditentukan oleh posisi token. Rotasi dilakukan sebelum dot product query-key. Posisi karena itu tidak direpresentasikan dengan menambahkan satu vektor terpisah ke representasi setiap token.</p> <p>Perbedaan ini berdampak langsung pada inferensi. Key yang sudah berada di cache telah memuat rotasi untuk posisi yang diberikan kepadanya. Memakai ulang key tersebut pada koordinat sequence lain tanpa transformasi yang ekuivalen akan mengubah komputasi attention, meskipun konten token sama.</p>