https://nalar.dev/id/tags/inferensi-transformer/ Recent content in Inferensi Transformer on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/position-interpolation-memampatkan-indeks-rope-ke-rentang-konteks-asli/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/position-interpolation-memampatkan-indeks-rope-ke-rentang-konteks-asli/ <p>Transformer berbasis RoPE mengaitkan posisi token dengan rotasi yang sudutnya bergantung pada indeks posisi dan frekuensi per dimensi. Saat sequence melewati rentang konteks yang dipakai dalam pelatihan, rotasi tersebut memakai indeks posisi di luar rezim yang pernah dihadapi model. Position Interpolation mengubah batas itu dengan menskalakan indeks yang diperpanjang kembali ke rentang asli sebelum transformasi rotary diterapkan.</p> <p>Untuk batas konteks asli <code>L</code> dan target konteks <code>L' &gt; L</code>, pemetaan linear yang disederhanakan adalah:</p>