https://nalar.dev/id/tags/positional-encoding/ Recent content in Positional Encoding on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/alibi-menambahkan-penalti-jarak-langsung-ke-logit-attention/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/alibi-menambahkan-penalti-jarak-langsung-ke-logit-attention/ <p>Attention with Linear Biases (ALiBi) mengubah skor causal attention sebelum softmax dengan menambahkan penalti yang membesar seiring jarak antartoken. Posisi masuk melalui jalur skor, bukan melalui vektor posisi yang ditambahkan ke representasi setiap token.</p> <p>Untuk query pada posisi <code>i</code> yang mengakses key pada posisi <code>j</code>, satu head dapat ditulis secara skematis sebagai:</p> <div x-data="{ code: $el.querySelector('code').innerText, copied: false }" class="code-block group relative my-6 overflow-hidden rounded-xl border border-line bg-surface-muted dark:border-night-line dark:bg-night-surface"> <button type="button" @click="navigator.clipboard.writeText(code); copied = true; setTimeout(() => copied = false, 1600)" class="absolute right-3 top-3 z-10 rounded-lg border border-line-strong bg-surface px-2 py-1 font-mono text-[0.8rem] text-muted opacity-0 transition group-hover:opacity-100 hover:bg-ink hover:text-white dark:border-night-line dark:bg-night dark:text-night-muted dark:hover:bg-white dark:hover:text-ink"> <span x-text="copied ? 'Copied' : 'Copy'"></span> </button> <div class="overflow-x-auto p-4 text-sm leading-6 [&_pre]:!m-0 [&_pre]:!bg-transparent [&_pre]:!p-0 [&_code]:font-mono"> <div class="highlight"><pre tabindex="0" style="background-color:#fff;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>score(i, j) = q_i · k_j / sqrt(d_k) - m_h * (i - j)</span></span></code></pre></div> </div> </div> <p>untuk posisi kausal <code>j &lt;= i</code>. Slope positif <code>m_h</code> bersifat spesifik untuk attention head <code>h</code>. Causal mask tetap mencegah akses ke posisi masa depan; komponen linear hanya mengubah preferensi relatif di antara posisi yang masih terlihat.</p>