https://nalar.dev/id/tags/encoding-posisi/ Recent content in Encoding Posisi on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/alibi-menambahkan-bias-proporsional-jarak-pada-skor-attention/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/alibi-menambahkan-bias-proporsional-jarak-pada-skor-attention/ <p>ALiBi mengubah skor attention sebelum softmax, bukan menambahkan vektor posisi ke representasi token. Pada transformer kausal, key yang berada semakin jauh di belakang query menerima offset negatif yang semakin besar. Offset tersebut linear terhadap jarak token dan memakai slope yang terkait dengan attention head.</p> <p>Bentuk sederhana untuk skor head <code>h</code> dapat ditulis sebagai:</p> <div x-data="{ code: $el.querySelector('code').innerText, copied: false }" class="code-block group relative my-6 overflow-hidden rounded-xl border border-line bg-surface-muted dark:border-night-line dark:bg-night-surface"> <button type="button" @click="navigator.clipboard.writeText(code); copied = true; setTimeout(() => copied = false, 1600)" class="absolute right-3 top-3 z-10 rounded-lg border border-line-strong bg-surface px-2 py-1 font-mono text-[0.8rem] text-muted opacity-0 transition group-hover:opacity-100 hover:bg-ink hover:text-white dark:border-night-line dark:bg-night dark:text-night-muted dark:hover:bg-white dark:hover:text-ink"> <span x-text="copied ? 'Copied' : 'Copy'"></span> </button> <div class="overflow-x-auto p-4 text-sm leading-6 [&_pre]:!m-0 [&_pre]:!bg-transparent [&_pre]:!p-0 [&_code]:font-mono"> <div class="highlight"><pre tabindex="0" style="background-color:#fff;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-text" data-lang="text"><span style="display:flex;"><span>score_h(i, j) = q_i k_j^T / sqrt(d) - m_h * (i - j)</span></span></code></pre></div> </div> </div> <p>untuk pasangan kausal yang diizinkan dengan <code>j &lt;= i</code> dan slope positif <code>m_h</code>. Causal mask tetap menentukan posisi masa depan yang tidak dapat diakses. ALiBi mengubah skor relatif di antara posisi yang masih diizinkan.</p>