FlashAttention Menghitung Softmax Eksak per Tile Tanpa Menyimpan Matriks Skor Penuh

Thu, 24 Sep 2026 00:00:00 +0000

Scaled dot-product attention standar membentuk matriks skor dengan dua sumbu panjang yang sama-sama mengikuti posisi sequence. Untuk satu attention head,

copied = false, 1600)" class="absolute right-3 top-3 z-10 rounded-lg border border-line-strong bg-surface px-2 py-1 font-mono text-[0.8rem] text-muted opacity-0 transition group-hover:opacity-100 hover:bg-ink hover:text-white dark:border-night-line dark:bg-night dark:text-night-muted dark:hover:bg-white dark:hover:text-ink">

S = QK^T / sqrt(d)
P = softmax(S)
O = PV

definisi matematisnya ringkas, tetapi implementasi GPU langsung dapat menulis intermediate besar S dan P ke high-bandwidth memory lalu membacanya kembali. FlashAttention mengubah aliran data tersebut. Query, key, dan value diproses dalam blok di memori on-chip, sementara state softmax per baris dibawa dari satu tile ke tile berikutnya agar seluruh tile skor tetap dapat digabungkan secara eksak.

PCIe Resizable BAR Memperluas Jendela Memori Device yang Terlihat CPU

Thu, 17 Sep 2026 00:00:00 +0000

Device PCI Express dapat mengekspos memori dan register melalui Base Address Register, yang biasa disingkat BAR. Platform menetapkan rentang address untuk BAR tersebut, lalu CPU dapat menjangkau resource device yang dipetakan melalui transaksi berbasis memory address biasa.

Untuk device dengan local memory besar, BAR yang kecil hanya dapat mengekspos sebagian memori pada satu waktu. Software mungkin harus mengubah bagian mana yang terlihat melalui aperture ketika akses berpindah ke region lain pada memori device. PCIe Resizable BAR menambahkan mekanisme standar untuk memilih ukuran BAR yang lebih besar dari ukuran yang didukung, sehingga region yang jauh lebih luas dapat tetap terlihat oleh CPU pada saat yang sama.

GPU on Nalar

FlashAttention Menghitung Softmax Eksak per Tile Tanpa Menyimpan Matriks Skor Penuh

PCIe Resizable BAR Memperluas Jendela Memori Device yang Terlihat CPU