Decoding autoregresif biasanya menetapkan satu token setelah setiap evaluasi model target. Menghasilkan K token membentuk rantai dependensi serial: token t+1 belum dapat di-sampling sebelum token t ditetapkan dan menjadi bagian dari prefix. Speculative decoding mengubah jumlah progres yang dapat diperoleh dari satu pemanggilan model target tanpa menghapus dependensi kausal tersebut.

Model draft yang lebih murah terlebih dahulu mengusulkan beberapa token lanjutan. Model target kemudian mengevaluasi posisi kandidat itu bersama-sama. Token dengan probabilitas draft yang kompatibel terhadap distribusi target dapat diterima, sedangkan posisi pertama yang ditolak dikoreksi memakai distribusi residual. Sampel akhir tetap mengikuti distribusi model target ketika prosedur acceptance dan koreksi diterapkan sesuai formulasi algoritmanya.

Sifat ini membedakan speculative decoding dari approximate decoding. Model draft memengaruhi biaya eksekusi dan frekuensi acceptance, tetapi bukan sumber otoritas bagi distribusi probabilitas akhir.

Proses draft memindahkan kerja serial ke model yang lebih murah

Gunakan p sebagai distribusi model target dan q sebagai distribusi model draft. Dari sebuah prefix, model draft menghasilkan blok seperti

x1, x2, x3, x4

serta menyimpan probabilitas kondisional untuk setiap token yang di-sampling. Proposal tersebut tetap autoregresif di dalam model draft: setiap token yang diusulkan memperpanjang prefix untuk proposal berikutnya.

Asimetri komputasi menjadi dasar mekanisme ini. Jika evaluasi q jauh lebih murah daripada p, beberapa langkah draft serial dapat membutuhkan biaya lebih kecil dibanding jumlah langkah model target yang setara. Model target menerima prefix awal beserta continuation hasil draft dan menghitung skor beberapa posisi kandidat dalam satu evaluasi berbentuk batch.

Transformer dapat menghasilkan logit untuk banyak posisi secara bersamaan ketika seluruh blok token sudah tersedia sebagai input. Causal mask tetap mencegah suatu posisi mengakses posisi di masa depannya. Verifikasi paralel tidak menghapus semantik kausal; yang berubah adalah waktu tersedianya token kandidat bagi model yang mahal.

Acceptance bergantung pada probabilitas target dan draft

Token proposal tidak cukup dinilai hanya dari besar probabilitas targetnya. Speculative sampling yang exact memakai rasio probabilitas. Untuk token draft x yang di-sampling dari q, probabilitas acceptance adalah

min(1, p(x) / q(x))

dengan kedua distribusi dikondisikan pada prefix accepted yang sama di posisi tersebut.

Jika target memberi probabilitas pada x setidaknya sebesar model draft, token diterima dengan probabilitas satu. Jika model draft memberi bobot terlalu besar pada x dibanding target, peluang acceptance turun secara proporsional.

Aturan ini mengompensasi asal kandidat yang datang dari q, bukan p. Menerima semua token draft yang tampak masuk akal secara umum akan menggeser output menuju distribusi draft.

Acceptance berjalan dari kiri ke kanan. Setelah satu kandidat ditolak, token draft sesudahnya berasal dari prefix yang memuat token yang tidak lagi diterima. Kandidat lanjutan tersebut tidak dapat langsung di-commit seolah prefix kondisionalnya masih berlaku.

Rejection memakai distribusi residual

Pada posisi pertama yang ditolak, sampling langsung dari p saja tidak cukup untuk mempertahankan distribusi target karena event rejection sudah membawa informasi tentang sampel draft. Distribusi koreksi memperhitungkan kondisi tersebut.

Pada konstruksi speculative sampling dasar, token pengganti diambil dari distribusi yang proporsional terhadap

max(0, p(x) - q(x))

untuk seluruh vocabulary, kemudian dinormalisasi. Bagian probabilitas yang masuk melalui proposal accepted dan bagian residual setelah rejection bergabung untuk menghasilkan kembali distribusi target.

Aljabar tersebut merupakan bagian inti algoritma, bukan penyesuaian kualitas opsional. Implementasi yang mengganti ratio acceptance atau koreksi residual dengan threshold heuristik masih dapat berguna, tetapi tidak otomatis memperoleh pernyataan preservasi distribusi yang sama.

Perilaku numerik juga relevan. Formulasi yang dipublikasikan menetapkan sifat tersebut untuk operasi probabilitas yang disyaratkan; kernel finite-precision, sampling code yang berbeda, truncation, atau pemrosesan logit yang tidak konsisten dapat menghasilkan perbedaan pada level implementasi. Ekuivalensi distribusi adalah sifat algoritmik yang bergantung pada kesesuaian operasi yang dijalankan.

Blok yang diterima penuh memberi lebih dari satu token

Ketika seluruh token draft dalam satu blok diterima, evaluasi target juga menyediakan informasi untuk mengambil satu token tambahan dari distribusi target setelah blok tersebut. Satu ronde verifikasi yang berhasil dapat meng-commit seluruh blok proposal ditambah satu token hasil sampling target.

Jika rejection terjadi lebih awal, ronde itu hanya meng-commit sejumlah token draft sebelum posisi koreksi. Potensi akselerasi karena itu terkait panjang acceptance aktual, bukan hanya ukuran blok draft yang dikonfigurasi.

Blok yang lebih panjang menyediakan lebih banyak kandidat untuk diterima per pemanggilan target, tetapi juga menambah komputasi draft dan pekerjaan verifikasi pada suffix yang menjadi tidak terpakai setelah rejection awal. Panjang blok terbaik bergantung pada workload dan implementasi, bukan konstanta arsitektural.

Kualitas draft memengaruhi kecepatan, bukan otoritas target

Model draft yang distribusinya dekat dengan target cenderung menghasilkan kandidat dengan peluang acceptance lebih tinggi. Kondisi ini dapat meningkatkan jumlah token committed dari setiap evaluasi target. Model draft yang tidak cocok dapat memicu rejection dini secara sering dan menyisakan sedikit ruang untuk mengamortisasi latency model target.

Kedekatan distribusi saja tidak cukup untuk menghasilkan percepatan. Model draft juga harus cukup murah agar proses proposal tidak menghabiskan waktu target yang berhasil dihemat. Utilisasi hardware, ukuran batch, panjang sequence, traffic memori, overhead kernel launch, dan perilaku scheduler serving ikut menentukan latency aktual.

Karena itu speculative decoding merupakan optimasi sistem dengan syarat correctness probabilistik. Acceptance rate berguna sebagai metrik, tetapi tidak mewakili performa end-to-end secara mandiri. Dua konfigurasi dengan pola acceptance sama dapat memiliki latency berbeda jika biaya draft atau efisiensi verifikasinya berbeda.

Pemrosesan logit harus konsisten selama verifikasi

Decoder produksi sering mengubah logit mentah sebelum sampling. Temperature, vocabulary mask, repetition penalty, top-k, top-p, atau constraint aplikasi dapat mengubah distribusi token efektif.

Nilai p dan q yang dipakai pada acceptance harus merepresentasikan distribusi yang benar-benar menjadi dasar keputusan target dan draft. Jika transformasi dipakai pada sampling target biasa tetapi efeknya tidak masuk ke verifikasi speculative, perhitungan probabilitas berubah. Hal serupa berlaku ketika constraint membuat token tertentu mustahil dipilih.

Tidak semua kebijakan decoding masuk secara identik ke formulasi speculative sampling yang sama. Verifikasi greedy deterministik, constrained decoding, dan stochastic sampling memiliki semantik keputusan berbeda walaupun implementasi dapat menempatkannya di balik satu generation API. Klaim preservasi distribusi perlu menyebut aturan decoding yang dicakup, bukan menganggap semua mode generation dapat dipertukarkan.

Verifikasi mengubah unit progres model target

Decoding autoregresif biasa umumnya memperoleh satu token committed dari satu langkah target serial. Speculative decoding menambahkan batas proposal dan verifikasi: kerja serial yang murah membentuk blok kandidat, lalu satu evaluasi mahal dapat memvalidasi prefix dengan panjang yang bervariasi dari blok tersebut.

Model target tetap menjadi otoritas statistik akhir. Rejection bukan error dari model target, dan acceptance bukan sertifikasi bahwa sebuah token merupakan satu-satunya pilihan benar. Keduanya adalah event sampling yang dirancang agar proposal draft dapat digunakan kembali sambil mempertahankan distribusi target.

Batas praktisnya sama penting. Keberadaan model yang lebih kecil tidak menjamin latency turun. Speculation menghasilkan keuntungan ketika progres accepted per verifikasi mahal melampaui biaya pembuatan draft, bookkeeping probabilitas, suffix yang ditolak, dan overhead serving. Mekanismenya mempertahankan semantik sampling target; percepatannya tetap merupakan sifat empiris dari inference stack secara keseluruhan.