Model autoregresif dapat menerima konteks yang lebih bersih saat training dibandingkan saat generation. Dengan teacher forcing, prediksi token berikutnya dikondisikan pada prefix referensi dari urutan training. Saat free-running decoding, model justru dikondisikan pada token yang dihasilkannya sendiri. Setelah sebuah token berbeda dari kelanjutan yang dituju, prediksi berikutnya bekerja pada prefix yang mungkin lebih jarang muncul dalam data training.
Ketidakcocokan ini umum disebut exposure bias. Masalahnya bukan sekadar bahwa model autoregresif dapat membuat kesalahan. Intinya adalah distribusi prefix yang diberikan kepada model dapat berubah antara optimisasi dan generation, sementara satu penyimpangan awal dapat mengubah setiap prediksi kondisional sesudahnya.
Teacher forcing mengubah sumber prefix
Untuk urutan target y_1, ..., y_T, training maximum likelihood umumnya menguraikan conditional log probability sebagai:
log p(y | x) = sum_t log p(y_t | y_<t, x)Setiap term training menggunakan prefix referensi y_<t. Bahkan jika model memberi probabilitas tertinggi kepada token lain pada posisi t - 1, term training berikutnya tetap menerima token referensi pada posisi tersebut.
Generation memiliki jalur data berbeda. Jika decoder memilih ŷ_1, distribusi berikutnya dikondisikan pada ŷ_1. Setelah pilihan berikutnya, kondisinya menjadi ŷ_1, ŷ_2, dan seterusnya. Prefix hasil generation menjadi bagian dari state input untuk prediksi berikutnya.
Perbedaan ini mudah tersamarkan ketika training loss dilaporkan sebagai satu nilai rata-rata. Next-token loss yang rendah pada prefix referensi tidak secara langsung menyatakan perilaku model setelah prefix buatannya sendiri menyimpang dari lintasan referensi.
Satu penyimpangan mengubah persoalan kondisional
Misalkan model sedang menghasilkan ekspresi terstruktur dan prefix yang dituju adalah:
SELECT name FROMJika decoding justru menghasilkan:
SELECT name WHEREmaka distribusi token berikutnya tidak lagi diminta dalam kondisi prefix yang dituju. Model harus melanjutkan dari state sintaksis yang berbeda. Token berikutnya yang tampak salah terhadap referensi masih dapat konsisten secara lokal dengan prefix yang benar-benar dihasilkan model.
Hal ini membuat atribusi kesalahan kurang langsung dibanding menghitung posisi yang berbeda secara independen. Penyimpangan pertama mengubah konteks untuk posisi berikutnya, sehingga perbedaan lanjutan bukan percobaan terpisah dalam kondisi awal yang sama.
Efeknya dapat ringan ketika prefix yang berdekatan memiliki distribusi kelanjutan serupa. Efeknya dapat besar ketika satu token mengubah sintaks, identitas entitas, state numerik, atau batasan lain yang mengendalikan sisa urutan.
Panjang urutan menambah peluang pergeseran prefix
Generation autoregresif berulang kali memasukkan output sebelumnya kembali ke model. Output yang lebih panjang memiliki lebih banyak posisi tempat lintasan hasil generation dapat menyimpang dari lintasan referensi. Pernyataan ini tidak berarti kualitas pasti menurun secara monoton seiring panjang urutan; prediksi berikutnya dapat pulih, dan banyak tugas valid memiliki lebih dari satu kelanjutan.
Namun, evaluasi yang hanya memakai prediksi satu langkah pada prefix referensi dapat melewatkan perilaku yang muncul setelah konteks buatan model terakumulasi. Perbedaan yang relevan terletak antara evaluasi prediksi kondisional pada prefix yang disediakan dari luar dan evaluasi lintasan lengkap yang dihasilkan decoder.
Hal ini juga memisahkan exposure bias dari batas context window. Model dapat mengalami ketidakcocokan distribusi prefix jauh sebelum konteks dipotong. Kapasitas konteks menentukan seberapa banyak state sebelumnya dapat direpresentasikan; exposure bias berkaitan dengan state sebelumnya yang diberikan.
Kebijakan decoding menentukan prefix yang menjadi input
Greedy decoding, sampling, dan beam search dapat membawa model yang sama ke prefix hasil generation yang berbeda. Greedy decoding memilih token dengan skor tertinggi pada setiap posisi. Sampling dapat memasuki cabang berprobabilitas lebih rendah. Beam search mempertahankan beberapa prefix sebelum memilih di antara hipotesis lengkap atau parsial.
Kebijakan tersebut tidak mengubah distribusi training dengan teacher forcing secara langsung, tetapi mengubah lintasan inference yang kemudian menjadi input model. Sampling temperature yang menyebarkan probability mass ke lebih banyak token dapat meningkatkan variasi prefix yang dikunjungi. Decoder yang lebih restriktif dapat mengurangi variasi tersebut sambil tetap membuat pilihan awal yang tidak dapat dibatalkan.
Karena itu, exposure bias tidak dapat dicirikan hanya dari bobot model. Decoder ikut menentukan distribusi prefix yang diamati saat inference.
Scheduled sampling mengubah prefix training sekaligus objektif
Salah satu pendekatan yang diusulkan adalah scheduled sampling, yang sesekali mengganti riwayat referensi dengan token buatan model saat training. Tujuannya adalah memberi model prefix yang lebih dekat dengan kondisi yang mungkin ditemui saat generation.
Modifikasi tersebut tidak ekuivalen dengan maximum likelihood biasa yang sepenuhnya memakai teacher forcing. Setelah output model masuk ke conditioning history, prosedur training bekerja pada proses prefix yang berbeda. Perilakunya bergantung pada seberapa sering token buatan model dipakai, bagaimana token tersebut dipilih, dan bagaimana jadwal berubah selama optimisasi.
Mekanisme ini juga membawa persoalan semantik: prefix buatan model mungkin tidak lagi sesuai dengan kelanjutan referensi yang dipakai sebagai target berikutnya. Jika token hasil sampling sebelumnya mengubah lintasan valid, tetap mengoptimalkan token referensi asli berikutnya dapat memasangkan prefix dengan target yang berasal dari lintasan lain.
Hal tersebut tidak membuat mixed-prefix training secara inheren tidak valid. Artinya, intervensi ini mengubah lebih dari sekadar noise pada input dan perlu dievaluasi sebagai objektif training tersendiri, bukan dianggap sebagai koreksi transparan.
Objektif tingkat urutan mendekatkan evaluasi ke generation
Kelompok pendekatan lain mengevaluasi atau mengoptimalkan urutan hasil generation secara lengkap menggunakan skor tingkat urutan. Pendekatan ini dapat menyelaraskan optimisasi dengan properti yang tidak dinyatakan langsung oleh token-level likelihood, tetapi juga mengubah persoalan optimisasi.
Objektif tingkat urutan memerlukan skor yang bermakna untuk tugasnya. Exact match, constraint satisfaction, edit distance, preference signal, atau utility khusus tugas dapat menekankan properti output yang berbeda. Tidak ada satu metrik yang menjadi pengganti generik likelihood untuk semua aplikasi.
Perbedaan yang berguna ada pada dua pertanyaan. Token-level maximum likelihood menilai apakah token referensi berikutnya memperoleh probabilitas pada prefix yang diberikan. Evaluasi tingkat urutan menilai apa yang terjadi ketika model dan decoder bersama-sama menghasilkan sebuah lintasan. Keduanya dapat informatif, tetapi mengukur perilaku berbeda.
Perturbasi prefix dapat mengisolasi perilaku pemulihan
Free-running generation lengkap menggabungkan banyak efek: ketidakpastian token awal, pilihan decoder, akumulasi penyimpangan, dan perilaku penghentian. Diagnosis yang lebih terarah dapat sengaja mengubah sebuah prefix lalu memeriksa prediksi sesudahnya.
Sebagai contoh, evaluator dapat membandingkan distribusi model setelah prefix referensi dengan distribusi setelah penyimpangan satu token yang masuk akal. Perbandingan dapat mencatat apakah probability mass tetap terkonsentrasi pada kelanjutan yang kompatibel dengan prefix yang berubah, apakah model kembali menuju struktur valid, atau apakah ketidakpastian meningkat tajam.
Perturbasi semacam itu perlu menghormati karakter tugas. Mengganti token dengan simbol yang mustahil tidak banyak memberi informasi tentang perilaku pada kesalahan model yang realistis. Perturbasi dari alternatif yang masuk akal, kekeliruan decoder, atau state tetangga yang valid memberi gambaran lebih jelas tentang pemulihan pada prefix yang benar-benar dapat dicapai.
Diagnosis ini tidak menghasilkan skor exposure bias universal. Nilainya terletak pada pemisahan perilaku pemulihan dari akurasi prefix referensi biasa, dengan state conditioning yang berubah dibuat eksplisit.
Training loss dan kualitas generation tetap merupakan pengukuran berbeda
Likelihood dengan teacher forcing berguna karena menyediakan objektif yang dapat dihitung pada urutan yang diamati. Batasannya bukan karena metode tersebut diam-diam melakukan generation secara keliru; conditioning prefix-nya berasal dari data, bukan dari model.
Evaluasi deployment karena itu perlu menyertakan jalur decoding aktual ketika perilaku tingkat urutan relevan. Token loss tetap dapat menunjukkan perubahan pada conditional fit, sedangkan metrik free-running menampilkan efek lintasan seperti struktur tidak valid, penghentian terlalu dini, konten berulang, atau kegagalan pulih setelah penyimpangan awal.
Exposure bias paling tepat dipakai sebagai deskripsi ketidakcocokan prefix antara training dan inference, bukan sebagai penjelasan umum untuk setiap cacat generation. Decoder scoring, pemotongan konteks, cakupan data, kapasitas model, dan batasan output dapat menghasilkan gejala serupa melalui mekanisme berbeda. Menyatakan sumber prefix secara eksplisit membantu memisahkan mekanisme tersebut.