Model autoregresif memprediksi token berikutnya dari sebuah prefix. Dalam training dengan teacher forcing, prefix tersebut biasanya berasal dari sequence referensi. Saat generasi, prefix berisi token yang dikeluarkan model sendiri. Satu kesalahan prediksi karena itu dapat mengubah konteks yang digunakan untuk seluruh prediksi berikutnya.
Perbedaan ini sering disebut exposure bias. Detail engineering yang lebih berguna adalah bahwa training dan generasi dapat menyajikan distribusi prefix yang berbeda kepada predictor kondisional yang sama. Validasi token-level pada prefix referensi yang bersih tidak sepenuhnya menggambarkan perilaku ketika model memasuki prefix yang jarang muncul selama training.
Teacher forcing mengubah sumber prefix
Untuk target sequence y_1, ..., y_T yang dikondisikan pada input x, training maximum likelihood umumnya meminimalkan token loss seperti:
L = -sum_t log p(y_t | y_<t, x)Prefix y_<t adalah prefix referensi. Setiap posisi dievaluasi dengan token target sebelumnya yang berasal dari data, bahkan jika model sebenarnya akan menghasilkan token berbeda di posisi lebih awal.
Generasi autoregresif menggunakan recurrence berbeda:
y_hat_t ~ p(. | y_hat_<t, x)Sekarang distribusi kondisional berikutnya bergantung pada y_hat_<t, yaitu prefix yang dibuat model sendiri. Jika y_hat_4 berbeda dari token referensi, posisi 5 dikondisikan pada konteks yang tidak digunakan oleh teacher-forced loss untuk contoh tersebut.
Perbedaan ini tidak membuat maximum likelihood menjadi tidak valid. Faktorisasi tetap mendefinisikan likelihood sequence yang sah, dan teacher forcing memberi supervisi langsung pada setiap posisi target. Mismatch terletak pada konteks yang ditemui selama rollout, bukan pada validitas matematis objective likelihood.
Kesalahan token lokal dapat mengubah konteks berikutnya
Kesalahan next-token memiliki dua efek selama generasi. Output langsung berbeda dari sequence yang diinginkan, dan token yang berubah menjadi bagian dari input konteks berikutnya.
Efek kedua dapat bertahan. Misalnya model menghasilkan closing delimiter terlalu awal. Prediksi setelahnya tidak lagi dikondisikan pada struktur referensi. Bahkan jika loss pada prefix referensi bersih rendah, metrik tersebut hanya memberi sedikit informasi mengenai perilaku kondisional setelah delimiter prematur tersebut.
Efeknya tidak selalu berupa cascade yang terus memburuk. Model dapat pulih dari prefix yang berubah, atau beberapa kelanjutan masih dapat diterima. Intinya adalah perilaku pemulihan tidak secara langsung diuji oleh evaluasi teacher-forced pada prefix yang utuh.
Hal ini sangat penting pada aplikasi yang membutuhkan rollout panjang dan koheren, syntax terstruktur, atau state yang harus konsisten sepanjang banyak token. Error rate kecil per token tidak dengan sendirinya menentukan probabilitas seluruh sequence memenuhi constraint tersebut.
Metrik clean-prefix dan rollout menjawab pertanyaan berbeda
Cross-entropy teacher-forced mengukur probabilitas yang diberikan pada next-token referensi di bawah prefix referensi. Perplexity diturunkan dari probabilitas kondisional yang sama. Keduanya berguna untuk mengukur distribusi yang dimodelkan pada konteks tersebut.
Evaluasi free-running mengukur object lain: sequence yang dihasilkan setelah model berulang kali mengonsumsi outputnya sendiri. Kebijakan decoding ikut memengaruhi hasil. Greedy decoding, beam search, temperature sampling, dan metode truncation dapat mengekspos prefix hasil generasi yang berbeda walaupun parameter model sama.
Evaluasi praktis karena itu dapat memisahkan setidaknya dua kondisi:
clean prefix:
reference tokens -> model -> next-token score
rollout prefix:
model tokens -> model -> sequence-level behaviorUntuk aplikasi yang sensitif terhadap recovery, kondisi ketiga juga berguna: mengganggu prefix valid secara sengaja lalu mengukur apakah output berikutnya kembali ke state yang dapat diterima. Gangguan sebaiknya menyerupai kesalahan generasi yang masuk akal, bukan noise acak. Identifier yang tertukar, delimiter yang hilang, atau token salah namun masih plausible dapat mengungkap perilaku yang tidak terlihat pada clean-prefix scoring.
Hasil metrik tersebut sebaiknya tidak dipaksa menjadi satu angka tanpa alasan yang jelas. Likelihood clean-prefix, kualitas rollout, dan recovery setelah corruption menggambarkan regime kondisional yang berbeda.
Scheduled sampling mengubah distribusi training, bukan hanya input
Scheduled sampling diperkenalkan untuk mencampurkan token hasil model ke dalam prefix selama training. Pada posisi tertentu, prediksi berikutnya dapat dikondisikan pada token yang dibuat model, bukan selalu token referensi.
Perubahan ini mempersempit salah satu bagian yang terlihat dari gap training-generasi karena model mulai menemui sebagian prefix nonreferensi. Namun objective training juga berubah. Prefix yang disampling bergantung pada perilaku model, sedangkan target token tetap berasal dari sequence referensi meskipun history yang disampling sudah menyimpang.
Ini menciptakan persoalan semantik yang halus. Setelah prefix berbeda, next-token referensi asli mungkin bukan lagi satu-satunya kelanjutan yang koheren. Prosedur training yang memasukkan history hasil model tetapi mempertahankan target referensi tetap dapat memasangkan prefix alternatif yang masuk akal dengan target yang sebenarnya dipilih untuk history lain.
Scheduled sampling karena itu tidak sebaiknya dianggap sebagai koreksi generik yang selalu meningkatkan kualitas sequence-level. Dampaknya bergantung pada sampling schedule, struktur task, state model, dan kriteria evaluasi. Lebih tepat melihatnya sebagai salah satu cara mengubah jenis prefix yang muncul selama optimisasi.
Prefix perturbation harus mengikuti semantik task
Mengujikan corruption acak dapat melebih-lebihkan fragilitas. Mengganti token dengan simbol yang mustahil menciptakan konteks yang mungkin tidak pernah muncul saat decoding normal. Sebaliknya, hanya menguji prefix bersih dapat menyembunyikan kegagalan yang muncul setelah kesalahan yang realistis.
Perturbation yang berguna tetap mempertahankan cukup banyak struktur task agar menyerupai state yang mungkin dicapai model. Untuk code generation, contohnya identifier valid tetapi binding-nya salah atau operator yang valid secara syntax namun keliru. Untuk teks terstruktur, contohnya section marker yang terlalu dini atau field yang terulang. Untuk sequence labeling autoregresif, contohnya satu prior label yang valid tetapi salah.
Tingkat corruption juga penting. Model yang menghadapi satu token berubah di prefix panjang diuji dalam kondisi berbeda dari model yang menghadapi corruption berulang. Melaporkan proses corruption bersama metrik membuat hasil tetap dapat ditafsirkan.
Gap ini merupakan properti dari keseluruhan sistem generasi
Prefix distribution shift sering dibahas sebagai masalah training, tetapi perilaku deployment juga bergantung pada decoding dan kontrol eksternal. Constrained decoding dapat mencegah sebagian state invalid masuk ke prefix. Retrieval atau tool output dapat menyisipkan konteks baru di antara segmen yang dihasilkan. Validator dapat menolak struktur parsial sebelum generasi dilanjutkan.
Mekanisme tersebut tidak menghapus perbedaan antara history referensi dan history hasil model. Mereka mengubah history mana yang dapat dicapai dan error mana yang dapat terus menyebar.
Bagi developer, batas yang paling berguna adalah prefix yang benar-benar diberikan kepada model pada setiap titik generasi. Jika evaluasi hanya mencakup prefix referensi sementara deployment sebagian besar mengonsumsi prefix hasil model, sebagian perilaku sistem tetap tidak terukur. Menjadikan sumber prefix sebagai dimensi evaluasi yang eksplisit membuat gap tersebut terlihat tanpa mengasumsikan satu perubahan training tertentu akan menyelesaikannya.