Model autoregresif dapat menerima prefix bersih pada setiap posisi training, tetapi tetap menghadapi distribusi input berbeda saat generation. Training umumnya memberi skor pada token referensi berikutnya sambil dikondisikan pada token referensi sebelumnya. Saat inference, prefix justru berisi output model sendiri.

Ketidakcocokan ini disebut exposure bias. Dampaknya muncul karena kesalahan awal pada generation tidak hanya membuat satu token keliru. Token tersebut menjadi bagian dari konteks untuk prediksi berikutnya, sehingga model memasuki state prefix yang mungkin jarang atau tidak pernah muncul saat training.

Token likelihood dikondisikan pada prefix

Untuk urutan target y_1, ..., y_T, faktorisasi autoregresif menuliskan probabilitas sebagai:

p(y_1, ..., y_T | x)
  = product_t p(y_t | y_<t, x)

Pada training maximum likelihood dengan teacher forcing biasa, y_<t adalah prefix referensi. Setiap posisi dioptimalkan menggunakan urutan yang terdapat pada contoh training, terlepas dari token yang mungkin dihasilkan model pada posisi sebelumnya.

Generation memakai recurrence berbeda:

y_hat_t ~ p(. | y_hat_<t, x)

Setiap token prediksi kini menjadi input untuk prediksi berikutnya. Jika y_hat_4 berbeda dari token referensi, posisi 5 dikondisikan pada prefix yang tidak dipakai training untuk contoh tersebut.

Objektifnya tetap koheren: maximum likelihood mengestimasi distribusi token kondisional pada data yang diamati. Ketidakcocokan muncul ketika distribusi kondisional tersebut disusun secara autoregresif menggunakan prefix yang dihasilkan model sendiri.

Kesalahan lokal dapat mengubah input berikutnya

Pertimbangkan output terstruktur dengan delimiter wajib:

reference:  name : value , status : active
generated:  name = value , status : active

Pergantian : menjadi = adalah kesalahan lokal, tetapi prediksi berikutnya kini melihat name =, bukan name :. Model yang hanya dioptimalkan pada prefix referensi valid tidak menerima sinyal training langsung untuk setiap kemungkinan prefix cacat yang dapat dibuatnya.

Efeknya tidak terbatas pada sintaks. Entitas, angka, atau pernyataan yang dihasilkan dapat mengubah probabilitas token berikutnya karena attention selanjutnya bekerja di atas konten hasil generation tersebut. Kesalahan dapat merambat melalui mekanisme conditioning yang sama yang memberi model autoregresif koherensi sekuensial.

Ini tidak berarti setiap kesalahan awal pasti memicu rangkaian kegagalan. Model dapat pulih jika konteks sekitar membatasi token berikutnya dengan kuat. Exposure bias menggambarkan ketidakcocokan distribusi antara training dan inference, bukan jaminan kegagalan setelah setiap token yang keliru.

Teacher forcing membuat training per posisi efisien

Conditioning pada prefix referensi memiliki properti komputasi penting dalam training transformer: posisi target dapat diproses paralel di bawah causal mask. Model menerima urutan target yang sudah diketahui, lalu loss untuk banyak posisi dapat dihitung dalam satu forward pass.

Mengganti prefix referensi dengan prefix hasil sampling model mengubah struktur tersebut. Token hasil generation pada posisi t bergantung pada token sebelumnya, sehingga memperoleh prefix hasil sampling yang realistis memperkenalkan dependensi sekuensial atau memerlukan aproksimasi.

Karena itu, intervensi terhadap exposure bias bukan sekadar perubahan format data. Intervensi tersebut dapat mengubah objektif training, distribusi prefix, dan komputasi yang diperlukan untuk menghasilkan prefix tersebut.

Scheduled sampling mengubah sumber prefix

Scheduled sampling diusulkan untuk mengekspos model urutan pada sebagian prediksinya sendiri saat training. Alih-alih memakai token referensi sebelumnya pada setiap posisi, training sesekali memasukkan token buatan model.

Pilihan sederhana dapat ditulis sebagai:

input_t =
    reference_(t-1)    with probability p
    generated_(t-1)    with probability 1 - p

Probabilitas tersebut dapat berubah sepanjang training. Pendekatan ini mengurangi jarak antara training yang sepenuhnya dikondisikan pada referensi dan inference autoregresif, tetapi juga mengubah objektif. Model kini dioptimalkan pada prefix yang disusun dari sumber berbeda, bukan hanya prefix dari data referensi.

Untuk transformer, dependensinya lebih kompleks daripada mengganti satu input recurrent. Setiap posisi dapat melakukan attention pada seluruh causal prefix, sehingga implementasi scheduled sampling mungkin membutuhkan beberapa decoding pass atau mekanisme lain untuk menyusun mixed prefix.

Scheduled sampling karena itu merupakan satu intervensi spesifik, bukan koreksi umum yang mempertahankan seluruh properti maximum-likelihood training.

Evaluasi tingkat urutan menampilkan efek yang tersembunyi dari token loss

Validation loss dengan teacher forcing mengevaluasi probabilitas token berikutnya pada prefix referensi. Pengukuran itu berguna untuk menilai distribusi kondisional yang dipelajari, tetapi tidak mereproduksi distribusi state yang ditemui selama free-running generation.

Sistem generation karena itu dapat memperoleh gambaran tambahan dari evaluasi yang benar-benar menghasilkan urutan. Pemeriksaan yang relevan bergantung pada kontrak output: validitas struktur, keberhasilan eksekusi, akurasi tugas, pemenuhan batasan, atau properti lain yang terkait dengan aplikasi.

Perbedaan ini terutama berguna ketika membandingkan dua model dengan teacher-forced loss yang serupa. Loss serupa tidak berarti kedua model pulih dengan cara sama setelah menghasilkan prefix di luar referensi. Evaluasi free-running mengamati konsekuensi dari output model sebelumnya.

Perturbasi prefix yang terkontrol dapat memberi sudut pandang tambahan. Memberikan token awal yang masuk akal tetapi keliru lalu mengukur perilaku berikutnya menguji sensitivitas terhadap state di luar lintasan referensi bersih. Perturbasi tersebut sebaiknya menyerupai kesalahan generation realistis, bukan noise acak.

Kebijakan decoding juga mengubah prefix yang dikunjungi

Exposure bias berasal dari ketidakcocokan prefix training dan inference, tetapi distribusi inference tidak tetap secara independen dari decoding. Greedy decoding, beam search, temperature sampling, dan token filter dapat membawa model yang sama ke wilayah prefix berbeda.

Token berprobabilitas rendah yang diizinkan oleh sampling dapat membuat prefix yang tidak pernah dikunjungi greedy decoding. Sebaliknya, decoding deterministik dapat berulang kali memilih kelanjutan yang disukai secara lokal tetapi berujung pada hasil tingkat urutan yang buruk.

Karena itu, ketahanan terhadap prefix hasil generation perlu dievaluasi dengan kebijakan decoding yang akan dipakai saat deployment. Distribusi prefix yang dikumpulkan dengan satu kebijakan tidak otomatis mewakili kebijakan lain.

Batas yang berguna bersifat distribusional

Exposure bias paling operasional ketika dinyatakan sebagai pergeseran distribusi konkret: model terutama dioptimalkan pada prefix referensi, tetapi dijalankan pada prefix yang dibentuk oleh prediksi model sendiri dan kebijakan decoding.

Framing tersebut menjaga persoalan engineering tetap presisi. Masalahnya bukan semata-mata karena generation bersifat autoregresif. Prediksi berikutnya bergantung pada state yang frekuensinya dapat berbeda antara training dan inference. Perubahan pada data training, objektif, konstruksi prefix, atau decoding perlu dinilai dari perubahan distribusi state tersebut serta perilaku tingkat urutan yang mengikutinya.

Kecerdasan Buatan LLM Model Urutan Training Inference