Classifier yang dilatih dengan target one-hot mendapat dorongan untuk memindahkan massa probabilitas ke kelas berlabel. Cross-entropy terus menurun saat model memberi kelas tersebut probabilitas yang semakin mendekati satu, bahkan setelah kelas prediksi sudah benar. Label smoothing mengubah tekanan ini dengan memberikan sedikit massa target kepada kelas lain.
Perubahan tersebut mudah dianggap sebagai detail kecil pada loss function. Namun dampaknya tidak kecil ketika aplikasi menggunakan nilai probabilitas model. Target yang dilunakkan mengubah optimum yang didorong oleh objektif training, sehingga skor confidence dari model dengan smoothing tidak seharusnya ditafsirkan seolah berasal dari objektif yang sama dengan training one-hot biasa.
Distribusi target tidak lagi one-hot
Untuk masalah klasifikasi dengan K kelas, salah satu konvensi label smoothing yang umum mencampur target one-hot dengan distribusi uniform. Dengan parameter smoothing ε, distribusi target adalah
q = (1 - ε) * one_hot(y) + ε / KDalam konvensi ini, kelas berlabel menerima
1 - ε + ε / Kdan setiap kelas lain menerima
ε / KSebagian library dan paper memakai konvensi berbeda yang mendistribusikan massa smoothing hanya ke kelas yang salah. Definisi tersebut menghasilkan nilai target berbeda untuk ε yang sama, sehingga implementasi persisnya perlu dicatat dalam setiap perbandingan training run.
Cross-entropy dengan distribusi target q adalah
L = -Σ q_i log p_idengan p_i sebagai probabilitas model untuk kelas i. Pada target one-hot, hanya kelas berlabel yang berkontribusi langsung pada jumlah ini. Dengan label smoothing, setiap kelas memiliki massa target nonzero dalam konvensi campuran uniform.
Gradien yang dihasilkan terhadap softmax logit z_i adalah
∂L/∂z_i = p_i - q_iPersamaan ini memperjelas perubahan tekanan optimisasi. Setelah probabilitas prediksi untuk kelas berlabel naik melewati nilai target yang telah dilunakkan, logit-nya menerima tekanan ke arah berlawanan alih-alih terus didorong tanpa batas menuju probabilitas satu.
Klasifikasi benar dan confidence ekstrem menjadi objektif terpisah
Model hanya memerlukan kelas berlabel memiliki skor terbesar untuk mengklasifikasikan contoh dengan benar. Namun one-hot cross-entropy terus memberi reward pada pemisahan yang lebih besar antara kelas tersebut dan alternatifnya saat probabilitas mendekati satu.
Label smoothing melemahkan insentif itu. Mekanisme ini bukan sekadar menambahkan noise ke label dan tidak menggantinya secara acak. Target yang digunakan loss bersifat deterministik untuk kelas dan aturan smoothing tertentu.
Perbedaan ini memengaruhi geometri output layer. Pertimbangkan masalah tiga kelas dengan ε = 0.1 dalam konvensi campuran uniform. Target kelas berlabel sekitar 0.9333, sedangkan setiap alternatif menerima sekitar 0.0333. Prediksi seperti
[0.97, 0.02, 0.01]masih memilih kelas yang benar, tetapi lebih terkonsentrasi daripada target yang dilunakkan. Karena itu loss tidak menganggap konsentrasi tambahan sebagai perbaikan tanpa syarat.
Konsekuensi praktisnya bukan berarti setiap model dengan smoothing menghasilkan probabilitas dekat dengan nilai targetnya. Parameter bersama, data terbatas, regularisasi, optimisasi, dan contoh yang saling bertentangan mencegah interpretasi sesederhana itu. Distribusi target menggambarkan tekanan lokal dari objektif, bukan distribusi output yang dijamin.
Kalibrasi confidence tidak otomatis terjadi karena smoothing
Maximum softmax probability yang lebih rendah dapat tampak lebih terkalibrasi ketika model tanpa smoothing terlalu percaya diri. Observasi itu bukan jaminan bahwa label smoothing mengalibrasi probabilitas untuk aplikasi tertentu.
Kalibrasi menyangkut hubungan antara confidence prediksi dan hasil empiris. Sebagai contoh, di antara prediksi dengan confidence sekitar 0.8, classifier yang terkalibrasi diharapkan benar kira-kira pada tingkat tersebut dalam distribusi data dan definisi confidence yang dievaluasi. Label smoothing mengubah target training; mekanisme ini tidak secara langsung menegakkan hubungan empiris tersebut pada held-out data.
Perbedaan ini semakin relevan saat terjadi distribution shift. Model dapat memiliki nilai confidence moderat tetapi tetap terkalibrasi buruk ketika distribusi deployment berbeda dari distribusi evaluasi. Sebaliknya, model tanpa smoothing dapat dikalibrasi melalui prosedur kalibrasi terpisah.
Metrik juga menjawab pertanyaan berbeda. Negative log-likelihood mengevaluasi probabilitas yang diberikan pada label yang diamati. Accuracy mengevaluasi keputusan teratas. Calibration error merangkum kesesuaian antara confidence dan kebenaran yang diamati memakai estimator atau skema binning tertentu. Perubahan pada satu metrik tidak menetapkan perubahan yang sama pada metrik lainnya.
Konvensi smoothing perlu menjadi bagian dari artefak model
Mencatat hanya ε = 0.1 bersifat ambigu. Nilai tersebut tidak lengkap tanpa aturan yang digunakan untuk membentuk target.
Dua implementasi dapat sama-sama menyebut label smoothing 0.1 sambil memberikan massa berbeda pada kelas berlabel. Dengan K kelas, konvensi campuran uniform memberi kelas berlabel 1 - ε + ε/K. Konvensi yang menyisihkan seluruh massa smoothing untuk kelas yang salah memberinya 1 - ε.
Perbedaannya mengecil ketika K bertambah, tetapi tetap menjadi bagian dari objektif. Mereproduksi atau membandingkan sebuah run karena itu memerlukan konvensi smoothing, jumlah kelas, implementasi loss, serta class weighting yang mengubah kontribusi target.
Class weighting perlu perhatian khusus. Mengalikan term loss per kelas dengan bobot dapat berinteraksi dengan soft target dengan cara yang spesifik terhadap implementasi. Definisi loss yang didokumentasikan library perlu diperiksa, bukan mengasumsikan smoothing dan weighting tersusun secara identik di semua framework.
Target distillation berkaitan tetapi tidak setara
Label smoothing dan knowledge distillation sama-sama dapat mengganti target one-hot dengan distribusi yang memiliki massa nonzero pada beberapa kelas, tetapi sumber massa tersebut berbeda.
Uniform label smoothing memberikan massa pada alternatif menurut aturan tetap. Distribusi teacher dalam distillation dapat mengekspresikan struktur antaralternatif. Pada image classifier, misalnya, teacher dapat memberi probabilitas berbeda pada dua kelas yang salah karena logit-nya membedakan kecocokan masing-masing terhadap input. Uniform smoothing tidak dapat mengodekan relasi yang bergantung pada input tersebut.
Karena itu smoothing tidak seharusnya digambarkan sebagai pengganti umum untuk soft teacher target. Keduanya mengubah distribusi target, tetapi membawa informasi berbeda dan menghasilkan gradien berbeda.
Temperature-scaled distillation menambahkan perbedaan lain. Membagi logit teacher dan student dengan temperature sebelum softmax mengubah tingkat kelembutan relatif distribusi yang digunakan dalam term distillation. Mekanisme tersebut terpisah dari pemilihan parameter label smoothing tetap.
Evaluasi perlu mempertahankan keputusan deployment
Jika classifier hanya digunakan untuk pemilihan kelas teratas, accuracy atau metrik keputusan spesifik tugas lain dapat menjadi perhatian utama. Jika kode downstream menerapkan threshold pada probabilitas, mengurutkan kasus berdasarkan confidence, menolak prediksi yang tidak pasti, atau menggabungkan probabilitas dengan sinyal lain, perilaku probabilitas itu sendiri menjadi bagian dari interface.
Perbandingan yang berguna mempertahankan aturan keputusan deployment dan mengevaluasi model dengan serta tanpa smoothing pada held-out example yang sama. Periksa metrik yang sesuai dengan interface tersebut alih-alih menyimpulkan kualitas probabilitas hanya dari training loss.
Threshold perlu divalidasi ulang setelah objektif berubah. Threshold yang dipilih untuk model tanpa smoothing tidak mempertahankan makna operasional yang sama hanya karena arsitektur dan label kelas tetap identik. Distribusi skor dapat bergeser meski top-class accuracy hanya berubah sedikit.
Kehati-hatian yang sama berlaku ketika mengganti checkpoint model pada layanan yang sudah berjalan. Label smoothing adalah pilihan saat training, tetapi efeknya dapat melewati batas serving ketika consumer bergantung pada logit atau probabilitas. Menjadikan definisi smoothing sebagai metadata model membuat dependensi tersebut terlihat dan menjaga perilaku yang sensitif terhadap confidence tetap dapat diuji.