Classifier yang dilatih dengan target one-hot menempatkan seluruh massa probabilitas target pada satu kelas. Label smoothing mengubah target tersebut sebelum cross-entropy dihitung: sebagian massa dipindahkan dari kelas yang ditetapkan lalu diberikan kepada kelas lain. Arsitektur network dapat tetap sama, tetapi objective optimisasinya sudah berbeda.
Perbedaan ini relevan saat menafsirkan confidence, nilai loss, dan konfigurasi implementasi. Label smoothing bukan operasi post-processing pada probabilitas prediksi. Mekanisme ini mengubah distribusi target yang menghasilkan sinyal training.
Distribusi target berubah sebelum cross-entropy
Untuk K kelas, misalkan y adalah target one-hot dan epsilon mengendalikan smoothing. Salah satu konvensi umum mencampur target dengan distribusi uniform:
y_smooth = (1 - epsilon) * y + epsilon / KUntuk kelas yang ditetapkan, probabilitas target menjadi:
1 - epsilon + epsilon / KSetiap kelas lain menerima:
epsilon / KCross-entropy kemudian memakai y_smooth, bukan vektor one-hot awal. Jika probabilitas prediksi adalah p_k, objective untuk satu contoh adalah:
L = -sum_k y_smooth_k * log(p_k)Dengan demikian, model menerima kontribusi gradient dari setiap kelas yang memiliki massa target bukan nol. Menaikkan logit kelas yang ditetapkan tanpa batas tidak lagi diberi dorongan dengan cara yang sama seperti pada target one-hot murni.
Konvensi smoothing tidak dapat dipertukarkan begitu saja
Formula di atas bukan satu-satunya konvensi yang dipakai dalam software dan publikasi. Definisi lain mempertahankan 1 - epsilon untuk kelas yang ditetapkan dan mendistribusikan epsilon hanya ke K - 1 kelas lainnya:
kelas target: 1 - epsilon
kelas lain: epsilon / (K - 1)Kedua definisi menghasilkan probabilitas target berbeda untuk nilai epsilon yang sama. Nilai konfigurasi tidak aman dibandingkan antarimplementasi tanpa mengetahui aturan distribusinya.
Perbedaannya semakin jelas saat K kecil. Pada pencampuran uniform ke seluruh kelas, sebagian massa smoothing kembali ke kelas yang ditetapkan. Pada redistribusi hanya ke kelas non-target, tidak ada massa tersebut yang kembali. Keduanya dapat disebut label smoothing, tetapi objective yang dikodekan berbeda.
Loss tidak lagi merepresentasikan kecocokan one-hot murni
Dengan target one-hot, cross-entropy untuk satu contoh bergantung langsung pada negative log probability kelas yang ditetapkan. Setelah smoothing, probabilitas pada kelas lain juga berkontribusi melalui bobot targetnya yang bukan nol.
Karena itu, training loss dengan smoothing tidak tepat ditafsirkan sebagai negative log probability tanpa smoothing untuk kelas yang ditetapkan. Nilai numeriknya mengukur objective yang berbeda. Membandingkan run dengan setting smoothing berbeda hanya dari training loss dapat mencampurkan dua definisi target yang tidak sama.
Batas yang sama berlaku untuk loss nol. Dengan target smoothed yang tidak degeneratif, objective mencapai minimum saat distribusi prediksi cocok dengan distribusi target tersebut dalam setup cross-entropy biasa. Target itu sendiri memiliki entropy bukan nol, sehingga minimum cross-entropy secara umum juga bukan nol.
Smoothing uniform tidak membawa struktur antarkelas
Uniform label smoothing memberi massa target yang sama kepada kelas non-target. Mekanisme ini tidak menyatakan bahwa satu kelas yang salah secara semantik lebih dekat ke kelas target dibanding kelas lainnya.
Jika sebuah task memiliki hierarki kelas eksternal, misalnya, smoothing uniform tidak memakai hierarki tersebut. Semua kelas non-target memperoleh kontribusi yang sama berdasarkan aturan uniform. Soft target non-uniform dapat mengodekan relasi lain, tetapi itu merupakan pilihan konstruksi target yang berbeda dan bukan sifat dari uniform label smoothing.
Hal ini juga memisahkan label smoothing dari ketidakpastian anotasi. Nilai epsilon tetap merupakan pilihan desain training. Nilai tersebut tidak membuktikan bahwa distribusi label kondisional yang sebenarnya memiliki tingkat ketidakpastian sama pada setiap contoh.
Efek kalibrasi memerlukan pengukuran terpisah
Label smoothing mengubah tekanan terhadap probabilitas kelas yang ekstrem sehingga perilaku confidence dapat ikut berubah. Mekanisme tersebut tidak menjamin hasil kalibrasi tertentu pada setiap dataset, arsitektur, atau distribution shift.
Kalibrasi adalah sifat empiris dari prediksi relatif terhadap outcome yang diamati. Karena itu, kalibrasi perlu diukur pada data yang sesuai dengan pertanyaan deployment. Maximum probability yang lebih rendah setelah smoothing, jika terjadi, bukan bukti tersendiri bahwa probabilitas prediksi telah terkalibrasi.
Batas implementasinya jelas: label smoothing mendefinisikan target training yang lebih lunak. Klaim tentang accuracy, calibration, transfer behavior, atau kualitas deployment berada di luar definisi tersebut dan bergantung pada model, data, prosedur optimisasi, konvensi smoothing, serta distribusi evaluasi.