Sebuah classifier dapat menempatkan kelas yang benar di atas semua alternatif, tetapi menghasilkan probabilitas yang secara sistematis terlalu terkonsentrasi atau terlalu menyebar. Temperature scaling menangani ketidakselarasan itu setelah training dengan menerapkan satu skalar pada logit sebelum softmax. Confidence yang dilaporkan berubah tanpa mengubah parameter classifier utama.
Batas mekanismenya sempit. Metode ini tidak memperbaiki urutan kelas yang keliru, tidak menambahkan informasi pada representasi, dan tidak membuat setiap probabilitas individual menjadi akurat. Sasaran utamanya adalah hubungan antara confidence dan hasil yang teramati pada data yang representatif terhadap deployment.
Satu skalar mengubah konsentrasi softmax
Untuk logit z_1, ..., z_K, softmax biasa menghasilkan
p_i = exp(z_i) / sum_j exp(z_j)Temperature scaling menambahkan skalar positif T:
p_i(T) = exp(z_i / T) / sum_j exp(z_j / T)Saat T > 1, selisih antarligit mengecil sebelum softmax sehingga distribusi hasil menjadi kurang terkonsentrasi. Untuk 0 < T < 1, selisih tersebut membesar dan distribusi menjadi lebih terkonsentrasi. T = 1 tidak mengubah probabilitas.
Transformasi ini bersifat global: skalar hasil fitting yang sama diterapkan pada setiap contoh dan kelas. Batasan tersebut membuat lapisan kalibrasi tetap kecil, sekaligus membatasi bentuk miscalibration yang dapat direpresentasikan.
Temperature positif mempertahankan kelas prediksi
Membagi setiap logit dalam satu contoh dengan skalar positif dan finite yang sama mempertahankan urutannya. Jika
z_a > z_bmaka
z_a / T > z_b / T untuk T > 0Karena itu, argmax tidak berubah, termasuk himpunan nilai maksimum yang seri ketika logit sama. Akurasi klasifikasi top-1 yang ditentukan hanya dari argmax juga tetap sama pada contoh yang sama.
Sifat ini memisahkan kalibrasi dari koreksi keputusan. Model yang menempatkan kelas B di atas kelas A yang benar tetap menempatkan B di atas A setelah temperature scaling. Metode ini dapat mengubah confidence pada keputusan tersebut, bukan membalik urutannya.
Sistem downstream tetap dapat menghasilkan perilaku berbeda jika memakai threshold probabilitas, aturan abstention, perhitungan expected cost, atau logika lain yang bergantung pada besar probabilitas. argmax yang tetap tidak berarti setiap kebijakan keputusan juga tetap sama.
Temperature di-fit pada prediksi held-out
Temperature biasanya dipilih setelah parameter classifier dibekukan. Calibration set diproses oleh model untuk memperoleh logit dan label, lalu T dioptimalkan terhadap objective probabilistik seperti negative log-likelihood.
Secara konseptual:
T* = argmin_T sum_n -log softmax(z_n / T)[y_n]dengan T dibatasi agar positif. Implementasi sering mengoptimalkan parameter tanpa batas yang kemudian ditransformasikan menjadi nilai positif, atau menerapkan domain positif secara eksplisit dengan cara lain.
Calibration set relevan karena T di-fit terhadap pola gabungan logit dan outcome pada data tersebut. Pemakaian ulang contoh training dapat membuat estimasi kalibrasi mencerminkan data yang sebelumnya sudah terlibat dalam fitting parameter. Memakai data evaluasi yang nantinya dilaporkan sebagai test set murni juga mencemari evaluasi itu. Split kalibrasi held-out yang terpisah menjaga peran tersebut tetap berbeda.
Kualitas kalibrasi bergantung pada distribusi deployment
Temperature hasil fitting merangkum hubungan tertentu antara skala skor dan ketepatan empiris. Jika data deployment bergeser dalam prevalensi kelas, karakteristik input, kebijakan label, atau struktur error, hubungan tersebut dapat ikut berubah.
Temperature scaling tidak memiliki mekanisme untuk mendeteksi pergeseran itu. Skalar yang di-fit pada satu distribusi hanya menjadi parameter tersimpan saat inference. Validitasnya pada distribusi lain merupakan pertanyaan empiris, bukan jaminan matematis.
Batas ini terutama relevan ketika confidence mengendalikan otomasi. Probabilitas yang terkalibrasi pada validation set representatif tidak semestinya dianggap sebagai jaminan frekuensi permanen untuk perubahan input yang arbitrer.
Satu temperature tidak dapat mewakili distorsi spesifik kelas
Misalkan satu kelas secara konsisten terlalu percaya diri sementara kelas lain kurang percaya diri. Satu skalar bersama tidak dapat meratakan kelas pertama dan sekaligus mempertajam kelas kedua secara independen. Semua logit diskalakan dengan cara yang sama.
Metode post-hoc yang lebih ekspresif dapat memakai parameter per kelas atau berbentuk vektor, tetapi fleksibilitas tambahan juga meningkatkan jumlah data kalibrasi yang dibutuhkan agar parameter dapat diestimasi secara andal. Temperature scaling berada pada titik yang terbatas dalam ruang desain ini: satu degree of freedom mempertahankan urutan kelas dan mengurangi ruang untuk menyesuaikan keunikan sampel kalibrasi.
Batasan yang sama berarti perbaikan agregat dapat menyembunyikan residual error lokal. Karena itu, kalibrasi dapat diperiksa pada granularitas yang relevan terhadap aplikasi, seperti kelas penting, rentang skor, atau subgroup operasional, ketika data yang tersedia cukup untuk menghasilkan estimasi yang bermakna.
Metrik kalibrasi menggambarkan permukaan error yang berbeda
Negative log-likelihood mengevaluasi langsung probabilitas yang diberikan pada kelas teramati dan umum dipakai untuk fitting temperature. Ringkasan lain, termasuk calibration error berbasis bin, membandingkan confidence dengan akurasi empiris setelah prediksi dikelompokkan.
Besaran tersebut tidak dapat dipertukarkan. Metrik berbasis bin bergantung pada konstruksi bin dan jumlah sampel, sedangkan negative log-likelihood sensitif terhadap keseluruhan probabilitas yang diberikan pada outcome. Temperature yang dipilih untuk satu objective tidak dijamin meminimalkan metrik lain.
Karena itu, laporan kalibrasi perlu menyatakan metrik dan prosedur agregasinya, bukan memperlakukan satu skor skalar sebagai sifat intrinsik model.
Serving harus memakai batas logit yang sama dengan proses fitting
Saat inference, temperature scaling berada di antara logit classifier dan softmax akhir. Menerapkannya pada probabilitas yang sudah dinormalisasi merupakan transformasi berbeda. Menambahkan temperature lain di serving stack yang sebelumnya sudah memodifikasi logit juga dapat menghasilkan distribusi berbeda dari yang dievaluasi saat kalibrasi.
Temperature yang disimpan karena itu perlu mengikuti versi model dan semantik output persis yang dipakai saat fitting. Perubahan checkpoint classifier, himpunan label, pemrosesan logit, atau pipeline serving dapat membuat nilai hasil fitting tidak lagi sesuai walaupun bentuk API tetap identik.
Temperature scaling paling presisi ketika diperlakukan sebagai komponen post-hoc kecil dengan batas jelas: logit classifier tetap masuk, satu skalar positif menskalakannya, lalu probabilitas softmax terkalibrasi keluar. Mekanisme ini dapat mengoreksi ketidakselarasan skala skor yang luas pada kondisi representatif, tetapi error peringkat dan distribution shift tetap berada di luar batas tersebut.