Sebuah klasifikator dapat memilih kelas yang benar tetapi memberikan probabilitas yang terlalu terkonsentrasi atau terlalu tersebar untuk aplikasi yang memakai skor tersebut. Temperature scaling menangani ketidaksesuaian ini setelah training model dengan menerapkan satu skalar positif pada logit sebelum softmax.
Mekanismenya sengaja dibuat sempit. Metode ini mengubah ketajaman probabilitas, bukan informasi yang direpresentasikan oleh klasifikator. Batas tersebut membuat temperature scaling berguna ketika ranking kelas sudah memadai tetapi nilai confidence memerlukan kalibrasi terpisah.
Temperature menskalakan ulang setiap logit kelas
Untuk logit z_1, ..., z_K dan temperature T > 0, probabilitas terkalibrasi untuk kelas k adalah:
p_k = exp(z_k / T) / sum_j exp(z_j / T)Temperature di atas satu memperkecil perbedaan logit dan menghasilkan distribusi probabilitas yang lebih datar. Temperature di bawah satu memperbesar perbedaan tersebut dan menghasilkan distribusi yang lebih tajam. Pada T = 1, softmax asli tidak berubah.
Karena pembagian dengan skalar positif yang sama mempertahankan urutan logit, kelas dengan logit terbesar tetap menjadi kelas dengan probabilitas terkalibrasi terbesar. Prediksi top-1 karena itu tetap sama ketika temperature scaling diterapkan persis dalam bentuk ini.
Invariansi ini berguna tetapi membatasi kemampuan metode. Jika klasifikator sering menempatkan kelas yang salah pada posisi pertama, perubahan satu temperature tidak dapat memperbaiki keputusan tersebut.
Temperature berasal dari prediksi held-out
Temperature biasanya di-fit setelah parameter klasifikator dibekukan. Sistem mengumpulkan logit dan label dari calibration split, lalu memilih T yang meminimalkan objective kalibrasi seperti negative log-likelihood pada split tersebut.
Hanya skalar temperature yang dioptimalkan. Bobot model dasar tetap tidak berubah.
Calibration split perlu merepresentasikan kondisi tempat probabilitas hasil kalibrasi akan diinterpretasikan. Menggunakan kembali contoh training dapat memberi temperature akses ke observasi yang sudah memengaruhi fitting model. Menggunakan kembali final test set juga mencemari evaluasi yang seharusnya memperkirakan perilaku pada data yang belum tersentuh. Partisi held-out terpisah menjaga peran-peran tersebut tetap berbeda.
Nilai hasil fitting terikat pada checkpoint model dan distribusi data yang menghasilkan logit. Mengganti checkpoint, mengubah preprocessing, atau berpindah ke distribusi input yang berbeda secara material dapat mengubah error confidence meskipun akurasi klasifikasi terlihat serupa.
Kalibrasi berbeda dari akurasi
Misalkan klasifikator menghasilkan confidence sekitar 0.95 untuk sekelompok prediksi. Kalibrasi berkaitan dengan apakah outcome yang terkait dengan confidence tersebut muncul pada frekuensi empiris yang sejalan dalam setup evaluasi. Akurasi menjawab hal berbeda: seberapa sering kelas yang dipilih benar.
Sebuah model dapat memiliki ranking accuracy yang berguna tetapi confidence yang skalanya buruk. Model juga dapat memiliki aggregate confidence yang terkalibrasi baik sambil tetap membuat banyak prediksi salah. Temperature scaling menargetkan sifat pertama tanpa mengubah kelas argmax.
Perbedaan ini penting ketika probabilitas mengendalikan keputusan downstream. Threshold seperti p >= 0.9 bukan sekadar bentuk lain dari klasifikasi top-1. Threshold memberi makna operasional pada besar skor, sehingga kalibrasi skor menjadi bagian dari interface antara model dan sistem di sekitarnya.
Metrik agregat dapat menyembunyikan error lokal
Satu metrik kalibrasi memadatkan perilaku dari banyak contoh. Expected calibration error, misalnya, mengelompokkan prediksi ke dalam confidence bin dan membandingkan confidence dengan akurasi teramati di dalam setiap bin sebelum mengagregasikan selisihnya.
Hasilnya bergantung pada definisi bin. Mengubah jumlah bin atau batasnya dapat mengubah nilai yang dilaporkan meskipun output model identik. Nilai agregat yang kecil juga dapat muncul bersamaan dengan error yang terkonsentrasi pada kelas, rentang confidence, atau segmen input tertentu.
Karena itu, fitting temperature dan penilaian kalibrasi adalah dua hal terpisah. Meminimalkan negative log-likelihood untuk T tidak membuat setiap subgroup otomatis terkalibrasi, dan metrik berbasis bin yang baik tidak membuktikan bahwa semua error probabilitas lokal kecil.
Pemeriksaan perilaku per kelas atau per segmen dapat memperlihatkan kasus yang dilebur oleh skor agregat.
Satu skalar mengasumsikan distorsi confidence global
Temperature scaling menerapkan koreksi yang sama pada setiap contoh dan setiap kelas. Bentuk implisitnya bersifat global: klasifikator dianggap secara umum terlalu tajam atau terlalu datar dengan cara yang dapat disesuaikan oleh satu skalar.
Asumsi tersebut dapat gagal. Satu kelas mungkin secara sistematis terlalu percaya diri sementara kelas lain kurang percaya diri. Confidence juga dapat berubah menurut panjang input, sumber akuisisi, bahasa, kondisi gambar, atau fitur lain yang tidak direpresentasikan oleh temperature global.
Mapping kalibrasi yang lebih fleksibel dapat memodelkan distorsi yang lebih kaya, tetapi fleksibilitas menambah parameter dan peluang lebih besar untuk melakukan fitting terhadap noise pada calibration set yang terbatas. Temperature scaling menempati titik tertentu dalam ruang desain ini: jumlah parameter rendah, urutan kelas dipertahankan, dan kapasitas koreksinya terbatas.
Distribution shift dapat membuat skala hasil fitting tidak lagi sesuai
Kalibrasi dievaluasi relatif terhadap suatu distribusi data. Jika input deployment berbeda dari calibration split, hubungan antara confidence dan kebenaran dapat bergeser.
Temperature scaling tidak memiliki mekanisme untuk mendeteksi pergeseran tersebut. Metode ini terus membagi logit dengan skalar hasil fitting tanpa memperhatikan apakah input saat ini menyerupai data kalibrasi. Probabilitas yang dihasilkan karena itu dapat kehilangan sifat kalibrasi sebelumnya tanpa perubahan apa pun pada parameter temperature.
Hal ini sangat relevan ketika confidence mengendalikan abstention, escalation, atau perilaku berbasis threshold lainnya. Memantau hanya akurasi top-1 dapat melewatkan perubahan semantik skor yang mengubah seberapa sering threshold tersebut terpicu.
Probabilitas terkalibrasi tetap merupakan output model
Temperature scaling dapat membuat probabilitas softmax lebih selaras dengan kebenaran yang teramati berdasarkan prosedur kalibrasi tertentu. Metode ini tidak mengubah probabilitas tersebut menjadi jaminan atas prediksi individual.
Skor tetap bergantung pada model, data, label, objective kalibrasi, dan populasi evaluasi. Skor juga tidak membawa bukti independen bahwa suatu input berasal dari distribusi yang sama dengan data kalibrasi.
Batas praktis mengikuti mekanismenya sendiri: temperature scaling cocok ketika masalah utama berupa ketajaman confidence global dan mempertahankan ranking kelas memang diinginkan. Ketika error sangat bergantung pada kelas atau wilayah input, satu skalar justru menunjukkan batas metode karena tidak dapat merepresentasikan struktur yang hilang.