Kecerdasan Buatan on Nalar

Evaluasi Klasifikator Probabilistik dengan Brier Score

Thu, 17 Sep 2026 00:00:00 +0000

Dua klasifikator dapat menghasilkan label prediksi dan akurasi yang sama, tetapi memberikan probabilitas yang sangat berbeda untuk label tersebut. Sistem yang selalu menghasilkan 0.51 untuk keputusan biner yang benar tidak membuat klaim probabilistik yang sama dengan sistem yang menghasilkan 0.99, meskipun akurasi berbasis threshold dapat memperlakukan keduanya secara identik.

Brier score mempertahankan perbedaan itu. Metrik ini mengukur squared error antara probabilitas prediksi dan hasil yang benar-benar terjadi, sehingga kelas yang dipilih maupun besar probabilitas untuk setiap hasil ikut memengaruhi skor. Ini berguna ketika komponen downstream memakai probabilitas untuk ranking, threshold, abstention, atau keputusan berbasis expected cost.

Teacher Forcing Menciptakan Kesenjangan Distribusi Prefix

Thu, 17 Sep 2026 00:00:00 +0000

Model autoregresif memprediksi token berikutnya dari sebuah prefix. Dalam training dengan teacher forcing, prefix tersebut biasanya berasal dari sequence referensi. Saat generasi, prefix berisi token yang dikeluarkan model sendiri. Satu kesalahan prediksi karena itu dapat mengubah konteks yang digunakan untuk seluruh prediksi berikutnya.

Perbedaan ini sering disebut exposure bias. Detail engineering yang lebih berguna adalah bahwa training dan generasi dapat menyajikan distribusi prefix yang berbeda kepada predictor kondisional yang sama. Validasi token-level pada prefix referensi yang bersih tidak sepenuhnya menggambarkan perilaku ketika model memasuki prefix yang jarang muncul selama training.

Kalibrasi Confidence Klasifikator dengan Temperature Scaling

Sun, 13 Sep 2026 00:00:00 +0000

Sebuah klasifikator dapat memilih kelas yang benar tetapi memberikan probabilitas yang terlalu terkonsentrasi atau terlalu tersebar untuk aplikasi yang memakai skor tersebut. Temperature scaling menangani ketidaksesuaian ini setelah training model dengan menerapkan satu skalar positif pada logit sebelum softmax.

Mekanismenya sengaja dibuat sempit. Metode ini mengubah ketajaman probabilitas, bukan informasi yang direpresentasikan oleh klasifikator. Batas tersebut membuat temperature scaling berguna ketika ranking kelas sudah memadai tetapi nilai confidence memerlukan kalibrasi terpisah.