Kecerdasan Buatan on Nalar

Evaluasi Klasifikator Probabilistik dengan Brier Score

Thu, 17 Sep 2026 00:00:00 +0000

Dua klasifikator dapat menghasilkan label prediksi dan akurasi yang sama, tetapi memberikan probabilitas yang sangat berbeda untuk label tersebut. Sistem yang selalu menghasilkan 0.51 untuk keputusan biner yang benar tidak membuat klaim probabilistik yang sama dengan sistem yang menghasilkan 0.99, meskipun akurasi berbasis threshold dapat memperlakukan keduanya secara identik.

Brier score mempertahankan perbedaan itu. Metrik ini mengukur squared error antara probabilitas prediksi dan hasil yang benar-benar terjadi, sehingga kelas yang dipilih maupun besar probabilitas untuk setiap hasil ikut memengaruhi skor. Ini berguna ketika komponen downstream memakai probabilitas untuk ranking, threshold, abstention, atau keputusan berbasis expected cost.

Membatasi Update Gradien dengan Global Norm Clipping

Thu, 17 Sep 2026 00:00:00 +0000

Satu langkah optimisasi dapat menghasilkan gradien dengan besar gabungan yang jauh melebihi langkah-langkah di sekitarnya. Jika gradien itu langsung diberikan kepada optimizer, update parameter yang dihasilkan dapat memindahkan model ke wilayah space parameter yang sangat berbeda. Global norm clipping membatasi besar gradien sebelum optimizer memakainya.

Mekanismenya sederhana, tetapi perilakunya mudah disalahartikan. Mekanisme ini tidak membatasi setiap elemen gradien secara terpisah dan tidak menjamin norm update parameter yang tetap untuk optimizer adaptif. Mekanisme ini menskalakan ulang seluruh vektor gradien ketika norm yang dipilih melewati ambang.

Teacher Forcing Menciptakan Kesenjangan Distribusi Prefix

Thu, 17 Sep 2026 00:00:00 +0000

Model autoregresif memprediksi token berikutnya dari sebuah prefix. Dalam training dengan teacher forcing, prefix tersebut biasanya berasal dari sequence referensi. Saat generasi, prefix berisi token yang dikeluarkan model sendiri. Satu kesalahan prediksi karena itu dapat mengubah konteks yang digunakan untuk seluruh prediksi berikutnya.

Perbedaan ini sering disebut exposure bias. Detail engineering yang lebih berguna adalah bahwa training dan generasi dapat menyajikan distribusi prefix yang berbeda kepada predictor kondisional yang sama. Validasi token-level pada prefix referensi yang bersih tidak sepenuhnya menggambarkan perilaku ketika model memasuki prefix yang jarang muncul selama training.

Kalibrasi Confidence Klasifikator dengan Temperature Scaling

Sun, 13 Sep 2026 00:00:00 +0000

Sebuah klasifikator dapat memilih kelas yang benar tetapi memberikan probabilitas yang terlalu terkonsentrasi atau terlalu tersebar untuk aplikasi yang memakai skor tersebut. Temperature scaling menangani ketidaksesuaian ini setelah training model dengan menerapkan satu skalar positif pada logit sebelum softmax.

Mekanismenya sengaja dibuat sempit. Metode ini mengubah ketajaman probabilitas, bukan informasi yang direpresentasikan oleh klasifikator. Batas tersebut membuat temperature scaling berguna ketika ranking kelas sudah memadai tetapi nilai confidence memerlukan kalibrasi terpisah.