Dua klasifikator dapat menghasilkan label prediksi dan akurasi yang sama, tetapi memberikan probabilitas yang sangat berbeda untuk label tersebut. Sistem yang selalu menghasilkan 0.51 untuk keputusan biner yang benar tidak membuat klaim probabilistik yang sama dengan sistem yang menghasilkan 0.99, meskipun akurasi berbasis threshold dapat memperlakukan keduanya secara identik.

Brier score mempertahankan perbedaan itu. Metrik ini mengukur squared error antara probabilitas prediksi dan hasil yang benar-benar terjadi, sehingga kelas yang dipilih maupun besar probabilitas untuk setiap hasil ikut memengaruhi skor. Ini berguna ketika komponen downstream memakai probabilitas untuk ranking, threshold, abstention, atau keputusan berbasis expected cost.

Skor bekerja pada probabilitas, bukan hanya label

Untuk sebuah kejadian biner dengan probabilitas prediksi p dan hasil aktual y di {0, 1}, Brier score untuk satu prediksi adalah

BS = (p - y)^2

Skor dataset adalah rata-rata squared error tersebut. Nilai yang lebih rendah berarti kesalahan probabilitas yang lebih kecil menurut definisi ini.

Ambil contoh hasil positif dengan y = 1. Prediksi 0.9 dan 0.6 sama-sama memilih kelas positif pada threshold 0.5, tetapi kontribusi Brier score berbeda:

(0.9 - 1)^2 = 0.01
(0.6 - 1)^2 = 0.16

Akurasi mencatat keduanya sebagai benar. Brier score mencatat bahwa probabilitas pertama lebih dekat ke hasil aktual.

Penalti kuadrat yang sama juga membuat kesalahan yang terlalu yakin menjadi mahal. Jika kejadian tidak terjadi sehingga y = 0, prediksi 0.9 memberi kontribusi 0.81, sedangkan 0.6 memberi 0.36. Model tidak dapat memperbaiki skor hanya dengan menjadi lebih yakin; confidence membantu hanya jika probabilitas bergerak menuju hasil yang benar-benar terjadi.

Definisi multiclass perlu konvensi yang jelas

Untuk kelas-kelas yang saling eksklusif, salah satu bentuk multiclass yang umum membandingkan seluruh vektor probabilitas p dengan vektor outcome one-hot o:

BS = sum_k (p_k - o_k)^2

Sebagian definisi membagi jumlah ini dengan banyaknya kelas atau memakai normalisasi lain. Konvensi tersebut mengubah rentang numerik tanpa mengubah struktur inti squared error. Karena itu, Brier score yang dilaporkan hanya bermakna jika konvensi perhitungannya jelas.

Bentuk full-vector juga berbeda dari sekadar mengevaluasi probabilitas pada kelas yang diprediksi. Misalkan kelas yang benar adalah A dan dua model tiga kelas menghasilkan:

model X: [0.60, 0.39, 0.01]
model Y: [0.60, 0.20, 0.20]

Keduanya memberikan 0.60 pada kelas benar, tetapi sisa massa probabilitas tersebar berbeda. Dengan bentuk multiclass tanpa normalisasi, skornya menjadi

X: (0.60 - 1)^2 + 0.39^2 + 0.01^2 = 0.3122
Y: (0.60 - 1)^2 + 0.20^2 + 0.20^2 = 0.2400

Metrik ini menilai seluruh klaim probabilitas kategorikal, bukan hanya probabilitas pemenang.

Proper scoring rule mengurangi insentif untuk memanipulasi probabilitas

Brier score adalah proper scoring rule: jika outcome mengikuti suatu distribusi probabilitas, expected score diminimalkan dengan melaporkan distribusi tersebut, bukan versi yang sengaja didistorsi. Sifat ini penting ketika metrik dipakai untuk memilih model probabilistik.

Metrik yang hanya bergantung pada akurasi klasifikasi tidak memberi tekanan serupa pada nilai probabilitas setelah urutan kelas sudah benar. Mengubah prediksi biner dari 0.55 menjadi 0.95 tidak mengubah apa pun jika keduanya tetap berada di sisi threshold yang benar. Brier score tetap berubah karena kedua angka itu menyatakan estimasi probabilitas yang berbeda.

Sifat proper tidak berarti dataset evaluasi terbatas dapat mengungkap probabilitas pembangkit data yang sebenarnya. Variasi sampling, distribution shift, label noise, dan model misspecification tetap memengaruhi skor yang diamati. Properness menjelaskan insentif dari scoring rule secara ekspektasi, bukan jaminan untuk setiap test set tertentu.

Kalibrasi dan resolusi sama-sama memengaruhi hasil

Brier score yang rendah tidak identik dengan kalibrasi yang baik. Kalibrasi membahas kesesuaian antara probabilitas yang dinyatakan dan frekuensi outcome. Brier score juga memberi penghargaan pada prediksi yang mampu membedakan kasus dengan event rate berbeda.

Prediktor konstan menunjukkan perbedaannya. Jika suatu kejadian terjadi pada sekitar seperempat populasi evaluasi, model yang selalu mengeluarkan 0.25 dapat selaras dengan event rate agregat tersebut. Namun model itu tidak membedakan contoh berisiko lebih tinggi dan lebih rendah. Model yang memberikan probabilitas berbeda untuk kelompok-kelompok informatif dapat memperoleh Brier score lebih rendah jika perbedaan tersebut sesuai dengan outcome aktual.

Artinya, Brier score tidak tepat disebut sebagai metrik kalibrasi murni. Skor ini menggabungkan aspek reliability probabilitas dan discriminatory resolution ke dalam satu loss. Jika sumber perbedaan skor penting, calibration plot atau dekomposisi skor yang sesuai dapat memberikan informasi yang tidak terlihat dari satu angka saja.

Prevalensi kelas mengubah baseline

Brier score sebaiknya dibandingkan pada definisi target dan distribusi evaluasi yang sama. Prevalensi kejadian memengaruhi skor yang dapat dicapai oleh prediktor referensi sederhana.

Untuk kejadian biner dengan prevalensi r, prediktor konstan yang selalu menghasilkan r memiliki expected Brier score

r * (1 - r)^2 + (1 - r) * r^2

yang menyederhana menjadi

r * (1 - r)

Baseline tersebut berubah ketika prevalensi berubah. Skor 0.08 pada satu populasi dan 0.08 pada populasi lain tidak membuktikan kualitas model yang sama jika event rate sangat berbeda atau task prediksinya tidak identik.

Hal ini juga membuat perbandingan ceroboh antar-dataset hasil filtering menjadi menyesatkan. Menghapus negative example yang mudah, mengubah sampling ratio, atau mengevaluasi periode waktu berbeda dapat mengubah tingkat kesulitan referensi meskipun parameter model tidak berubah.

Kualitas probabilitas dan kualitas keputusan adalah dua pertanyaan berbeda

Brier score mengevaluasi estimasi probabilitas dengan squared error. Keputusan yang dipakai di produksi biasanya memakai threshold atau fungsi biaya yang memberi bobot berbeda pada jenis kesalahan tertentu. Kedua tujuan ini berkaitan, tetapi tidak sama.

Sebagai contoh, klasifikator dapat memperbaiki Brier score sementara seluruh probabilitas tetap berada pada sisi threshold operasional yang sama, sehingga keputusan biner tidak berubah. Sebaliknya, perubahan probabilitas kecil di sekitar threshold dapat mengubah banyak keputusan tanpa banyak memengaruhi rata-rata Brier score.

Evaluasi model menjadi lebih jelas ketika metrik sesuai dengan artefak yang dinilai. Gunakan Brier score untuk menilai prediksi probabilistik, lalu evaluasi keputusan berbasis threshold dengan metrik atau expected cost yang benar-benar mewakili aturan keputusan aplikasi. Memaksa satu angka untuk menjawab kedua pertanyaan sekaligus akan menyembunyikan informasi yang mungkin penting bagi sistem.

Kecerdasan Buatan Evaluasi Model Klasifikasi Kalibrasi Probabilitas