Ketidakpastian on Nalar

Prediction Set Konformal Membutuhkan Data Kalibrasi yang Exchangeable

Thu, 17 Sep 2026 00:00:00 +0000

Classifier yang menghasilkan 0.93 untuk satu kelas tidak otomatis memberikan pernyataan statistik bahwa kelas tersebut benar dengan probabilitas 0.93. Conformal prediction mengambil pendekatan berbeda: metode ini menggunakan contoh berlabel yang ditahan untuk membentuk sekumpulan label kandidat dengan target marginal coverage tertentu.

Pada split conformal classification, base model dapat tetap tidak berubah. Jaminannya berasal dari peringkat skor conformity atau nonconformity sebuah contoh uji terhadap skor yang dihitung pada sampel kalibrasi yang exchangeable. Asumsi inilah yang menentukan cakupan pernyataan coverage tersebut.

Selective Classification Menukar Coverage dengan Tingkat Error

Thu, 17 Sep 2026 00:00:00 +0000

Classifier biasanya mengembalikan label untuk setiap input, bahkan ketika distribusi skornya hampir seimbang atau input berada jauh dari data yang familiar. Selective classification mengubah antarmuka tersebut: sistem dapat mengembalikan prediksi atau abstain. Aturan penerimaan kemudian menentukan berapa banyak input yang menerima prediksi dan seberapa sering prediksi yang diterima itu salah.

Ini tidak sama dengan membuat classifier secara intrinsik lebih akurat. Abstention memindahkan sebagian kasus keluar dari himpunan keputusan otomatis. Nilainya bergantung pada kemampuan selection score mengurutkan kasus sulit dengan cukup baik sehingga input yang ditolak memuat porsi error yang lebih besar.

Bangun Set Klasifikasi dengan Split Conformal Prediction

Sun, 13 Sep 2026 00:00:00 +0000

Classifier biasanya mengembalikan satu label atau sebuah vektor skor kelas. Kedua output itu tidak secara langsung menyatakan berapa banyak label yang sebaiknya tetap dianggap masuk akal ketika sistem membutuhkan tingkat error yang terkendali. Split conformal prediction menambahkan lapisan kalibrasi yang mengubah skor tersebut menjadi prediction set.

Properti yang berguna bukan bahwa setiap set individual memiliki probabilitas tetap untuk memuat label yang benar. Di bawah asumsi exchangeability standar, metode split conformal menargetkan coverage marginal pada contoh baru. Perbedaan ini menentukan cara implementasi sekaligus interpretasinya.

Bangun Prediction Set dengan Conformal Prediction

Fri, 11 Sep 2026 00:00:00 +0000

Bangun Prediction Set dengan Conformal Prediction

Classifier biasanya mengembalikan satu label bahkan ketika beberapa label sama-sama masuk akal. Ini nyaman untuk interface software, tetapi dapat menyembunyikan ketidakpastian tepat pada kondisi ketika kesalahan mahal. Document router mungkin ragu antara billing dan account, tetapi argmax tetap mengeluarkan salah satunya.

Conformal prediction menawarkan interface lain: kembalikan sekumpulan label dengan ukuran yang menyesuaikan bukti. Input yang mudah dapat menghasilkan satu label. Input ambigu dapat menghasilkan beberapa label. Di bawah asumsi tertentu, prosedur ini juga memberikan finite-sample coverage guarantee.