Sebuah transformer dapat menampilkan residual state intermediate yang sangat mendukung satu token saat diproyeksikan dengan proyeksi kosakata akhir model, lalu menghasilkan token lain setelah block berikutnya dijalankan. Logit lens membuat preferensi intermediate itu terlihat. Hasil tersebut tidak menetapkan bahwa preferensi itu menyebabkan output akhir.
Batas ini relevan saat developer memakai peringkat token per layer untuk memeriksa perilaku model. Logit lens adalah readout: metode ini menanyakan apa yang akan dilaporkan output head model jika diterapkan pada representasi intermediate. Forward pass aktual mengajukan persoalan berbeda karena setiap block yang tersisa dapat mengubah representasi tersebut sebelum readout akhir.
Readout memakai kembali pemetaan output akhir
Pertimbangkan decoder-only transformer dengan residual state h_l setelah layer l. Prediksi akhir yang disederhanakan dapat ditulis sebagai:
logits = W_U norm(h_L)h_L adalah residual state akhir, norm adalah operasi normalisasi akhir model, dan W_U adalah proyeksi kosakata atau matriks unembedding. Bias dapat disertakan jika arsitektur memakainya.
Readout logit lens dasar mengganti state akhir dengan state intermediate:
lens_l = W_U norm(h_l)Vektor hasilnya dapat diurutkan seperti logit biasa. Inspeksi ruang token menjadi praktis karena setiap layer yang diperiksa dinyatakan dalam koordinat kosakata yang sama.
Substitusi ini bukan bagian dari komputasi normal model. State intermediate menjadi input bagi block transformer berikutnya, bukan input langsung ke output head akhir pada forward pass biasa. Pemakaian ulang normalisasi akhir dan unembedding karena itu menerapkan interpretasi tertentu pada h_l.
Logit intermediate yang tinggi bukan kredit aditif
Misalkan token A memiliki logit lens besar pada layer 12 dan tetap menjadi token teratas pada layer 24. Menyatakan bahwa layer 12 telah menghasilkan jawaban akan melampaui bukti yang tersedia. Observasi tersebut mendukung pernyataan yang lebih sempit: residual state layer 12 dapat dibaca sebagai state yang mendukung A menurut lens itu.
Block berikutnya dapat memperkuat arah yang relevan, menekan arah pesaing, memutar atau mengubah skala fitur, atau menambahkan informasi yang dibutuhkan untuk keputusan akhir. Token akhir yang sama dapat bertahan selama perubahan ini meski dukungan internalnya berubah cukup besar.
Kasus sebaliknya juga informatif. Sebuah token dapat berperingkat tinggi pada layer intermediate lalu menghilang. Hal itu tidak membuat readout sebelumnya salah. State pada kedalaman tersebut dan state akhir memang dapat menghasilkan pemetaan berbeda melalui proyeksi output yang dipilih.
Logit juga baru melewati softmax setelah skor kosakata akhir terbentuk. Selisih logit intermediate berguna untuk membandingkan kandidat, tetapi tidak tepat diperlakukan sebagai probabilitas independen yang disumbangkan oleh tiap layer.
Normalisasi merupakan bagian dari pengukuran
Penerapan normalisasi akhir pada setiap state intermediate bukan sekadar detail format. Layer normalization atau RMS normalization mengubah skala sebelum proyeksi kosakata, dan penempatan yang spesifik terhadap arsitektur menentukan tensor yang diterima output head sebenarnya.
Untuk model dengan modul normalisasi akhir, menghilangkan operasi itu dari readout intermediate dapat membuat lens tidak konsisten dengan jalur readout akhir. Namun, penerapannya tetap tidak menjadikan state intermediate sebagai state yang harus didekode langsung oleh model pada kedalaman tersebut.
Detail implementasi juga berpengaruh. Library dapat mengekspos hidden state sebelum atau sesudah operasi block tertentu, sedangkan suatu keluarga model dapat memakai pre-normalization, post-normalization, atau transformasi tambahan di sekitar output head. Indeks layer hanya bermakna secara analitis jika tensor yang ditangkap diidentifikasi secara presisi.
Lintasan layer adalah bukti deskriptif
Kegunaan utama logit lens dasar bersifat komparatif. Untuk prompt dan posisi token yang tetap, developer dapat memeriksa perubahan sekumpulan kecil logit kandidat atau selisih logit terhadap kedalaman.
Lintasan dapat menunjukkan bahwa suatu kandidat sudah dapat dibaca sejak awal, baru muncul mendekati akhir, bergantian dengan pesaing, atau kehilangan dukungan setelah bagian tertentu dari jaringan. Semua ini merupakan observasi tentang dinamika representasi. Hasilnya dapat mengarahkan pemeriksaan ke layer yang layak dianalisis dengan metode yang lebih kuat.
Perbandingan sebaiknya mempertahankan posisi token, proyeksi output, konvensi normalisasi, dan definisi kandidat yang sama. Mengubah beberapa unsur sekaligus membuat kurva antarlayer sulit ditafsirkan.
Tampilan token teratas juga dapat menyembunyikan perubahan yang berguna. Jika dua kandidat mempertahankan urutan yang sama sementara selisih logit berubah tajam, jejak top-1 tidak akan menangkap perubahan itu. Pelacakan selisih logit kandidat tertentu sering memberi pandangan yang lebih stabil untuk hipotesis spesifik dibanding hanya merekam token pemenang.
Keterbacaan dan penggunaan kausal memerlukan pengujian berbeda
Sebuah representasi dapat memuat informasi yang dapat didekode oleh probe meski jaringan yang tersisa tidak mengandalkan informasi tersebut untuk perilaku yang sedang diperiksa. Ini merupakan batas umum probe, bukan cacat khusus logit lens.
Klaim kausal memerlukan intervensi atau analisis lain yang terikat pada komputasi model. Activation patching, ablation, atau penggantian terkontrol dapat menguji apakah perubahan state internal mengubah output pada kondisi yang ditentukan. Pengujian semacam itu memiliki asumsi tersendiri, tetapi pertanyaan kausalnya berbeda dari proyeksi kosakata pasif.
Perbedaan ini juga mencegah interpretasi berlebihan terhadap perubahan lens yang mendadak. Transisi tajam antara dua layer berdekatan dapat menunjukkan wilayah yang berkaitan dengan perubahan representasi. Hasil itu sendiri belum mengisolasi komponen penyebabnya. Sublayer attention dan feed-forward, penambahan residual, normalisasi, serta interaksi berikutnya dapat memengaruhi readout yang diamati.
Logit lens paling berguna ketika outputnya dinyatakan secara literal: residual state intermediate memiliki readout tertentu dalam ruang kosakata di bawah proyeksi yang ditentukan. Formulasi tersebut mempertahankan arti pengukuran dan menyerahkan atribusi kausal kepada metode yang memang dirancang untuk mengujinya.