Sebuah transformer dapat menghasilkan dua output berbeda dari prompt yang hanya berbeda pada satu detail relevan, tetapi pemeriksaan attention weight atau kemiripan hidden state tidak membuktikan state internal mana yang benar-benar penting bagi perbedaan tersebut. Activation patching menjawab pertanyaan yang lebih sempit dengan melakukan intervensi pada forward pass: mengganti activation tertentu dengan activation yang bersesuaian dari run lain, lalu mengukur perubahan output.
Hasilnya bersifat kausal terhadap intervensi tersebut. Namun, hasil itu tidak otomatis mengidentifikasi circuit lengkap, mekanisme unik, atau feature yang dapat diberi makna langsung oleh manusia. Batas ini penting agar hasil patching tidak ditafsirkan terlalu jauh.
Patch mengubah komputasi, bukan sekadar observasi
Pertimbangkan dua input dengan struktur yang sepadan. Reference input menghasilkan perilaku yang ingin diamati, sedangkan perturbed input mengurangi atau mengubah perilaku tersebut. Jalankan keduanya dan cache activation internal. Dalam forward pass baru pada perturbed input, substitusikan satu activation yang disimpan dari reference run pada lokasi yang dipilih.
Lokasi patch dapat berupa residual-stream vector, attention output, MLP output, atau komponen yang lebih granular, tergantung model dan instrumentasi. Jika penggantian state tersebut memulihkan sebagian perilaku reference, state yang diintervensi membawa informasi yang dapat digunakan komputasi downstream untuk output yang diukur.
Efeknya dapat dinyatakan dengan score sederhana:
patch_effect = score(patched_run) - score(perturbed_run)Untuk language model, score dapat berupa logit target token, selisih logit antara dua kandidat token, atau statistik output lain yang terkait dengan perilaku yang diteliti. Definisi score penting. Patch yang menaikkan logit satu token masih dapat membiarkan ranking token itu tidak berubah jika logit pesaing juga naik.
Karena itu, patching berbeda dari sekadar membaca activation lalu memberinya makna. Metode ini menanyakan apa yang terjadi ketika state tertentu ditransplantasikan ke komputasi lain.
Reference input dan perturbed input menentukan intervensi
Activation patching sangat bergantung pada pasangan input. Jika keduanya berbeda dalam beberapa sifat semantik atau sintaksis sekaligus, efek patch yang besar tidak dapat dikaitkan secara bersih dengan salah satu perbedaan tersebut.
Input yang dibuat sepadan mengurangi ambiguitas. Misalnya, jika perilaku target adalah retrieval kota yang terkait dengan sebuah negara, reference prompt dan perturbed prompt dapat mempertahankan struktur kalimat yang sama sambil mengganti token negara. Perbedaan activation yang dihasilkan tetap tidak dijamin merepresentasikan hanya satu konsep, tetapi lebih sedikit perubahan input membuat intervensi lebih mudah ditafsirkan.
Perturbed run juga menentukan baseline untuk mengukur recovery. Mengganti activation dari reference run ke prompt yang tidak terkait dapat menciptakan state internal off-distribution. Perubahan output kemudian menunjukkan sensitivitas terhadap intervensi, tetapi hubungannya dengan mekanisme awal menjadi lebih lemah.
Karena itu, hasil patching sebaiknya dinyatakan dalam konteks pasangan input dan metrik yang diuji, bukan sebagai sifat universal suatu komponen model.
Lokasi patch mengubah klaim yang dapat dibuat
Transformer berulang kali mencampur informasi antar-token position dan layer. Patching residual stream pada satu token dan layer mengganti state gabungan yang tersedia pada titik tersebut. Patching hanya contribution dari attention atau MLP menargetkan bagian komputasi yang lebih sempit.
Intervensi tersebut menjawab pertanyaan berbeda.
Residual-stream patch dapat menunjukkan bahwa state pada suatu lokasi cukup untuk mentransfer sebagian perilaku dalam kondisi yang diuji. Hasil itu tidak mengisolasi komponen upstream mana yang membuat bagian relevan dari state tersebut. Component-output patch mempersempit sumber, tetapi interaksi downstream tetap dapat memperkuat, menekan, atau mengalihkan sinyal yang disisipkan.
Token position juga penting. Informasi yang berkaitan dengan satu input token dapat berpindah ke posisi lain melalui attention. Efek lemah pada token asal di layer berikutnya tidak membuktikan bahwa informasinya hilang; informasi itu mungkin sudah terintegrasi di bagian sequence lain.
Granularitas patch harus sesuai dengan klaim. Patch yang luas berguna untuk menemukan wilayah komputasi yang relevan. Patch yang lebih halus dapat menguji komponen kandidat setelah wilayah tersebut ditemukan.
Recovery score memerlukan denominator yang stabil
Sebagian eksperimen melaporkan normalized recovery score alih-alih perubahan logit mentah. Bentuk yang umum membandingkan output hasil patch dengan gap antara reference dan perturbed output:
recovery =
(score(patched) - score(perturbed))
/ (score(reference) - score(perturbed))Dengan bentuk ini, 0 sesuai dengan perturbed score dan 1 sesuai dengan reference score. Namun, ada failure mode: jika reference score dan perturbed score berdekatan, denominator menjadi kecil dan nilai ternormalisasi dapat tidak stabil.
Normalized recovery juga dapat berada di luar rentang 0 sampai 1. Patch dapat mendorong score melewati nilai reference atau bergerak ke arah sebaliknya. Melakukan clipping pada nilai tersebut akan menyembunyikan informasi tentang intervensi kecuali clipping memang bagian dari konvensi pelaporan yang dibenarkan secara terpisah.
Menampilkan raw score, gap reference-ke-perturbed, dan efek ternormalisasi bersama-sama membuat hasil lebih mudah diperiksa.
Efek besar tidak membuktikan circuit yang unik
Transformer dapat memiliki jalur yang redundan atau saling berinteraksi. Jika patching komponen A memulihkan perilaku dan patching komponen B juga memulihkannya, observasi tersebut tidak membuktikan bahwa kedua komponen dibutuhkan secara independen. Salah satu intervensi mungkin menyediakan informasi yang dapat dimanfaatkan komputasi downstream.
Kebalikannya juga penting. Sebuah komponen dapat berpartisipasi dalam komputasi normal tetapi menunjukkan efek single-site patch yang kecil karena informasi terkait masih tersedia melalui jalur lain. Intervensi single-site mengukur efek penggantian itu di dalam jaringan lain yang tetap utuh, bukan jumlah tanggung jawab abstrak suatu komponen.
Interaksi dapat diuji dengan intervensi multi-site atau path-specific, tetapi jumlah kombinasi meningkat dengan cepat. Melakukan patch secara exhaustif pada setiap neuron, head, token position, dan layer juga membutuhkan banyak forward pass. Lokalisasi kasar yang diikuti pengujian terarah biasanya lebih praktis daripada memperlakukan setiap elemen internal sebagai kandidat independen.
Pilihan corruption dapat menghasilkan bukti yang menyesatkan
Perturbation sebaiknya mengubah perilaku yang diteliti tanpa memperkenalkan gangguan tidak terkait yang mendominasi state model. Mengganti token dengan token arbitrer, menambahkan noise pada embedding, atau mengubah struktur kalimat dapat menghasilkan perbedaan activation yang berbeda-beda.
Tidak ada metode corruption yang netral. Noise memiliki skala dan distribusi. Penggantian token mengubah konten leksikal. Perubahan prompt dapat mengubah tokenization dan position. Detail tersebut menentukan apa yang sebenarnya dipulihkan oleh reference activation.
Robustness check yang berguna adalah mengulang intervensi pada beberapa pasangan input yang sepadan dan, jika sesuai, lebih dari satu perturbation yang masuk akal. Komponen yang efeknya hanya muncul pada satu corruption yang tidak biasa tetap dapat menarik, tetapi bukti tersebut mendukung klaim yang lebih sempit.
Patching mendukung pengujian mekanisme, bukan label semantik
Activation patching paling kuat ketika dikaitkan dengan hipotesis konkret: state pada lokasi tertentu berkontribusi pada perbedaan output yang terdefinisi untuk sekumpulan input terkontrol. Intervensi kemudian dapat memperkuat atau melemahkan hipotesis tersebut melalui perubahan output yang dapat diamati.
Metode ini lebih lemah jika digunakan sebagai jalan pintas dari activation menuju label semantik. Patched state adalah objek berdimensi tinggi yang dapat membawa banyak sinyal sekaligus, dan layer downstream menentukan bagaimana sinyal tersebut digunakan. Memulihkan output tidak membuktikan bahwa vector yang dipatch memuat satu konsep bersih atau bahwa komponen yang sama memiliki peran identik pada prompt yang tidak terkait.
Bagi developer yang memeriksa perilaku transformer, perbedaan ini menjaga activation patching tetap berguna. Patching dapat menggeser investigasi dari korelasi menuju bukti intervensi, sementara pasangan input, lokasi patch, output metric, dan jaringan di sekitarnya tetap menentukan cakupan hasil.