Fine-tuning neural network pada task baru dapat menggeser parameter dari nilai yang mendukung task sebelumnya. Objective baru tidak memiliki alasan inheren untuk mempertahankan perilaku lama ketika data task sebelumnya tidak ikut dalam update. Elastic weight consolidation, atau EWC, menambahkan constraint di parameter space untuk mengurangi pergeseran tersebut.
Constraint ini selektif, bukan seragam. Parameter yang diperkirakan lebih berpengaruh bagi task sebelumnya menerima penalti lebih besar ketika bergerak, sedangkan parameter dengan importance lebih rendah dapat berubah lebih bebas. EWC karena itu bukan sekadar weight decay menuju nol.
Penalti diikat ke solusi sebelumnya
Anggap model memiliki parameter θ* setelah fitting task A. Saat model yang sama diadaptasi ke task B, EWC menambahkan penalti kuadratik pada objective task B:
L(θ) = L_B(θ) + (λ / 2) Σ_i F_i (θ_i - θ_i*)²L_B adalah objective task B, θ_i* nilai parameter i yang disimpan setelah task A, F_i estimasi importance parameter tersebut, dan λ mengatur kekuatan constraint secara keseluruhan.
Gradien penalti untuk satu parameter adalah:
λ F_i (θ_i - θ_i*)Gaya pemulih karena itu membesar bersama displacement dan estimated importance. Parameter dengan F_i mendekati nol mendapat sedikit resistensi, sedangkan parameter dengan F_i besar ditarik lebih kuat menuju nilai sebelumnya saat bergerak menjauh.
Ini berbeda dari regularisasi L2 biasa. Weight decay atau penalti L2 umumnya mendorong magnitude parameter mendekati nol. EWC mendorong kedekatan dengan vektor parameter yang disimpan, memakai koefisien berbeda untuk setiap parameter.
Fisher information menyediakan bobot parameter
Formulasi EWC awal menghubungkan F_i dengan diagonal Fisher information matrix yang dievaluasi di sekitar parameter hasil task sebelumnya. Pada model probabilistik, Fisher information menggambarkan sensitivitas log likelihood model terhadap perubahan parameter.
Untuk distribusi model p(y | x, θ), term Fisher diagonal dapat ditulis sebagai ekspektasi kuadrat komponen score:
F_i = E[(∂ log p(y | x, θ) / ∂θ_i)²]Ekspektasi mengikuti distribusi yang dipakai oleh formulasi Fisher yang dipilih. Dalam praktik, implementasi mengestimasi term tersebut dari sampel terbatas dan hanya menyimpan diagonalnya. Pendekatan ini mengubah quadratic form penuh menjadi penalti per parameter dan menghindari penyimpanan dense matrix yang ukurannya tumbuh kuadratik terhadap jumlah parameter.
Approximation diagonal juga membuang interaksi antar-parameter. Jika dua parameter dapat saling mengompensasi, curvature matrix penuh dapat merepresentasikan arah gabungannya, sedangkan penalti diagonal tidak. Importance karena itu sebaiknya diperlakukan sebagai approximation sensitivitas lokal, bukan dekomposisi lengkap fungsi model.
Detail estimator Fisher juga penting. Sebagian implementasi memakai label observasi pada squared log-likelihood gradient, sedangkan formulasi lain mengambil sampel label dari distribusi model. Nilainya tidak harus identik. Estimator, subset data, reduction rule, dan normalisasi perlu dicatat agar konfigurasi EWC dapat direproduksi.
Kekuatan regularisasi menetapkan batas stabilitas
Koefisien λ tidak memiliki arti yang independen dari task. Dampaknya bergantung pada skala L_B, skala estimasi Fisher, setting optimizer, dan normalisasi penalti.
Koefisien sangat kecil membuat adaptasi menyerupai fine-tuning biasa karena gradien task baru mendominasi. Koefisien yang lebih besar membatasi pergerakan pada koordinat dengan F_i besar. Jika constraint terlalu kuat, model dapat mempertahankan konfigurasi lama dengan konsekuensi fitting task B yang buruk.
Hal ini menciptakan trade-off stability-plasticity yang dapat diukur. Evaluasi sebaiknya mempertahankan metrik terpisah untuk task lama dan task baru. Satu skor agregat dapat menyembunyikan konfigurasi yang menjaga satu task tetapi merusak task lainnya.
Loss reduction juga mengubah skala. Jika L_B berubah dari sum menjadi mean per batch sementara penalti EWC tetap sama, keseimbangan efektif kedua term ikut berubah. Nilai λ yang sama kemudian merepresentasikan problem optimisasi yang berbeda.
Importance parameter bergantung pada task dan titik referensi
EWC membatasi pergerakan relatif terhadap satu vektor parameter dan estimasi sensitivitas di sekitar vektor tersebut. Keduanya merupakan artefak lokal dari state model sebelumnya.
Parameter yang mendapat importance rendah setelah task A tidak berarti tidak penting secara global. Parameter itu dapat menjadi penting setelah adaptasi berikutnya atau untuk input yang tidak terwakili pada sampel Fisher. Demikian pula, nilai Fisher besar menunjukkan sensitivitas lokal pada distribusi yang dipilih, bukan fungsi semantik unik dari parameter tersebut.
Jika task B membutuhkan pergerakan pada arah yang sangat dibatasi task A, kedua objective memang berada dalam ketegangan langsung. EWC dapat mengubah kompromi, tetapi tidak menciptakan konfigurasi parameter yang memenuhi requirement yang saling bertentangan.
Metode ini juga tidak menyimpan contoh task lama secara eksplisit. State tambahan EWC adalah referensi parameter dan nilai importance. Replay-based method mempertahankan perilaku lama melalui data tersimpan atau data hasil generasi, sehingga mekanismenya berbeda walaupun kebutuhan memorinya dapat serupa.
Beberapa task sebelumnya memerlukan aturan akumulasi eksplisit
Setelah lebih dari satu task terdahulu, sistem harus menentukan apa yang direpresentasikan penalti. Salah satu pilihan adalah menyimpan referensi dan estimasi importance terpisah untuk setiap task, menghasilkan beberapa term kuadratik. Storage kemudian tumbuh bersama jumlah task.
Pilihan lain mengonsolidasikan importance ke representasi berjalan dan mengikat penalti pada vektor parameter yang lebih baru. Ini membatasi pertumbuhan state tetapi mengubah approximation. Aturan akumulasi yang tepat menjadi bagian dari algoritma dan tidak dapat disimpulkan hanya dari label EWC.
Estimasi Fisher berulang juga dapat memiliki magnitude berbeda karena dataset, likelihood, jumlah sampel, atau normalisasi berbeda. Menjumlahkannya tanpa kebijakan scaling yang jelas dapat membuat optimisasi didominasi estimator dengan skala numerik terbesar.
Penalti rendah tidak membuktikan perilaku lama tetap terjaga
Jarak parameter hanya proxy untuk preservasi fungsi. Neural network dapat sensitif terhadap pergerakan kecil pada sebagian arah dan tidak sensitif terhadap pergerakan lebih besar pada arah lain. EWC mencoba mencerminkan asimetri ini melalui bobot Fisher, tetapi approximation diagonal dan finite-sample tetap meninggalkan celah.
Pemeriksaan langsung bersifat behavioral: evaluasi task sebelumnya setelah adaptasi menggunakan decision rule dan protokol data yang sama dengan baseline. Penalti EWC dapat dicatat sebagai diagnostic optimisasi, tetapi nilai penalti kecil bukan bukti bahwa prediksi lama masih dapat diterima.
Batas yang sama berlaku saat membandingkan EWC dengan fine-tuning tanpa constraint. Euclidean parameter displacement yang lebih kecil tidak otomatis membuktikan retensi lebih kuat, dan displacement lebih besar tidak otomatis berarti gagal. Perbandingan yang relevan menggabungkan metrik task dengan setup regularisasi yang menghasilkan checkpoint.
EWC paling mudah ditafsirkan sebagai constraint lokal berbobot terhadap pergerakan parameter. Nilainya berasal dari preferensi retensi yang dibuat eksplisit di objective tanpa memerlukan seluruh dataset lama. Keterbatasan utamanya mengikuti desain yang sama: mempertahankan neighborhood kuadratik di sekitar satu state parameter hanyalah approximation terhadap preservasi fungsi model sebelumnya.