Prefix Tuning

Adaptasi Model Bahasa dengan Prefix Tuning

Adaptasi Model Bahasa dengan Prefix Tuning Full fine-tuning mengubah bobot model untuk setiap tugas. Cara ini bisa efektif, tetapi menyimpan dan melakukan serving checkpoint penuh yang terpisah untuk setiap tugas menjadi mahal ketika ukuran model dan jumlah tugas bertambah. Prefix tuning menawarkan susunan berbeda: pertahankan model pretrained dalam keadaan beku dan latih sekumpulan kecil state spesifik tugas yang ikut berpartisipasi dalam attention. Artikel ini membangun model mental praktis untuk prefix tuning, menunjukkan perbedaannya dari text prompt dan adapter bobot low-rank, serta menjelaskan trade-off yang penting ketika melatih atau melakukan serving beberapa varian tugas.