https://nalar.dev/id/tags/model-training/ Recent content in Model Training on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/activation-checkpointing-menukar-aktivasi-tersimpan-dengan-rekomputasi/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/id/activation-checkpointing-menukar-aktivasi-tersimpan-dengan-rekomputasi/ <p>Activation checkpointing mengubah tensor forward pass yang tetap berada di memori sampai backpropagation. Alih-alih menyimpan setiap aktivasi intermediate yang diperlukan untuk perhitungan gradien, region yang memakai checkpoint mempertahankan state pada boundary tertentu dan membentuk kembali intermediate yang dibuang ketika backward pass mencapai region tersebut.</p> <p>Mekanisme ini mengurangi memori aktivasi dengan biaya komputasi tambahan. Parameter model, state optimizer, dan gradien tidak ikut mengecil, sehingga dampaknya terhadap total memori training bergantung pada porsi footprint yang berasal dari aktivasi.</p>