https://nalar.dev/id/tags/batching/ Recent content in Batching on Nalar Hugo id-id Wed, 16 Sep 2026 00:00:00 +0000 https://nalar.dev/id/kelompokkan-panjang-sequence-untuk-mengurangi-padding-yang-terbuang/ Wed, 16 Sep 2026 00:00:00 +0000 https://nalar.dev/id/kelompokkan-panjang-sequence-untuk-mengurangi-padding-yang-terbuang/ <p>Batch berpadding dibentuk oleh sequence terpanjang, bukan panjang rata-ratanya. Jika sebuah batch berisi jumlah token <code>120</code>, <code>124</code>, <code>131</code>, dan <code>900</code>, setiap sequence dapat direpresentasikan dengan panjang <code>900</code>. Sebagian besar posisi pada tiga baris pertama kemudian berisi padding, bukan token input.</p> <p>Length bucketing mengubah komposisi batch tanpa mengubah model. Contoh dengan jumlah token serupa ditempatkan berdekatan sebelum batch dibentuk. Panjang maksimum dalam setiap batch menjadi lebih dekat dengan panjang anggotanya, sehingga jumlah posisi padding yang diproses oleh operasi yang masih memakai bentuk batch persegi panjang berkurang.</p>