https://nalar.dev/id/tags/sistem-serving/ Recent content in Sistem Serving on Nalar Hugo id-id Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/continuous-batching-mengganti-kelompok-request-statis-dengan-scheduling-per-iterasi/ Thu, 24 Sep 2026 00:00:00 +0000 https://nalar.dev/id/continuous-batching-mengganti-kelompok-request-statis-dengan-scheduling-per-iterasi/ <p>Generasi autoregresif tidak menyelesaikan setiap request pada iterasi yang sama. Satu sequence dapat menghasilkan stop token setelah beberapa langkah decode, sedangkan sequence lain masih aktif hingga ratusan langkah berikutnya. Batch statis mengikat request tersebut sampai batas batch tercapai. Continuous batching memutus ikatan itu dengan mengizinkan himpunan aktif berubah di antara iterasi model.</p> <p>Perubahan utamanya berada pada granularitas scheduling. Request tidak lagi menjadi unit scheduling yang tidak dapat dipecah selama seluruh proses generasi. Sistem serving dapat membentuk batch eksekusi untuk satu iterasi, memperbarui state request setelah iterasi tersebut, mengeluarkan sequence yang selesai, lalu memasukkan pekerjaan antrean sebelum langkah eksekusi berikutnya.</p>