Kecerdasan Buatan

Kecerdasan Buatan / 23 Sep 2026 / 4 min read

Grouped-Query Attention Membagi Head Key-Value ke Beberapa Head Query

Grouped-query attention mengubah satu bagian spesifik dari multi-head attention: beberapa head query menggunakan head key dan value yang sama. Proyeksi query tetap terpisah, sehingga head-head query tersebut dapat menghasilkan bobot attention yang berbeda, tetapi semuanya membaca key dan value dari representasi hasil proyeksi yang dipakai bersama. Perbedaan ini relevan saat inferensi. Cache pada decoder menyimpan key dan value dari posisi sebelumnya, bukan query. Mengurangi jumlah head key-value karena itu dapat mengurangi penyimpanan KV cache tanpa harus mengurangi jumlah head query dengan faktor yang sama.

Artificial Intelligence Attention

Kecerdasan Buatan / 23 Sep 2026 / 5 min read

Grouped-Query Attention Berbagi KV Head di Antara Grup Query

Grouped-query attention (GQA) mengubah satu rasio struktural di dalam layer attention: jumlah query head dapat lebih besar daripada jumlah key dan value head. Beberapa query head memakai key dan value head hasil proyeksi yang sama. Komputasi pada sisi query tetap terpisah per head, sedangkan state KV dibagi di dalam setiap grup. Asimetri ini berpengaruh langsung pada decoding autoregresif karena key dan value dari token sebelumnya disimpan di cache. Semakin sedikit KV head yang berbeda, semakin sedikit pula state KV per token yang perlu dipertahankan untuk langkah decoding berikutnya.

Artificial Intelligence Model Bahasa

Kecerdasan Buatan / 23 Sep 2026 / 4 min read

Global Gradient Clipping Membatasi Norm Sebelum Langkah Optimizer

Satu langkah training dapat menghasilkan gradient dengan besar gabungan yang jauh melampaui langkah di sekitarnya. Global norm clipping mengubah kumpulan gradient tersebut sebelum diproses optimizer. Saat norm yang diukur melewati ambang yang ditetapkan, setiap gradient terpilih dikalikan dengan faktor skala yang sama. Batas mekanismenya perlu dinyatakan dengan tepat. Clipping mengendalikan norm gradient yang diberikan ke optimizer. Operasi ini tidak secara langsung menetapkan batas yang sama pada perubahan parameter, terutama ketika optimizer menyimpan momentum atau state adaptif.

Artificial Intelligence Neural Networks

Kecerdasan Buatan / 23 Sep 2026 / 5 min read

Entropi Attention Mengukur Konsentrasi, Bukan Kepentingan Kausal

Sebuah attention head dapat menempatkan sebagian besar massa probabilitas pada satu posisi tanpa memberikan bukti kuat bahwa posisi tersebut mengendalikan output akhir model. Entropi bobot attention mengukur konsentrasi, bukan pengaruh kausal. Pemisahan ini relevan saat attention map dipakai sebagai diagnostik. Entropi dapat menunjukkan apakah sebuah head menyebarkan massa secara luas atau memusatkannya pada sedikit posisi untuk query tertentu. Nilai itu sendiri tidak menetapkan bahwa token dengan bobot tertinggi membawa fitur yang menentukan prediksi downstream.

Kecerdasan Buatan Attention

Kecerdasan Buatan / 23 Sep 2026 / 6 min read

Bias Logit Aditif Mengubah Odds Token Sebelum Sampling

Decoder dapat menaikkan atau menekan peluang sebuah token tanpa mengubah bobot model. Tambahkan konstanta pada logit token sebelum softmax, lalu probabilitasnya berubah relatif terhadap token lain dalam vocabulary. Operasinya sederhana, tetapi dampaknya bergantung pada posisi bias di pipeline decoding dan transformasi yang berjalan sesudahnya. Karena itu, bias logit aditif berguna sebagai kontrol inferensi, bukan sebagai constraint semantik umum. Bias mengubah skor yang dipakai decoder. Bias tidak menulis ulang representasi internal model dan tidak menjamin sebuah konsep hilang dari teks yang dihasilkan.

Kecerdasan Buatan Decoding

Kecerdasan Buatan / 23 Sep 2026 / 4 min read

Attention Sink Membuat Eviksi KV Naif Tidak Stabil

KV cache berukuran tetap tampak cocok dengan kebijakan sederhana: simpan entry terbaru dan buang yang paling lama. Pada sebagian decoder transformer, kebijakan ini justru menghapus posisi yang masih menerima porsi attention besar dari query berikutnya. Posisi awal tersebut bertindak sebagai attention sink, sehingga penghapusannya dapat mengubah distribusi attention jauh melampaui arti semantik token itu sendiri. Efek ini relevan pada inference ketika sistem serving memangkas key dan value yang sudah tersimpan. Ini bukan klaim bahwa token pertama selalu memiliki arti semantik khusus, ataupun bahwa setiap transformer menunjukkan pola yang sama.

Artificial Intelligence Attention

Kecerdasan Buatan / 22 Sep 2026 / 5 min read

Top-p Sampling Membentuk Ulang Set Kandidat pada Setiap Token

Top-p sampling tidak mempertahankan shortlist token yang tetap sepanjang generation. Pada setiap langkah decoding, model menghasilkan vektor logit baru, vektor itu menjadi distribusi probabilitas, lalu sampler membentuk set kandidat baru dengan massa probabilitas kumulatif yang mencapai threshold terkonfigurasi. Konsekuensinya mudah terlewat pada kode serving: nilai top_p yang sama dapat memasukkan dua token pada satu langkah dan puluhan token pada langkah lain. Parameter ini mengendalikan massa probabilitas, bukan jumlah kandidat. Cutoff mengikuti distribusi saat ini Untuk vocabulary dengan probabilitas token p_1, p_2, ..., p_V, urutkan token dari probabilitas tertinggi ke terendah:

Kecerdasan Buatan Decoding

Kecerdasan Buatan / 22 Sep 2026 / 6 min read

Speculative Decoding Menghubungkan Kecepatan Draft dengan Tingkat Penerimaan

Generasi autoregresif biasanya maju satu token yang diterima pada satu waktu. Setiap token baru memperpanjang prefix, sehingga evaluasi target model berikutnya bergantung pada token yang dipilih pada posisi sebelumnya. Speculative decoding mengubah jadwal eksekusi: proses draft yang lebih murah mengusulkan beberapa token ke depan, lalu target model mengevaluasi posisi tersebut bersama-sama dan menentukan seberapa panjang proposal yang dapat dipertahankan. Susunan ini dapat mengurangi jumlah pemanggilan target model yang bersifat serial untuk setiap token output. Verifikasi tetap memiliki biaya, dan blok draft yang lebih panjang tidak otomatis lebih baik. Titik operasi yang berguna bergantung pada kecepatan pembuatan proposal, seberapa sering proposal lolos verifikasi target, dan biaya yang ditanggung serving stack untuk pekerjaan yang akhirnya ditolak.

Kecerdasan Buatan Inferensi

Kecerdasan Buatan / 22 Sep 2026 / 6 min read

Reuse Prefix KV Cache Bergantung pada Riwayat Token yang Identik

Satu entri KV cache bukan representasi yang dapat dipakai ulang untuk sembarang teks yang tampak mirip. Pada transformer autoregresif, key dan value yang tersimpan adalah state perantara yang dihasilkan untuk prefix token tertentu dalam konteks eksekusi tertentu. Reuse valid hanya jika request baru mencapai batas state yang sama. Batas itu lebih ketat daripada kecocokan karakter yang terlihat. Tokenisasi, urutan token, penanganan posisi, identitas model, state adapter, serta input lain yang memengaruhi hidden state dapat menentukan apakah prefix dalam cache masih mewakili komputasi yang dibutuhkan request baru.

Kecerdasan Buatan Transformer

Kecerdasan Buatan / 22 Sep 2026 / 6 min read

Padding Mask Tidak Menghapus Komputasi Padding pada Dense Attention

Satu batch dapat memuat dua prompt dengan jumlah token yang sangat berbeda, tetapi keduanya direpresentasikan dalam tensor persegi panjang yang sama. Prompt yang lebih pendek diperpanjang dengan padding agar bentuk tensornya mengikuti sequence terpanjang dalam batch. Attention mask dapat mencegah posisi padding ikut membentuk probabilitas attention, tetapi pengecualian secara semantik itu tidak berarti kernel padat melewati setiap operasi pada baris dan kolom padding. Perbedaan ini relevan pada model serving karena mask mengatur posisi mana yang boleh berinteraksi, sedangkan bentuk tensor menentukan banyak bagian dari pekerjaan yang diberikan kepada operator padat. Batch dengan padding besar dapat menjalankan lebih banyak aritmetika dan memindahkan lebih banyak data dibanding perkiraan yang hanya memakai jumlah token valid.

Kecerdasan Buatan Transformer

Kecerdasan Buatan / 22 Sep 2026 / 6 min read

Cosine Similarity Mengabaikan Magnitudo Embedding

Dua vektor embedding dapat mengarah ke arah yang sama meski memiliki norm yang sangat berbeda. Cosine similarity memberi keduanya skor arah yang sama. Raw dot product tidak demikian. Perbedaan ini menjadi batas implementasi ketika sistem retrieval mengganti metrik index, menormalisasi vektor saat ingestion, atau mencampur embedding dari pipeline yang berbeda. Persoalannya bukan menentukan satu metrik yang unggul untuk semua kasus. Yang perlu ditetapkan adalah apakah magnitudo vektor membawa informasi yang memang hendak dipertahankan oleh kontrak scoring. Setelah vektor dinormalisasi menjadi unit length, informasi magnitudo tersebut tidak lagi ikut dalam perhitungan similarity.

Kecerdasan Buatan Embedding

Kecerdasan Buatan / 19 Sep 2026 / 6 min read

Prefix Caching Memakai Ulang State KV Hanya pada Prefix Prompt yang Identik

Serving transformer autoregresif sering memproses prefix prompt yang sama pada banyak request: system message, header dokumen panjang, atau tool schema tetap dapat muncul sebelum teks khusus pengguna. Prefix caching menyimpan state key-value yang dihasilkan prefix bersama tersebut sehingga request berikutnya dapat melanjutkan komputasi dari batas cache tanpa menghitung ulang seluruh prefix. Batas yang berguna lebih sempit daripada sekadar “prompt yang mirip.” Reuse bergantung pada urutan token yang identik dan state model yang memengaruhi aktivasi tersimpan. Perubahan satu karakter dapat mempertahankan sebagian besar token, menggeser tokenisasi di sekitar perubahan, atau mengubah semua token setelah batas format tertentu. Cache hanya dapat memakai ulang bagian yang input efektifnya tetap identik.

Kecerdasan Buatan Model Bahasa

Kecerdasan Buatan / 19 Sep 2026 / 6 min read

Memori Ollama Gemma 3 270M Lebih Besar dari Ukuran File Model

Ollama mencantumkan gemma3:270m dengan ukuran sekitar 292 MB. Angka ini berguna untuk menghitung kebutuhan storage, tetapi bukan kebutuhan RAM. Nilai tersebut menggambarkan data model yang dikemas untuk varian default Ollama, yang memakai quantization Q8_0. Ketika inferensi berjalan, runtime juga membutuhkan memori untuk metadata model, execution buffer, state token, dan key-value cache yang dipakai attention. Perbedaan ini penting pada mesin dengan RAM kecil. Perangkat dengan RAM 512 MB sekilas terlihat cukup jika hanya dibandingkan dengan file model 292 MB, padahal sisa memori juga harus menampung Ollama dan sistem operasi. Konfigurasi context dapat mengubah total kebutuhan secara signifikan.

Kecerdasan Buatan Ollama

Kecerdasan Buatan / 19 Sep 2026 / 8 min read

Memecah Prefill Panjang untuk Membatasi Jeda Decode pada Serving LLM

Prompt panjang dapat menempati akselerator selama interval scheduling yang jauh lebih besar dibanding satu iterasi decode. Saat serving engine mencampur prefill baru dengan request yang sudah menghasilkan token, perbedaan ini dapat terlihat sebagai jarak waktu antartoken output yang tidak teratur. Modelnya tidak berubah; interferensi muncul dari cara dua fase inferensi yang berbeda berbagi waktu eksekusi. Prefill memproses prompt dan membentuk key-value state yang dibutuhkan causal attention berikutnya. Decode kemudian memperpanjang sequence secara autoregresif, umumnya satu token baru per request aktif pada setiap iterasi. Kedua fase memberi tekanan yang berbeda pada hardware, sehingga memperlakukannya sebagai unit scheduling yang setara dapat menimbulkan jeda yang sebenarnya dapat dibatasi.

Kecerdasan Buatan Model Bahasa

Kecerdasan Buatan / 19 Sep 2026 / 7 min read

Ke Mana Waktu Inferensi PEGASUS-XSum Dihabiskan

google/pegasus-xsum adalah checkpoint untuk summarization, bukan utilitas teks berukuran kecil. Latensinya mengikuti pekerjaan yang memang dilakukan Transformer encoder-decoder besar: sumber harus di-encode terlebih dahulu, lalu decoder dijalankan berulang kali sampai ringkasan selesai. Di CPU, fase kedua biasanya membuat output yang pendek terasa jauh lebih mahal daripada yang diperkirakan. Paper PEGASUS menjelaskan Transformer encoder-decoder yang di-pretrain dengan Gap Sentences Generation dan melaporkan model terbaik berukuran 568 juta parameter. Checkpoint XSum kemudian di-fine-tune untuk abstractive summarization pada satu dokumen. Kombinasi ini berguna ketika kualitas ringkasan menjadi prioritas, tetapi pekerjaan inferensinya jelas lebih besar daripada sekadar mengambil beberapa kalimat sumber atau menjalankan classifier kecil.

Kecerdasan Buatan Peringkasan

Kecerdasan Buatan / 19 Sep 2026 / 7 min read

Estimasi Kedalaman Monokular dengan MiDaS dan DPT

Satu kamera RGB merekam koordinat gambar dan warna, bukan jarak fisik dari lensa ke setiap permukaan yang terlihat. Model kedalaman monokular memperkirakan struktur kedalaman yang hilang dari bukti visual yang dipelajari selama training. Perbedaan ini penting saat menggunakan MiDaS atau DPT: peta kedalaman yang terlihat meyakinkan tidak otomatis berarti nilai setiap piksel adalah jarak dalam meter. MiDaS adalah proyek open-source untuk estimasi kedalaman relatif monokular yang robust. DPT, atau Dense Prediction Transformer, merupakan arsitektur untuk dense prediction yang juga digunakan sebagai backbone pada sejumlah model MiDaS. Keduanya membuat estimasi kedalaman dengan satu kamera menjadi praktis, tetapi tidak menghilangkan ambiguitas geometris yang melekat pada satu gambar RGB tanpa constraint tambahan.

Kecerdasan Buatan Computer Vision

Kecerdasan Buatan / 18 Sep 2026 / 4 min read

Perlakukan Logit Lens sebagai Readout, Bukan Jejak Kausal

Sebuah transformer dapat menampilkan residual state intermediate yang sangat mendukung satu token saat diproyeksikan dengan proyeksi kosakata akhir model, lalu menghasilkan token lain setelah block berikutnya dijalankan. Logit lens membuat preferensi intermediate itu terlihat. Hasil tersebut tidak menetapkan bahwa preferensi itu menyebabkan output akhir. Batas ini relevan saat developer memakai peringkat token per layer untuk memeriksa perilaku model. Logit lens adalah readout: metode ini menanyakan apa yang akan dilaporkan output head model jika diterapkan pada representasi intermediate. Forward pass aktual mengajukan persoalan berbeda karena setiap block yang tersisa dapat mengubah representasi tersebut sebelum readout akhir.

Kecerdasan Buatan Transformer

Kecerdasan Buatan / 18 Sep 2026 / 5 min read

Hitung Ulang Statistik BatchNorm Setelah Weight Averaging

Merata-ratakan dua checkpoint jaringan neural dapat menghasilkan vektor parameter yang berguna, tetapi meninggalkan statistik berjalan BatchNorm yang terikat pada jaringan berbeda. Bobot menentukan satu kumpulan aktivasi; running mean dan running variance yang tersimpan dapat menggambarkan aktivasi dari bobot sebelumnya. Inferensi kemudian menggabungkan state dari dua titik berbeda di ruang parameter. Ketidakcocokan ini mudah terlewat karena statistik berjalan BatchNorm merupakan buffer, bukan parameter yang dioptimalkan, pada banyak implementasi. Prosedur weight averaging dapat menangani semua bobot dengan benar dan tetap menghasilkan state inferensi yang tidak konsisten secara internal.

Kecerdasan Buatan Jaringan Neural

Kecerdasan Buatan / 17 Sep 2026 / 5 min read

Teacher Forcing Menciptakan Kesenjangan Distribusi Prefix

Model autoregresif memprediksi token berikutnya dari sebuah prefix. Dalam training dengan teacher forcing, prefix tersebut biasanya berasal dari sequence referensi. Saat generasi, prefix berisi token yang dikeluarkan model sendiri. Satu kesalahan prediksi karena itu dapat mengubah konteks yang digunakan untuk seluruh prediksi berikutnya. Perbedaan ini sering disebut exposure bias. Detail engineering yang lebih berguna adalah bahwa training dan generasi dapat menyajikan distribusi prefix yang berbeda kepada predictor kondisional yang sama. Validasi token-level pada prefix referensi yang bersih tidak sepenuhnya menggambarkan perilaku ketika model memasuki prefix yang jarang muncul selama training.

Kecerdasan Buatan Model Bahasa

Kecerdasan Buatan / 17 Sep 2026 / 6 min read

Selective Classification Menukar Coverage dengan Tingkat Error

Classifier biasanya mengembalikan label untuk setiap input, bahkan ketika distribusi skornya hampir seimbang atau input berada jauh dari data yang familiar. Selective classification mengubah antarmuka tersebut: sistem dapat mengembalikan prediksi atau abstain. Aturan penerimaan kemudian menentukan berapa banyak input yang menerima prediksi dan seberapa sering prediksi yang diterima itu salah. Ini tidak sama dengan membuat classifier secara intrinsik lebih akurat. Abstention memindahkan sebagian kasus keluar dari himpunan keputusan otomatis. Nilainya bergantung pada kemampuan selection score mengurutkan kasus sulit dengan cukup baik sehingga input yang ditolak memuat porsi error yang lebih besar.

Kecerdasan Buatan Klasifikasi

Kecerdasan Buatan / 17 Sep 2026 / 7 min read

Seimbangkan Routing Token pada Model Sparse Mixture-of-Experts

Layer sparse mixture-of-experts dapat memiliki banyak jaringan expert sambil hanya mengevaluasi sebagian kecil untuk setiap token. Router memungkinkan sparsitas ini: router memberi skor pada expert, memilih sejumlah kecil expert, lalu mengirim setiap token melalui jalur komputasi yang dipilih. Pemilihan tersebut bukan sekadar detail optimisasi. Jika banyak token terkonsentrasi pada sedikit expert, sebagian device dapat menerima jauh lebih banyak pekerjaan daripada yang lain, batas kapasitas dapat membuang atau mengalihkan assignment, dan expert yang menerima sedikit traffic memperoleh lebih sedikit gradient dari task. Karena itu, keseimbangan router memengaruhi komputasi sekaligus fungsi yang direpresentasikan model.

Kecerdasan Buatan Mixture of Experts

Kecerdasan Buatan / 17 Sep 2026 / 6 min read

Prediction Set Konformal Membutuhkan Data Kalibrasi yang Exchangeable

Classifier yang menghasilkan 0.93 untuk satu kelas tidak otomatis memberikan pernyataan statistik bahwa kelas tersebut benar dengan probabilitas 0.93. Conformal prediction mengambil pendekatan berbeda: metode ini menggunakan contoh berlabel yang ditahan untuk membentuk sekumpulan label kandidat dengan target marginal coverage tertentu. Pada split conformal classification, base model dapat tetap tidak berubah. Jaminannya berasal dari peringkat skor conformity atau nonconformity sebuah contoh uji terhadap skor yang dihitung pada sampel kalibrasi yang exchangeable. Asumsi inilah yang menentukan cakupan pernyataan coverage tersebut.

Kecerdasan Buatan Conformal Prediction

Kecerdasan Buatan / 17 Sep 2026 / 6 min read

Mempertahankan Attention Sink dalam KV Cache Terbatas

KV cache terbatas tampak cocok dengan aturan eviction sederhana: setelah cache penuh, buang pasangan key-value tertua dan pertahankan token terbaru. Pada sebagian transformer decoder-only, aturan ini dapat menurunkan kualitas generasi secara tajam setelah urutan melewati jendela yang dipertahankan. Kegagalan tersebut tidak hanya berasal dari hilangnya konten semantik lama. Token awal dapat menerima attention besar meski teksnya hanya membawa sedikit informasi yang berguna untuk prediksi saat ini. Perilaku ini umum disebut attention sink. Dampaknya penting bagi desain inferensi streaming karena kebijakan cache yang mempertahankan prefix awal kecil ditambah sliding window terbaru dapat berperilaku sangat berbeda dari sliding window murni dengan batas memori yang serupa.

Kecerdasan Buatan Transformer

Kecerdasan Buatan / 17 Sep 2026 / 5 min read

Membatasi Update Gradien dengan Global Norm Clipping

Satu langkah optimisasi dapat menghasilkan gradien dengan besar gabungan yang jauh melebihi langkah-langkah di sekitarnya. Jika gradien itu langsung diberikan kepada optimizer, update parameter yang dihasilkan dapat memindahkan model ke wilayah space parameter yang sangat berbeda. Global norm clipping membatasi besar gradien sebelum optimizer memakainya. Mekanismenya sederhana, tetapi perilakunya mudah disalahartikan. Mekanisme ini tidak membatasi setiap elemen gradien secara terpisah dan tidak menjamin norm update parameter yang tetap untuk optimizer adaptif. Mekanisme ini menskalakan ulang seluruh vektor gradien ketika norm yang dipilih melewati ambang.

Artificial Intelligence Neural Networks