Vector Search on Nalar

Pertahankan Sinyal Tingkat Token dengan Late Interaction Retrieval

Wed, 16 Sep 2026 00:00:00 +0000

Satu embedding memadatkan seluruh query atau document menjadi satu vector sebelum similarity dihitung. Representasi ini praktis untuk approximate nearest-neighbor search, tetapi setiap sinyal tingkat token harus berhasil bertahan melewati tahap kompresi tersebut. Late interaction retrieval mempertahankan properti independent encoding sambil menunda sebagian perbandingan query-document hingga search time.

Perubahan utamanya ada pada representasi. Alih-alih menyimpan satu vector per document, model late interaction dapat mempertahankan sekumpulan contextual token vector. Query juga direpresentasikan dengan beberapa vector. Relevance kemudian dihitung dari interaksi antara dua himpunan tersebut, bukan dari satu global dot product.

Ukur Anisotropi Embedding Sebelum Vector Retrieval

Wed, 16 Sep 2026 00:00:00 +0000

Cosine similarity sering diperlakukan sebagai perbandingan lokal antara satu query embedding dan satu candidate. Interpretasi itu menjadi kurang informatif ketika sebagian besar vector menempati sekumpulan arah yang sempit. Item yang tidak berhubungan kemudian dapat memiliki komponen bersama yang cukup besar, sehingga range angle yang digunakan retrieval untuk membedakan candidate menjadi terkompresi.

Konsentrasi arah ini umum disebut embedding anisotropy. Ini adalah properti distribusi vector, bukan cacat yang dapat disimpulkan dari satu similarity score. Bagi developer, persoalan praktisnya adalah nilai cosine tetap tidak memiliki makna universal. Kegunaannya sebagian bergantung pada geometri populasi embedding tempat score tersebut dihasilkan.

Ukur Anisotropi Embedding Sebelum Vector Search

Wed, 16 Sep 2026 00:00:00 +0000

Cosine similarity mengasumsikan bahwa arah vector membawa daya pembeda yang berguna. Asumsi ini menjadi kurang informatif ketika banyak embedding menempati wilayah ruang yang sempit. Dalam kondisi tersebut, item yang tidak berkaitan dapat berbagi komponen arah yang besar, skor cosine dapat berkumpul dalam rentang sempit, dan perbedaan residual kecil akhirnya menentukan ranking.

Pola geometris ini sering disebut anisotropi embedding. Pola tersebut sudah ada sebelum vector index memilih kandidat, sehingga tuning index saja tidak dapat memastikan apakah representasi memiliki pemisahan sudut yang cukup untuk tugas retrieval.

Anisotropi Embedding Dapat Memampatkan Pemisahan Skor Cosine

Sat, 12 Sep 2026 00:00:00 +0000

Dua embedding vector dapat memiliki cosine similarity tinggi walaupun item yang diwakilinya tidak dekat dalam pengertian spesifik yang dibutuhkan sistem retrieval. Salah satu penyebab mismatch ini adalah anisotropi embedding: vector tersebar tidak merata di representation space, sering kali dengan sebagian besar massa terkonsentrasi di sekitar arah bersama.

Cosine similarity menghilangkan pengaruh magnitude vector dari perbandingan, tetapi tidak menghapus komponen arah yang sama. Jika banyak vector sebagian mengarah ke arah yang sama, pasangan yang tidak terkait dapat memiliki baseline cosine yang tinggi. Perbedaan berguna antara item relevan dan tidak relevan kemudian harus muncul dalam rentang skor yang lebih sempit.

Migrasikan Model Embedding Tanpa Merusak Retrieval

Tue, 08 Sep 2026 00:00:00 +0000

Mengganti model embedding dapat terlihat seperti upgrade dependency biasa: ganti identifier model, deploy service, lalu terus query vector index yang ada. Pendekatan tersebut dapat merusak retrieval secara diam-diam.

Embedding memiliki makna relatif terhadap ruang representasi yang dihasilkan modelnya. Jika stored document vector dibuat oleh satu model sementara query vector baru dibuat oleh model lain, koordinat keduanya umumnya tidak memiliki makna bersama. Dimensi yang sama tidak cukup untuk membuat vektor kompatibel.