Normalisasi L2 Mengubah Dot Product Embedding Menjadi Cosine Similarity

Wed, 23 Sep 2026 00:00:00 +0000

Dua vektor embedding dapat mengarah hampir sama tetapi memiliki magnitudo yang sangat berbeda. Dot product mentah merespons kedua sifat tersebut. Normalisasi L2 menghapus komponen magnitudo, sehingga operasi dot product yang sama berubah menjadi perbandingan arah.

Perubahan ini bukan sekadar penyesuaian numerik. Objektif retrieval ikut berubah ketika norm vektor membawa informasi atau berbeda antar-item.

Dot product memuat komponen magnitudo

Untuk vektor nonzero (x) dan (y),

[ x \cdot y = |x|_2 |y|_2 \cos(\theta), ]

Cosine Similarity Mengabaikan Magnitudo Embedding

Tue, 22 Sep 2026 00:00:00 +0000

Dua vektor embedding dapat mengarah ke arah yang sama meski memiliki norm yang sangat berbeda. Cosine similarity memberi keduanya skor arah yang sama. Raw dot product tidak demikian. Perbedaan ini menjadi batas implementasi ketika sistem retrieval mengganti metrik index, menormalisasi vektor saat ingestion, atau mencampur embedding dari pipeline yang berbeda.

Persoalannya bukan menentukan satu metrik yang unggul untuk semua kasus. Yang perlu ditetapkan adalah apakah magnitudo vektor membawa informasi yang memang hendak dipertahankan oleh kontrak scoring. Setelah vektor dinormalisasi menjadi unit length, informasi magnitudo tersebut tidak lagi ikut dalam perhitungan similarity.

Similarity on Nalar

Normalisasi L2 Mengubah Dot Product Embedding Menjadi Cosine Similarity

Dot product memuat komponen magnitudo

Cosine Similarity Mengabaikan Magnitudo Embedding