1. Pengantar
Terakhir Diperbarui: 04-03-2026
Penelusuran vektor, atau Database vektor, telah menjadi teknologi dasar untuk sistem AI modern. Dengan merepresentasikan data sebagai embedding berdimensi tinggi yang menangkap makna semantik, teknologi ini mendukung semuanya, mulai dari penelusuran semantik yang memahami maksud pengguna, hingga mesin rekomendasi yang menampilkan konten yang relevan, hingga Retrieval-Augmented Generation (RAG) dan Agen AI yang mendasarkan respons LLM pada informasi yang nyata dan terbaru. Perusahaan teknologi besar, termasuk Google, mengandalkan teknologi ini dalam skala besar untuk memproses miliaran penelusuran, rekomendasi, dan perujukan setiap hari.
Namun, membangun penelusuran vektor yang siap produksi tetap menjadi tantangan. Baru-baru ini Google merilis Vertex AI Vector Search 2.0 untuk mengubah hal tersebut — layanan terkelola sepenuhnya yang dirancang untuk menghilangkan kompleksitas desain dan operasional yang memperlambat tim.
Mengapa Vector Search Lebih Sulit daripada yang Terlihat
Konsepnya sederhana. Penerapannya? Di sinilah semuanya menjadi rumit.
Pembuatan embedding. Penelusuran vektor memerlukan konversi data Anda menjadi representasi numerik (embedding) yang menangkap makna semantik. Artinya, Anda perlu memanggil API embedding, mengelompokkan permintaan, menangani batas kecepatan, dan menyimpan vektor. Setiap kali data Anda berubah, Anda menjalankan kembali pipeline. Infrastruktur ini harus Anda bangun sebelum Anda dapat mulai melakukan penelusuran.
Feature store. Banyak produk penelusuran vektor hanya menyediakan indeks vektor yang menampilkan daftar ID item untuk setiap penelusuran. Untuk menayangkan hasil penelusuran lengkap kepada pengguna, Anda memerlukan penyimpanan fitur atau penyimpanan key-value terpisah untuk mengambil data item sebenarnya — nama, harga, kategori, URL gambar dalam milidetik — dengan meneruskan ID tersebut. Dalam banyak kasus, Anda juga perlu menerapkan pemfilteran kompleks pada fitur item seperti harga, kategori, atau ketersediaan. Artinya, Anda harus membangun dan memelihara dua layanan yang berbeda: satu untuk penelusuran vektor, satu untuk pengambilan dan pemfilteran data. Setiap pembaruan dan kueri memerlukan akses dan sinkronisasi kedua sistem.
Penyesuaian indeks. Untuk membuat indeks approximate nearest neighbor (ANN) dengan jutaan item, Anda harus membuat keputusan ahli untuk mendapatkan performa terbaik: Berapa banyak item yang harus ditampung setiap node indeks? Berapa persentase indeks yang harus dipindai per kueri untuk menyeimbangkan perolehan terhadap latensi? Berapa ukuran shard yang cocok dengan set data Anda? Ini adalah keputusan infrastruktur ML yang tidak ada hubungannya dengan produk Anda yang sebenarnya.
Penelusuran campuran. Penelusuran semantik unggul dalam memahami maksud — menemukan "Celana Board" saat pengguna menelusuri "pakaian pria untuk pantai". Namun, model ini gagal pada kode produk seperti "SKU-12345" yang tidak memiliki makna semantik, dan kesulitan dengan istilah atau nama merek baru yang belum pernah dilihat oleh model penyematan. Penelusuran kata kunci menangani kasus ini, tetapi tidak memiliki konteks semantik. Pengguna membutuhkan keduanya, itulah sebabnya penelusuran hybrid menjadi sangat penting. Namun, membangunnya tidaklah mudah. Anda memerlukan mesin telusur teks lengkap dengan tokenisasi, indeks terbalik, atau embedding jarang — selain mesin telusur vektor Anda. Kemudian, Anda harus menjalankan kueri paralel di kedua mesin telusur, menormalisasi sistem penilaian yang berbeda, dan menggabungkan hasil dengan teknik seperti Reciprocal Rank Fusion.
Cara Vector Search 2.0 Menyelesaikan Masalah Ini
Vector Search 2.0 di Google Cloud secara langsung mengatasi setiap tantangan ini:
Dalam workshop ini, kita akan membangun penelusuran hibrida yang dikelola sepenuhnya menggunakan 10.000 produk fashion dari set data e-commerce TheLook.
Apa itu Vector Search 2.0?
Vector Search 2.0 adalah database vektor yang dapat menyesuaikan diri dan terkelola sepenuhnya dari Google Cloud yang dibangun berdasarkan algoritma ScaNN (Scalable Nearest Neighbors) Google - teknologi yang sama yang mendukung Google Penelusuran, YouTube, dan Google Play.
Pembeda Utama
- Pengindeksan Nol hingga Pengindeksan Skala Miliaran: Mulai kembangkan segera dengan waktu pengindeksan nol menggunakan kNN (k-Nearest Neighbors), lalu lakukan penskalaan hingga miliaran vektor dengan latensi milidetik menggunakan indeks ANN (Approximate Nearest Neighbor) skala Google untuk produksi - semuanya dengan API dan set data yang sama
- Penyimpanan Data Terpadu: Simpan embedding vektor dan data yang disediakan pengguna secara bersamaan (tidak memerlukan database atau penyimpanan fitur terpisah)
- Embedding Otomatis: Otomatis membuat embedding semantik menggunakan model embedding Vertex AI
- Penelusuran Teks Lengkap Bawaan: Menyediakan penelusuran teks lengkap bawaan tanpa perlu membuat embedding renggang sendiri. Anda juga dapat memilih untuk menggunakan embedding jarang Anda sendiri (misalnya, BM25, SPLADE) dengan Penelusuran Vektor untuk penelusuran teks lengkap yang disesuaikan.
- Penelusuran Hybrid: Menggabungkan penelusuran semantik dan berbasis kata kunci/token dalam satu kueri dengan peringkat RRF cerdas
- Penyesuaian Mandiri: Performa yang dioptimalkan secara otomatis tanpa konfigurasi manual
- Siap Digunakan Perusahaan: Skalabilitas, keamanan, dan kepatuhan bawaan
Arsitektur Inti
Penelusuran Vektor 2.0 memiliki tiga komponen utama:
- Koleksi: Penampung yang menerapkan skema untuk data Anda
- Objek Data: Item individual dengan data dan penyematan vektor
- Indeks: Lakukan penelusuran tetangga terdekat instan pada data Anda dengan kNN. Untuk penelusuran tetangga terdekat dengan latensi rendah, gunakan indeks ANN.
- Mulai dengan cepat: Gunakan kNN secara langsung tanpa waktu penyiapan - cocok untuk pengembangan dan set data kecil
- Skalakan ke produksi: Gunakan indeks ANN untuk penelusuran skala miliaran dengan latensi di bawah satu detik yang didukung oleh algoritma ScaNN
Mari kita pelajari setiap konsep dengan contoh praktik.
2. Membangun Penelusuran Mode TheLook
Bayangkan pelanggan membuka situs e-commerce Anda dan mengetik "sesuatu yang lucu untuk liburan di pantai". Dengan penelusuran kata kunci tradisional, mereka akan mendapatkan nol hasil — tidak ada produk dalam katalog Anda yang berisi kata-kata persis tersebut. Frustrasi, mereka pergi.
Sekarang bayangkan pengalaman yang berbeda. Kueri yang sama menampilkan gaun musim panas, penutup pakaian renang, dan celana pendek longgar — produk yang sangat cocok dengan keinginan pelanggan, meskipun tidak ada yang berisi kata "pantai" dalam judulnya. Itulah pengalaman yang dihadirkan penelusuran vektor.
Untuk mendemonstrasikan bagaimana Vector Search 2.0 memungkinkan hal ini, kita akan membuat sistem penelusuran produk menggunakan TheLook, set data e-commerce realistis dengan 30.000 item fashion dalam 26 kategori. Setiap produk memiliki atribut yang dapat Anda temukan dalam katalog nyata:
Tantangan Penelusuran yang Akan Kita Selesaikan
Pelanggan sungguhan tidak melakukan penelusuran seperti yang diharapkan database. Mereka menelusuri dengan cara yang mereka pikirkan:
Vector Search 2.0 memecahkan keempat tantangan tersebut dengan arsitektur terpadu.
Arsitektur Data Vector Search 2.0
Sebelum mempelajari kode, mari kita pahami cara Vector Search 2.0 mengatur data Anda. Arsitektur ini berpusat pada tiga konsep utama: Kumpulan, Objek Data, dan Indeks.
Koleksi menentukan struktur data Anda — kolom yang ingin Anda simpan dan kolom yang harus disematkan. Objek Data adalah item sebenarnya (produk, dokumen, gambar) yang disimpan dalam Koleksi, masing-masing dengan data dan vektor yang dibuat otomatis atau vektor Anda sendiri. Indeks mengoptimalkan kueri dalam skala besar, sehingga memungkinkan latensi milidetik di miliaran item. Anda dapat memulai tanpa indeks untuk pengembangan dengan waktu penyiapan nol, lalu menambahkan indeks saat Anda memerlukan performa produksi.
Membangun Penelusuran TheLook: Langkah demi Langkah
Sekarang, mari kita bangun sistem penelusuran produk yang berfungsi. Kita akan memuat 10.000 item fashion dari TheLook, mengaktifkan penyematan otomatis, dan menjalankan penelusuran semantik, kata kunci, dan campuran — semuanya dalam sekitar 50 baris kode.
Buka notebook: Pengantar Vertex AI Vector Search 2.0
Cara Kerja Penelusuran Hybrid
Vector Search 2.0 mendukung tiga mode penelusuran: penelusuran semantik (memahami maksud melalui embedding), penelusuran teks (pencocokan kata kunci), dan penelusuran campuran (menggabungkan keduanya). Penelusuran hybrid memberikan hasil terbaik untuk sebagian besar kasus penggunaan. Penelusuran semantik menemukan "Celana Board" saat pengguna menelusuri "pakaian pria untuk pantai", sementara penelusuran teks memastikan kecocokan persis seperti kode produk tidak terlewatkan.
Mengapa Embedding Jenis Tugas Penting
Perhatikan parameter task_type dalam kode di atas: RETRIEVAL_DOCUMENT saat mengindeks produk, dan QUESTION_ANSWERING saat menelusuri. Hal ini bukan tanpa alasan—ini adalah teknik utama untuk meningkatkan kualitas penelusuran dengan memungkinkan model sematan berfungsi seperti model rekomendasi.
Sebagian besar kasus penggunaan penelusuran vektor mengandalkan pencocokan kemiripan sederhana, tetapi hal ini sering kali gagal memberikan kualitas penelusuran tingkat produksi karena pertanyaan dan jawaban tidak memiliki kemiripan yang melekat dalam ruang embedding. "Apa yang cocok untuk liburan di pantai?" dan "Celana Board" memiliki semantik yang berbeda, tetapi harus cocok. Embedding jenis tugas memecahkan masalah ini dengan mengoptimalkan model embedding untuk hubungan asimetris: dokumen disematkan secara berbeda dari kueri, sehingga membuat ruang embedding tempat kecocokan yang relevan dikelompokkan bersama — menambahkan kemampuan rekomendasi, menemukan item yang relevan berdasarkan niat pengguna.
Penggunaan penyematan khusus tugas dapat meningkatkan kualitas penelusuran sebesar 30–40% dibandingkan dengan penyematan umum. Untuk mempelajari lebih lanjut cara kerjanya, lihat notebook Penyematan Jenis Tugas.
Dari Skala Nol hingga Miliaran
Untuk produksi dalam skala besar, Vector Search 2.0 menawarkan indeks ANN (Approximate Nearest Neighbor) yang didukung oleh algoritma ScaNN (Scalable Nearest Neighbors) Google — teknologi yang sama di balik Google Penelusuran, YouTube, dan Google Play. ANN mengorbankan sedikit akurasi (~99%) untuk mendapatkan peningkatan kecepatan yang sangat besar: latensi di bawah 10 md bahkan dengan miliaran vektor.
Gambaran Lengkap
Hanya dalam lima langkah — dengan langkah 1 hingga 4 yang hanya memerlukan waktu sekitar 5 menit — kami membangun sistem penelusuran produk yang siap produksi:
Penelusuran Vektor 2.0 menghilangkan kompleksitas infrastruktur yang biasanya memperlambat adopsi penelusuran vektor. Anda berfokus pada produk Anda; platform menangani penyematan, pengindeksan, dan penskalaan.
3. Selamat
Selamat, Anda berhasil membuat aplikasi pertama Anda dengan Vector Search 2.0.