1. Giriş
Last Updated: 2026-03-04
Vektör araması veya vektör veritabanı, modern yapay zeka sistemlerinin temel teknolojisi haline geldi. Verileri, semantik anlamı yakalayan yüksek boyutlu yerleştirmeler olarak temsil ederek kullanıcı niyetini anlayan semantik aramadan alakalı içeriği öne çıkaran öneri motorlarına, LLM yanıtlarını gerçek ve güncel bilgilerle temellendiren veriyle artırılmış üretim (RAG) ve yapay zeka temsilcilerine kadar her şeyi destekler. Google da dahil olmak üzere büyük teknoloji şirketleri, her gün milyarlarca arama, öneri ve temellendirme işlemini gerçekleştirmek için bu teknolojiyi büyük ölçekte kullanır.
Ancak üretime hazır vektör araması oluşturmak zorlu bir süreçtir. Google kısa süre önce bu durumu değiştirmek için Vertex AI Vector Search 2.0'ı kullanıma sundu. Bu hizmet, ekiplerin yavaşlamasına neden olan tasarım ve operasyonel karmaşıklığı ortadan kaldırmak için tasarlanmış, tümüyle yönetilen bir hizmettir.
Vektör Arama Neden Göründüğünden Daha Zordur?
Kavram basittir. Uygulama? İşler bu noktada karmaşıklaşır.
Yerleştirme oluşturma Vektör arama, verilerinizin semantik anlamı yakalayan sayısal gösterimlere (yerleştirmeler) dönüştürülmesini gerektirir. Bu nedenle, bir gömme API'si çağırmanız, isteklerinizi toplu hale getirmeniz, sıklık sınırlarını yönetmeniz ve vektörleri saklamanız gerekir. Verileriniz her değiştiğinde ardışık düzeni yeniden çalıştırırsınız. Aramaya başlamadan önce oluşturmanız gereken bir altyapıdır.
Özellik mağazası. Birçok Vector Search ürünü, her arama için öğe kimliklerinin listesini döndüren yalnızca bir vektör dizini sağlar. Kullanıcılara tam arama sonuçları sunmak için bu kimlikleri ileterek gerçek ürün verilerini (adlar, fiyatlar, kategoriler, milisaniye cinsinden resim URL'leri) almak üzere ayrı bir özellik deposuna veya anahtar-değer deposuna ihtiyacınız vardır. Çoğu durumda, fiyat, kategori veya stok durumu gibi öğe özelliklerinde karmaşık filtreleme de uygulamanız gerekir. Bu durumda, biri vektör araması, diğeri veri alma ve filtreleme için olmak üzere iki farklı hizmet oluşturup sürdürmeniz gerekir. Her güncelleme ve sorgu için iki sisteme de erişilip senkronize edilmesi gerekir.
Dizin ayarı. Milyonlarca öğe içeren yaklaşık en yakın komşu (ANN) dizinleri oluşturmak için en iyi performansı elde etmek üzere uzman kararları vermeniz gerekir: Her dizin düğümü kaç öğe içermelidir? Geri çağırma ile gecikme arasında denge kurmak için sorgu başına dizinin yüzde kaçı taranmalıdır? Hangi parça boyutu veri kümenizle eşleşiyor? Bunlar, gerçek ürününüzle hiçbir ilgisi olmayan makine öğrenimi altyapısı kararlarıdır.
Karma arama. Semantik arama, amacı anlamada başarılıdır. Örneğin, kullanıcılar "erkekler için plaj kıyafeti" aradığında "şort" bulur. Ancak, "SKU-12345" gibi semantik anlamı olmayan ürün kodlarında başarısız olur ve yerleştirme modelinin daha önce hiç görmediği yeni türetilmiş terimler veya marka adlarıyla ilgili sorun yaşar. Anahtar kelime araması bu durumları ele alır ancak semantik bağlamı kaçırır. Kullanıcıların her ikisine de ihtiyacı vardır. Bu nedenle karma arama vazgeçilmez hale gelmiştir. Ancak bu sistemi oluşturmak hiç de kolay değildir. Vektör arama motorunuza ek olarak, belirteçleştirme, ters dizinler veya seyrek yerleştirmeler içeren bir tam metin arama motoruna ihtiyacınız vardır. Ardından, her iki motorda da paralel sorgular çalıştırmanız, farklı puanlama sistemlerini normalleştirmeniz ve sonuçları Karşılıklı Sıralama Karışımı gibi tekniklerle birleştirmeniz gerekir.
Vector Search 2.0 Bu Sorunları Nasıl Çözer?
Google Cloud'daki Vector Search 2.0, bu zorlukların her birini doğrudan ele alır:
Bu atölye çalışmasında, TheLook e-ticaret veri kümesindeki 10.000 moda ürününü kullanarak tümüyle yönetilen bir karma arama oluşturacağız.
Vector Search 2.0 nedir?
Vector Search 2.0, Google'ın ScaNN (Ölçeklenebilir En Yakın Komşular) algoritması üzerine kurulu, Google Cloud'un tamamen yönetilen ve kendi kendini ayarlayan vektör veritabanıdır. Bu algoritma, Google Arama, YouTube ve Google Play'e güç veren teknolojidir.
Temel Farklılıklar
- Sıfır dizinlemeden milyar ölçekli dizine: kNN (k-En Yakın Komşular) kullanarak sıfır dizinleme süresiyle hemen geliştirmeye başlayın, ardından üretim için Google ölçekli ANN (Yaklaşık En Yakın Komşu) dizinleriyle milisaniye gecikmeyle milyarlarca vektöre ölçeklendirin. Tüm bunlar aynı API ve aynı veri kümesiyle yapılır.
- Birleştirilmiş Veri Depolama: Hem vektör yerleştirmelerini hem de kullanıcı tarafından sağlanan verileri birlikte depolayın (ayrı bir veritabanı veya özellik deposu gerekmez).
- Otomatik yerleştirmeler: Vertex AI yerleştirme modellerini kullanarak otomatik olarak semantik yerleştirmeler oluşturun.
- Yerleşik Tam Metin Arama: Seyrek yerleştirmeler oluşturmanıza gerek kalmadan yerleşik bir tam metin arama sağlar. Özelleştirilmiş tam metin araması için Vektör Arama ile kendi seyrek yerleştirmelerinizi (ör. BM25, SPLADE) de kullanabilirsiniz.
- Karma arama: Akıllı RRF sıralamasıyla semantik ve anahtar kelime/jeton tabanlı aramayı tek bir sorguda birleştirin.
- Kendi Kendine Ayarlama: Manuel yapılandırma olmadan otomatik olarak optimize edilmiş performans
- Kurumsal ölçeğe hazır: Yerleşik ölçeklenebilirlik, güvenlik ve uygunluk
Temel Mimari
Vector Search 2.0'ın üç ana bileşeni vardır:
- Koleksiyonlar: Verileriniz için şema zorunlu kılınan kapsayıcılar
- Veri Nesneleri: Veri ve vektör gömmeleri içeren ayrı öğeler
- Dizinler: kNN ile verilerinizde anında en yakın komşu araması yapın. Düşük gecikmeli en yakın komşu araması için bir ANN dizini kullanın.
- Hızlı başlangıç: kNN'yi kurulum süresi olmadan hemen kullanın. Geliştirme ve küçük veri kümeleri için idealdir.
- Üretime ölçeklendirme: ScaNN algoritması tarafından desteklenen, bir saniyeden kısa gecikme süresiyle milyarlarca öğe arasında arama yapmak için ANN dizinlerini kullanın.
Her bir kavramı uygulamalı örneklerle inceleyelim.
2. TheLook Fashion Search'ü oluşturma
Bir müşterinin e-ticaret sitenize geldiğini ve "Plaj tatili için sevimli bir şeyler" yazdığını düşünün. Geleneksel anahtar kelime aramasında ise sıfır sonuç elde ederler. Kataloğunuzdaki hiçbir üründe bu kelimeler tam olarak yer almaz. Bıkkın bir şekilde ayrılırlar.
Şimdi farklı bir deneyim hayal edin. Aynı sorgu, başlıklarında "plaj" kelimesi geçmemesine rağmen müşterinin aklındakilerle mükemmel şekilde eşleşen ürünler (ör. yazlık elbiseler, mayo üstleri ve bol şortlar) döndürüyor. Vektör arama, bu deneyimi mümkün kılar.
Vector Search 2.0'ın bunu nasıl mümkün kıldığını göstermek için 26 kategoride 30.000 moda ürünü içeren gerçekçi bir e-ticaret veri kümesi olan TheLook'u kullanarak bir ürün arama sistemi oluşturacağız. Her üründe, gerçek bir katalogda bulabileceğiniz özellikler vardır:
Çözüme Kavuşturacağımız Arama Sorunları
Gerçek müşteriler, veritabanlarının beklediği şekilde arama yapmaz. Düşündükleri şekilde arama yaparlar:
Vector Search 2.0, birleşik bir mimariyle dört zorluğun tamamını çözer.
Vector Search 2.0 Veri Mimarisi
Koda geçmeden önce Vector Search 2.0'ın verilerinizi nasıl düzenlediğini anlayalım. Mimaride üç temel kavram bulunur: Koleksiyonlar, Veri Nesneleri ve Diziler.
Koleksiyon, veri yapınızı (depolamak istediğiniz alanlar ve hangi alanların yerleştirilmesi gerektiği) tanımlar. Veri nesneleri, bir koleksiyonda depolanan gerçek öğelerdir (ürünler, dokümanlar, resimler). Her birinin kendi verileri ve otomatik olarak oluşturulan vektörleri veya kendi vektörleriniz vardır. Bir dizin, sorguları ölçekli olarak optimize ederek milyarlarca öğede milisaniye gecikme süresi sağlar. Kurulum süresi olmadan geliştirme için dizin oluşturmadan başlayabilir, ardından üretim performansı gerektiğinde dizin ekleyebilirsiniz.
TheLook Arama'yı oluşturma: Adım adım
Şimdi de çalışan bir ürün arama sistemi oluşturalım. TheLook'tan 10.000 moda ürününü yükleyip otomatik yerleştirmeleri etkinleştirecek ve semantik, anahtar kelime ve karma aramalar yapacağız. Tüm bunlar yaklaşık 50 satırlık kodla gerçekleştirilecek.
Not defterini açın: Introduction to Vertex AI Vector Search 2.0 (Vertex AI Vector Search 2.0'a Giriş)
Karma arama kullanımı
Vector Search 2.0 üç arama modunu destekler: semantik arama (yerleştirmeler aracılığıyla amacı anlar), metin araması (anahtar kelime eşleşmesi) ve karma arama (ikisini de birleştirir). Karma arama, çoğu kullanım alanında en iyi sonuçları verir. Örneğin, kullanıcılar "plaj için erkek kıyafeti" aradığında semantik arama "şort" sonucunu bulur. Metin arama ise ürün kodları gibi tam eşleşmelerin kaçırılmamasını sağlar.
Görev türü yerleştirmeleri neden önemlidir?
Yukarıdaki kodda task_type parametrelerine dikkat edin: Ürünler dizine eklenirken RETRIEVAL_DOCUMENT, arama yapılırken ise QUESTION_ANSWERING. Bu rastgele bir işlem değildir. Yerleştirme modelinin bir öneri modeli gibi çalışmasını sağlayarak arama kalitesini iyileştirmeye yönelik önemli bir tekniktir.
Çoğu vektör arama kullanım alanı basit benzerlik eşleştirmeye dayanır. Ancak sorular ve yanıtlar yerleştirme alanında doğası gereği benzer olmadığından bu yöntem genellikle üretim düzeyinde arama kalitesi sunamaz. "Plaj tatili için ne uygundur?" ve "Şort" farklı anlamsal anlamlara sahip olsa da eşleşmeleri gerekir. Görev türü yerleştirmeleri, yerleştirme modelini asimetrik ilişkiler için optimize ederek bu sorunu çözer: Belgeler, sorgulardan farklı şekilde yerleştirilir ve alakalı eşleşmelerin bir arada bulunduğu bir yerleştirme alanı oluşturulur. Bu sayede, kullanıcının niyetine göre alakalı öğeler bulma ve öneri yapma özelliği eklenir.
Görevlere özel yerleştirmeler kullanmak, genel yerleştirmelere kıyasla arama kalitesini% 30-40 oranında artırabilir. Bu özelliğin işleyiş şekliyle ilgili ayrıntılı bilgi için Task Type Embedding not defterine bakın.
Sıfırdan Milyar Ölçeğine
Büyük ölçekli üretim için Vector Search 2.0, Google'ın ScaNN (Ölçeklenebilir En Yakın Komşular) algoritması tarafından desteklenen ANN (Yaklaşık En Yakın Komşu) dizinleri sunar. Bu algoritma, Google Arama, YouTube ve Google Play'in temelindeki teknolojiyle aynıdır. ANN, milyarlarca vektörle bile 10 ms'den kısa gecikme süresiyle muazzam hız artışı için çok küçük bir doğruluk kaybı (~%99) yaşar.
The Complete Picture
Yalnızca beş adımda (1-4. adımlar yaklaşık 5 dakika sürer) üretime hazır bir ürün arama sistemi oluşturduk:
Vector Search 2.0, genellikle vektör araması kullanımını yavaşlatan altyapı karmaşıklığını ortadan kaldırır. Ürününüzle ilgilenirsiniz. Platform, yerleştirmeleri, indekslemeyi ve ölçeklendirmeyi yönetir.
3. Tebrikler
Tebrikler, Vector Search 2.0 ile ilk uygulamanızı başarıyla oluşturdunuz.