Yazılım mühendisliği, uzun yıllar boyunca deterministik durum yönetimi ve kesin eşleşme kuralları etrafında şekillendi. Geleneksel mimarilerde sisteme gönderilen standart bir sorgu, veritabanı tablolarındaki…
Yazılım mühendisliği, uzun yıllar boyunca deterministik durum yönetimi ve kesin eşleşme kuralları etrafında şekillendi. Geleneksel mimarilerde sisteme gönderilen standart bir sorgu, veritabanı tablolarındaki yapılandırılmış hücreleri hedef alır. Sistem, sıfır hata payıyla tam sonucu döndürmek üzere tasarlanmıştır.
İlişkisel veritabanları, ACID standartları ile işlemsel bütünlüğü kusursuz bir şekilde korur. Geleneksel B-Tree indeksleme algoritmaları, logaritmik zaman karmaşıklığı ile birincil anahtarları saniyeden çok daha kısa sürede bulur. Ancak modern yazılım mimarisinin çözmesi gereken asıl problem artık çok daha karmaşıktır.
Günümüzün bilgi sistemleri; devasa boyutlardaki yapılandırılmamış metin logları, müşteri talepleri ve medya dosyaları içinden niyet ve bağlam çıkarmayı gerektirir. Operasyonel veritabanlarının tam kelime eşleşmesine dayanan mimarisi, yeni nesil veri orkestrasyonunun ihtiyaç duyduğu bu anlamsal derinliği sağlayamaz.
Bilginin yeni para birimi olduğu bir çağda veriyi salt depolamak yetersizdir. Otonom sistemlerin ve arama motorlarının, verinin arkasındaki amacı kavraması yapısal bir zorunluluktur.
Geleneksel ilişkisel veritabanları ve erken dönem NoSQL sistemleri, veriyi depolamak ve çağırmak için Exact Match mantığını kullanır. Kullanıcı bir arama yaptığında arka planda çalışan SQL operatörleri, karakter dizilerinin birebir aynı olup olmadığını kontrol eder.
Esnek arama gereksinimlerinde devreye giren operatörler, işlemler tam tablo taramasına dönüştüğünde sistem kaynaklarını anında tüketir. Bu performans darboğazlarını aşmak için sistem mimarları Full Text Search motorlarını ve Lexical Search yaklaşımını devreye almıştır. Elasticsearch veya Apache Solr gibi sistemlerde çalışan BM25 algoritması, tersine indeksleme mimarisi üzerinden kelime frekanslarını hesaplar.
Term Frequency, aranan kelimenin doküman içinde ne kadar sık geçtiğini ölçer. Inverse Document Frequency ise ilgili kelimenin tüm veri setindeki nadirliğini belirler. Ancak sistem mimarisi açısından bakıldığında, Lexical Search algoritmaları ciddi vizyon eksiklikleri barındırır. Bu sistemler anlamsal bağlam bilgisini bellekte tutamaz. Makine için kelimeler yalnızca ASCII veya UTF karakter dizilerinden ibarettir.
Banka kelimesinin finansal bir kurum mu yoksa bir park mobilyası mı olduğu, metnin geneline bakılarak anlaşılamaz. Yazılımcılar eş anlamlı terimleri veya niyet tabanlı aramaları yönetmek için sistem kodlarına devasa sözlük dosyaları gömmek zorundadır. Veri seti büyüdükçe bu Sparse Vector (Seyrek Vektör) yaklaşımı sürdürülemez bir operasyonel yüke dönüşür.
Semantic Search altyapısı, bilgi getirme operasyonlarına tamamen farklı bir düzlemden yaklaşır. Metinler, sistemde basit string dizileri olarak değil, çok boyutlu float tipinde sayı dizileri olarak işlenir. Bu veri tiplerine Dense Vector (Yoğun Vektör) veya Embedding adı verilir.
Doğal dil işleme algoritmaları, sisteme giren metinleri analiz eder. Sistem, kelimeler arasındaki anlamsal ilişkileri yüksek boyutlu geometrik koordinatlara matematiksel olarak kodlar. Tipik bir veri modeli, metinleri 768 veya 1536 boyutlu bir veri dizisi olarak RAM üzerinde konumlandırır. Boyut sayısının yüksekliği, anlamsal derinliğin hassasiyetini belirler.
Bu mimaride kelimeler, string objeleri olarak değil, matematiksel uzaydaki fiziksel yönelimler olarak temsil edilir. Anlamca birbirine yakın olan kavramlar bu devasa boyutlu uzayda birbirine yakın koordinatlara yerleşir. Zıt kavramlar ise birbirinden fersah fersah uzaklaşır. İki kayıt arasındaki anlamsal benzerliği tespit etmek için sistem karakter kıyaslaması yapmaz. Bunun yerine doğrudan geometrik mesafe hesaplamaları devreye girer.
Vektör veritabanları, donanım seviyesinde çalışan farklı matematiksel metrikler kullanarak anlamsal yakınlığı ölçer. Sistem mimarisinin ihtiyaçlarına göre bu üç temel metrikten biri tercih edilir:
Verileri matematiksel vektörlere dönüştürmek, sistem mimarisindeki problemin sadece başlangıcıdır. Milyonlarca kaydın bulunduğu bir üretim ortamında, binlerce boyutlu float dizilerini satır satır taramak sistem kaynaklarını anında kilitler.
Her bir veritabanı kaydını, sorgu vektörüyle tek tek kıyaslamak işlem karmaşıklığını veri sayısı ile boyut sayısının çarpımı kadar artırır. Literatürde "Boyutluluk Laneti" olarak bilinen bu durumu aşmak için geleneksel veritabanı indeksleri tamamen işlevsiz kalır.
Bu darboğazı çözmek için modern vektör veritabanları Approximate Nearest Neighbor (ANN) algoritmalarını kullanır. Bu algoritmalar, deterministik bir şekilde yüzde yüz kusursuz sonucu bulmak yerine, mikroskobik bir hata payıyla en yakın komşuları milisaniyeler içinde getirmeyi hedefler. Hız ve doğruluk arasındaki bu metrik dengesi, mimariyi tasarlayan geliştiriciler tarafından titizlikle ayarlanır.
Modern arama motorlarının çekirdeğinde veriyi hızlı çağırmak için spesifik indeksleme yapıları bulunur. En yaygın kullanılan HNSW (Hierarchical Navigable Small World) algoritması, verileri çok katmanlı ve karmaşık bir graf ağında indeksler.
Alt katmanlarda yoğun, üst katmanlarda ise seyrek düğümler bulunur. Arama işlemi en üst katmandan başlar ve lokal arama alanı daralarak hedefe iner. Bu yapı, B-Tree'nin vektör uzayındaki karşılığı gibidir ve arama karmaşıklığını lineer seviyeden logaritmik seviyelere düşürür.
Vektör mimarilerinin en büyük handikabı devasa bellek tüketimidir. Float32 (32-bit kayan nokta) formatında saklanan 1536 boyutlu bir milyon vektör, sadece RAM üzerinde GB'larca alan kaplar. Veritabanı devasa boyutlara ulaştığında bu maliyet sürdürülemez olur.
Sistem mühendisleri bu problemi Product Quantization (PQ) ve Inverted File Index (IVF) yaklaşımlarıyla çözer. IVF algoritması, yüksek boyutlu uzayı Voronoi hücrelerine böler. Vektörler, merkez noktalara (centroid) bağlanır. Sorgu geldiğinde sistem tüm veritabanını taramak yerine, sadece hedefe en yakın kümenin içindeki lokal vektörleri hesaplar.
PQ ise veriyi donanım seviyesinde sıkıştırır. Yüksek boyutlu vektörler alt vektörlere bölünür. Her alt vektör, kendi lokal uzayındaki bir merkez noktaya haritalanır ve orijinal float değerleri yerine sadece bu merkez noktanın ID'si saklanır. Bu agresif sıkıştırma, bellek tüketimini yüzde doksan oranında azaltırken, sorguların doğrudan RAM üzerinden değil, daha düşük maliyetli NVMe diskler üzerinden bile milisaniyeler içinde çalışmasını sağlar.
Gerçek dünya senaryolarında kullanıcılar sadece anlamsal bir arama yapmazlar. "En iyi akıllı telefonlar" sorgusunu atarken, arka planda "fiyatı 1000 doların altında olanlar ve stokta bulunanlar" gibi kesin SQL tarzı kısıtlamalar da uygularlar. Semantic Search mimarisinde bu durumu yönetmek en kritik mühendislik problemlerinden biridir.
Vektör uzayında Metadata filtrelemesi iki temel yöntemle yapılır: Post-filtering ve Pre-filtering. Post-filtering (Sonradan Filtreleme) yönteminde sistem önce anlamsal olarak en yakın vektörleri bulur, ardından dönen sonuçlar üzerinde SQL tarzı metadata filtrelemesini uygular. Ancak aranan koşula uyan veriler grafın çok derinlerinde kalmışsa, sistem kullanıcıya boş veya eksik bir sonuç seti döndürebilir.
Pre-filtering (Önceden Filtreleme) yönteminde ise sistem önce metadata kurallarını çalıştırır, ardından sadece bu kurallara uyan vektörler arasında anlamsal arama yapar. Fakat bu yöntem HNSW gibi graf tabanlı indeksleri kırabilir. Çünkü indekslenen veri ağının büyük bir kısmı filtrelenip devre dışı bırakıldığında, arama algoritması komşudan komşuya atlayamaz ve kör noktalarda sıkışır. Modern vektör veritabanları bu durumu aşmak için Single-Stage Filtering denilen özel iteratif yöntemler kullanarak hem anlamsal mesafeyi hem de metadata kurallarını aynı işlemci döngüsünde çözümler.
Anlamsal arama mimarisi derinlik katsa da, her arama senaryosunda tek başına kusursuz çalışmaz. Sistemde veritabanı ID numaraları, spesifik sunucu hata kodları veya sektörel ürün kısaltmaları arandığında, yüksek boyutlu anlamsal uzay bu yapılandırılmış terimleri es geçebilir. Nokta atışı, kesin bir kayıt veya ürün kodu istendiğinde saf vektör araması yetersiz kalır.
Bu mimari handikapı aşmak için kurumsal altyapılar Hybrid Search (Hibrit Arama) sistemlerini tasarlar. Sistem, Dense Vector tabanlı Semantic Search altyapısı ile Sparse Vector tabanlı Lexical Search mekanizmasını aynı anda, paralel parçacıklar olarak çalıştırır. Anlamsal eşleşmeler vektör uzayından çekilirken, kesin anahtar kelime eşleşmeleri tersine indeks üzerinden yakalanır.
Buradaki temel mühendislik problemi, farklı matematiksel temellere sahip bu iki arama algoritmasından dönen skorların birbirleriyle doğrudan kıyaslanamamasıdır. BM25 frekans bazlı çalışırken, Cosine Similarity vektörel açı bazlı çalışır. Elmalarla armutları aynı listede sıralamak sistem tutarsızlığı yaratır.
Bu iki farklı dünyayı birleştirmek için Reciprocal Rank Fusion (RRF) algoritması devreye girer. RRF algoritması, dönen sonuçların ham skorlarını tamamen göz ardı ederek yalnızca bulundukları sıra numaralarına odaklanır. Üst sıralardaki sonuçlara daha yüksek ağırlık vererek, her iki algoritmanın en güçlü yanlarını adil bir matematiksel hesaplamayla tek bir potada eritir.
Sonuç olarak kurumsal veri yönetimi, CRUD işlemleri ve kesinlik için ilişkisel veritabanlarını merkeze almaya devam edecektir. Ancak bilginin karmaşıklaştığı bu çağda hibrit vektör altyapıları geleceğin yazılım mimarisinin değişmez bir standardı olmuştur. Gelişmiş veri arama yapıları, artık sadece satırları eşleştiren değil, bağlamı okuyabilen bu yeni anlamsal uzayın üzerinde inşa edilmektedir.