RAG (Retrieval-Augmented Generation, getirme destekli üretim), bir büyük dil modelinin cevap üretmeden önce kurumun kendi doküman ve verilerinden ilgili parçaları bulup cevabını bu parçalara dayandırmasını sağlayan yöntemdir. Kısacası RAG, modeli genel bilgisiyle değil sizin bilginizle konuşturur. Bu rehberde RAG’in nasıl çalıştığını, fine-tuning ile farkını, kurumsal bir RAG sisteminin kalitesini neyin belirlediğini ve KVKK açısından nelere dikkat edilmesi gerektiğini anlatıyoruz.
Büyük dil modelleri (LLM) eğitim verilerinde gördükleri genel bilgiyle konuşur. Şirketinizin satın alma prosedürünü, geçen ay imzalanan sözleşmeyi ya da ürün kataloğunun güncel hâlini bilmezler. Bilmedikleri bir konuda soru geldiğinde ise çoğu zaman “bilmiyorum” demek yerine akıcı ama yanlış bir cevap üretirler; buna halüsinasyon denir.
RAG bu iki sorunu birlikte çözer. Soru geldiğinde sistem önce kurumun bilgi tabanında arama yapar, en ilgili parçaları getirir ve bunları soruyla birlikte modele verir. Model cevabı bu parçalara dayanarak yazar ve hangi dokümandan aldığını gösterebilir. Terim, 2020’de yayımlanan bir araştırma makalesiyle yaygınlaştı; bugün kurumsal bilgi asistanlarında en yaygın kullanılan mimarilerden biridir.
Bir RAG sistemi iki aşamadan oluşur: dokümanların önceden hazırlandığı indeksleme aşaması ve her soru geldiğinde çalışan sorgu aşaması.
Modele kurum bilgisini vermenin üç yolu sık karıştırılır. Aşağıdaki tablo hangisinin ne zaman uygun olduğunu özetliyor.
| RAG | Fine-tuning | Uzun bağlam penceresi | |
|---|---|---|---|
| Ne yapar? | Her soruda ilgili parçaları getirip modele verir | Modeli örneklerle yeniden eğiterek davranışını değiştirir | Dokümanın tamamını her seferinde modele verir |
| Bilgi güncelleme | Doküman eklemek yeterli | Yeniden eğitim gerekir | Doküman değiştirmek yeterli |
| Kaynak gösterme | Doğal olarak var | Yok | Kısmen |
| Ölçek | Binlerce, milyonlarca doküman | Bilgi aktarmak için uygun değil | Pencereye sığan kadar |
| Uygun olduğu iş | Kurumsal bilgi erişimi, destek, prosedür sorgulama | Üslup, format, dar bir görevde uzmanlaşma | Tek bir uzun belgenin analizi |
Pratikte kural basittir: bilgi aktarmak için RAG, davranış değiştirmek için fine-tuning. Çoğu kurumsal projede önce RAG kurulur; fine-tuning yalnızca ölçülebilir bir kazanç gösterdiğinde eklenir. Uzun bağlam penceresi tek seferlik analizlerde işe yarar, ancak her soruda tüm arşivi modele göndermek hem pahalı hem yavaştır.
Satın alma ve hukuk ekipleri gün içinde aynı soruları tekrar tekrar arar: “Bu tutardaki alımda kaç teklif gerekiyor?”, “Bu tedarikçi sözleşmesinde gecikme cezası maddesi var mı?”. Bilgi yüzlerce prosedür dokümanına ve sözleşmeye dağılmıştır.
Taranmış belgelerin metne çevrilmesi ve sınıflandırılması gerekiyorsa RAG, döküman zekası katmanıyla birlikte kurulur.
RAG sisteminde kişisel veri iki yerde bulunabilir: indekslenen dokümanlarda ve kullanıcının sorusunda. Bulut tabanlı bir model kullanılıyorsa getirilen parçalar sağlayıcıya gönderilir; bu da yurt dışı aktarım sorusunu gündeme getirir. Seçenekler, kişisel verilerin maskelenmesi, Türkiye’de barındırılan modeller ya da modelin ve vektör veritabanının tamamen kurum içinde çalıştığı on-premise kurulumdur. Ayrıntılı adımlar için KVKK uyumlu yapay zeka kullanımı rehberimize bakabilirsiniz.
Klasik RAG tek adımlıdır: soru gelir, arama yapılır, cevap üretilir. Agentic RAG’de ise bir yapay zeka ajanı aramayı bir araç olarak kullanır. Ajan soruyu alt sorulara bölebilir, ilk aramanın sonucu yetersizse sorguyu değiştirip yeniden arayabilir, farklı bilgi tabanlarını ve veritabanı sorgularını birleştirebilir. Ajanların bu araçlara standart biçimde bağlanması için MCP (Model Context Protocol) giderek yaygınlaşıyor. Ajan yaklaşımının genel çerçevesi için agentic AI nedir yazımızı okuyabilirsiniz.
RAG (Retrieval-Augmented Generation), büyük dil modelinin cevap vermeden önce kurumun kendi dokümanlarından ilgili parçaları getirip cevabını bu parçalara dayandırdığı yöntemdir. Model genel bilgisi yerine sizin bilginizle konuşur ve kaynak gösterebilir.
Hayır, ama ciddi biçimde azaltır. Model kaynağa dayanmaya zorlanır, kaynakta bilgi yoksa bunu söylemesi istenir ve cevap kaynakla birlikte gösterilir. Yanlış parça getirildiğinde hata yine olabilir; bu yüzden değerlendirme seti ve kullanıcı geri bildirimi gerekir.
Vektör araması yapabilen bir veritabanı gerekir. Bu, ayrı bir vektör veritabanı olabileceği gibi mevcut ilişkisel veritabanınızın vektör eklentisi de olabilir. Seçim veri hacmine, mevcut altyapıya ve on-premise gerekliliğine göre yapılır.
Evet. RAG bilgiyi sağlar, fine-tuning modelin üslubunu veya belirli bir görevdeki davranışını ayarlar. Ancak çoğu projede önce yalnızca RAG kurulur; fine-tuning, ölçülebilir bir iyileşme sağlayacağı gösterildiğinde eklenir.
Tek bir ekip ve sınırlı bir doküman setiyle başlar: örneğin satın alma prosedürleri. Gerçek kullanıcı sorularından bir test seti hazırlanır, prototip bu setle ölçülür ve sonuç tatmin ediciyse kapsam genişletilir.
Dokümanlarınızın türünü, hacmini ve erişim kurallarını birlikte inceleyelim; hangi kaynakla başlanacağını ve prototipin nasıl ölçüleceğini netleştirelim. Kuruma özel LLM ve RAG sistemleri sayfamızda yaklaşımımızı bulabilirsiniz.
