RAG (Retrieval-Augmented Generation, getirme destekli üretim), büyük dil modelinin cevap üretmeden önce bir bilgi tabanından ilgili parçaları getirip yanıtı bu parçalara dayandırmasını sağlayan yöntemdir. Model, genel bilgisiyle değil kurumun kendi bilgisiyle konuşur.
Kurumun dokümanları parçalara bölünür, her parça embedding ile sayısal vektöre çevrilir ve bir vektör veritabanına yazılır. Kullanıcı soru sorduğunda soru da vektöre çevrilir, en yakın parçalar bulunur ve bu parçalar soruyla birlikte modele verilir. Model cevabı bu kaynaklara dayanarak üretir ve kaynak gösterebilir.
RAG daha ucuzdur, bilgi tabanı güncellendiğinde model yeniden eğitilmez ve her cevabın kaynağı izlenebilir. Fine-tuning, modelin üslubunu veya özel bir görevdeki davranışını değiştirmek için uygundur; bilgi aktarmak için değil. Çoğu kurumsal projede önce RAG kurulur, fine-tuning yalnızca ölçülebilir kazanç varsa eklenir.
Sözleşme ve prosedür sorgulama, teknik destek, satın alma ve hukuk ekiplerinin bilgi erişimi, müşteri hizmetleri ajanlarının kurumsal bilgiye dayanması. Ayrıntı: kuruma özel LLM ve RAG sistemleri.
