Halüsinasyon, büyük dil modelinin gerçekte var olmayan bir bilgiyi, kaynağı, rakamı veya olayı kendinden emin bir dille üretmesidir. Model yalan söylemez; olasılıksal olarak “makul görünen” metni üretir ve bu metin bazen doğru değildir.
Model, eğitim verisinde görmediği bir konuda bile akıcı metin üretmek üzere tasarlanmıştır. Belirsiz sorular, eksik bağlam, güncel olmayan bilgi ve uzun çıkarım zincirleri halüsinasyon riskini artırır.
RAG ile cevabın kurumsal kaynaklara dayandırılması ve kaynak gösterme zorunluluğu; “bilmiyorum” demeye izin veren istem tasarımı; yapılandırılmış çıktı ve doğrulama katmanı; kritik kararlarda insan onayı; değerlendirme setiyle düzenli ölçüm. Ajan sistemlerinde araç çağrılarının doğrulanması halüsinasyonun eyleme dönüşmesini engeller.
RAG, guardrail, human-in-the-loop, explainable AI.
