Context window (bağlam penceresi), bir büyük dil modelinin tek bir çağrıda dikkate alabileceği toplam token miktarıdır. Sistem istemi, kullanıcının sorusu, RAG ile getirilen dokümanlar, konuşma geçmişi ve modelin ürettiği cevap bu sınırı birlikte paylaşır.
Uzun sözleşmeler, büyük doküman setleri ve uzun süren ajan görevleri pencereyi hızla doldurur. Pencere büyüdükçe maliyet ve gecikme artar; ayrıca modeller çok uzun bağlamın ortasındaki bilgiyi daha kötü kullanabilir. Bu yüzden “her şeyi bağlama koymak” yerine RAG ile yalnızca ilgili parçaları getirmek ve ajanlarda hafızayı özetleyerek yönetmek tercih edilir.
Token, RAG, hafıza, LLM.
