Token, büyük dil modelinin metni işlerken kullandığı en küçük birimdir. Bir token bazen bir kelime, bazen bir hece ya da birkaç karakterdir. İngilizcede 1.000 token yaklaşık 750 kelimeye denk gelir; Türkçe eklemeli bir dil olduğu için aynı metin daha fazla token tutar.
LLM sağlayıcıları ücreti token başına alır; bağlam penceresi token cinsinden sınırlıdır; üretim hızı saniyede token olarak ölçülür. Bir ajanın her döngüsü token tüketir, bu yüzden ajan tasarımında gereksiz bağlam ve tekrar eden araç çağrıları doğrudan maliyete dönüşür.
Türkçe metinler İngilizceye göre yüzde 30-60 daha fazla token tutabilir. Maliyet tahmini ve bağlam planlaması Türkçe örnek metinlerle yapılmalıdır.
Context window, LLM, inference, latency.
