On-premise LLM (kurum içi dil modeli), büyük dil modelinin bir bulut sağlayıcının API’si yerine kurumun kendi sunucularında ya da kontrolündeki altyapıda (özel bulut, Türkiye’de barındırma) çalıştırılmasıdır. Genellikle açık kaynak modellerle (Llama, Mistral, Qwen ve Türkçe’ye uyarlanmış türevleri) kurulur.
Veri yurt dışına çıkamıyorsa, KVKK ve sektörel düzenlemeler gerektiriyorsa, yüksek hacimde kullanımda bulut maliyeti aşılıyorsa veya sağlayıcı bağımlılığı istenmiyorsa. Finans, sağlık, kamu ve savunma ile hassas müşteri verisi işleyen kurumlarda yaygındır.
GPU altyapısı, model yönetimi ve güncelleme yükü kuruma geçer; en güçlü kapalı modellerin kalitesi her görevde yakalanamayabilir. Bu nedenle çoğu kurumda hibrit yapı kurulur: hassas süreçler on-premise, genel görevler bulut; model katmanı değiştirilebilir tasarlanır.
LLM, açık kaynak LLM, KVKK ve yapay zeka. Ayrıntı: özel yapay zeka çözümleri.
