Guardrail (korkuluk), bir yapay zeka sisteminin neyi yapabileceğini, neyi yapamayacağını ve hangi durumda insana danışacağını belirleyen teknik ve kurallı sınırların tümüdür. Ajanlar sistemlerde eylem yaptığı için guardrail tasarımı projenin merkezindedir, sonradan eklenen bir katman değil.
Girdi korkulukları: prompt injection ve uygunsuz talep filtreleri; dış içeriğin talimat değil veri olarak işlenmesi. Çıktı korkulukları: format doğrulama, kişisel veri maskeleme, kaynak zorunluluğu. Eylem korkulukları: yetki sınırları, parametre doğrulama, sınır değerler (ör. fiyat alt/üst limiti), geri alınamaz işlemlerde insan onayı. Operasyonel: bütçe ve çağrı sayısı limitleri, zaman aşımı, denetim izi.
Hangi kararın otomatik verileceği ve hangisinin onaya düşeceği proje başında belirlenir; sistem bu sınırların dışına çıkamayacak şekilde kurulur ve pilot aşamasında eşikler ölçülerek ayarlanır.
Human-in-the-loop, tool calling, halüsinasyon, KVKK ve yapay zeka.
