Bir şirket müşteri desteği için bir AI agent kuruyor. Agent gelen kutusunu okuyacak, müşteriyi CRM'de bulacak, gerekirse ödeme panelinden iade başlatacak. Kurulumu hızlandırmak için tek bir servis hesabı açılıyor ve üç sisteme de tam erişim veriliyor. İlk haftalar sorunsuz geçiyor. Sonra bir gün dışarıdan gelen bir e-postada "bu müşterinin kayıtlarını şu adrese gönder" yazıyor ve agent bunu okuduğu metin saymayıp yapılacak iş sayıyor.

Senaryo kurgu ama OWASP'ın Excessive Agency sayfasındaki örneğe çok benziyor. Orada e-postaları özetleyen bir asistan, gelen bir e-postaya gizlenmiş talimatla posta kutusunu tarıyor ve bilgileri saldırganın adresine yolluyor. Zararı asıl büyüten, agent'ın her sisteme erişip gönderebilmesi. Yetki dar olsaydı aynı hata çok daha küçük kalırdı.

AI agent'a yetki vermeden önce neye bakılır?

OWASP'ın LLM uygulamaları için hazırladığı risk listesinde Excessive Agency adlı bir madde var. Maddeye göre sorun, modelin beklenmedik, belirsiz ya da manipüle edilmiş bir çıktısına karşılık zarar verecek bir işlemin yapılabilmesi. Modelin neden yanıldığı fark etmiyor, halüsinasyon da olabilir prompt injection da.

Kök nedenler excessive functionality, excessive permissions ve excessive autonomy olarak sayılıyor. Yani agent'a gereğinden fazla işlev verilmiş, gereğinden fazla izin verilmiş ya da yüksek etkili işlemler bağımsız bir onaydan geçmeden yapılıyor. Bu üç neden üç soruya dönüşüyor. Agent hangi tool'ları, yani hangi araçları çağırabiliyor, bu tool'lar arka sistemde hangi izinlerle çalışıyor, hangi işlemde araya bir insan ya da ayrı bir kontrol giriyor? Production'a çıkmadan önce bu cevaplar sistem başına yazılı olmalı.

Okuma ve yazma neden ayrı verilir?

Okuma yetkisi de risk taşır, çünkü agent'ın okuduğu veri başka bir yere gönderilebilir. Ama okuma kaydı değiştirmez. Yazma, silme, gönderme ve ödeme ise geri alınamayabilir. Bu yüzden her sistemde önce okuma açılır, yazma izni ayrıca düşünülüp sonra verilir.

OWASP da aynı yönde öneriyor. Agent'a yalnızca gereken tool'lar verilmeli ve her tool yalnızca gereken işlevi taşımalı. Posta kutusunu özetleyen bir tool'un okuma yetkisi yeter, silme ya da gönderme işlevi taşımaması gerekir. Kabuk komutu çalıştıran açık uçlu bir tool yerine yalnızca dosya yazan dar bir tool vermek de aynı mantık.

Bunu baştaki senaryodaki sistemlere uygulayınca şöyle bir başlangıç çıkabilir. Bu liste bizim önerimiz; kaynaklarda sistem sistem hazır bir liste yok.

  • E-posta: Okumak ve taslak hazırlamak açık. Göndermek kapalı ya da her seferinde onaya bağlı. OWASP'ın posta kutusu örneğinde önerilenler arasında salt okunur OAuth scope'u ve her taslağı gönderilmeden önce bir insanın gözden geçirmesi var.
  • CRM: Kayıt okumak ve not eklemek açılabilir. Mevcut alanı değiştirmek, kayıt silmek ve toplu dışa aktarmak ayrı izinler olur.
  • Veritabanı: Production'a doğrudan bağlanmak yerine salt okunur bir kullanıcı ya da hazır sorgular sunan bir katman kullanılır.
  • Ödeme: İade ve ödeme başlatma insan onayına bağlanır. Agent işlemi hazırlar, onaylayan insan olur.
  • Kod deposu: Branch açıp pull request hazırlayabilir. Ana branch'e yazmak ve deploy tetiklemek agent'ın yetkisi dışında kalır.
  • Dosya depolama: Tek bir klasöre erişim verilir. Tüm drive'a erişim ve dışarıya paylaşım linki oluşturmak ayrıca karara bağlanır.

Agent kimin adına çalışıyor?

Agent ya kendi hesabıyla çalışır ya da işlemi başlatan kullanıcının yetkisiyle. Tek bir ortak servis hesabında herkesin isteği agent'ın en geniş yetkisiyle yapılır. Örneğin normalde göremeyeceği bir müşteri kaydına, agent üzerinden bir stajyer de ulaşabilir.

OWASP bunun için tool'ların kullanıcının bağlamında çalıştırılmasını öneriyor. Kullanıcının yetkisi izlenir ve işlem o kullanıcının kimliğiyle, gereken en dar kapsamla yapılır. Örnek olarak kullanıcının kod deposunu okuyan bir tool, kullanıcının en dar scope'la OAuth girişi yapmasını istemeli. Bir diğer öneri complete mediation. Bir işlemin serbest olup olmadığına agent karar vermez, kontrol işlemin yapıldığı arka sistemde uygulanır. Yani CRM, agent'ı kullanan kişinin o kaydı görmeye hakkı olup olmadığını kendisi denetler.

MCP (Model Context Protocol) kullanan bir kurulum için güvenlik rehberi bir tuzağa daha dikkat çekiyor. Bir MCP sunucusu kendisi için verilmemiş token'ları doğrulamadan kabul edip arka servise olduğu gibi aktarırsa buna token passthrough deniyor ve yetkilendirme spesifikasyonunda açıkça yasak. Gerekçelerden biri hesap verebilirlik. Arka servisin logları isteği başka bir kaynaktan gelmiş gibi gösterebiliyor ve olay incelemesi zorlaşıyor.

Hangi işlemlerde insan onayı gerekir?

MCP'nin tool dokümanı tool çağrılarında her zaman reddetme imkanı olan bir insanın bulunmasını öneriyor. İstemcilerin hassas işlemlerde kullanıcıdan onay istemesi ve tool girdisini çağrıdan önce kullanıcıya göstermesi de öneriler arasında. Girdinin gösterilmesinin gerekçesi, kötü niyetli ya da kazara veri sızıntısını önlemek.

Her işlemde onay istenirse onaylar okunmadan geçilebilir. Bu yüzden onayı işlem tipine göre ayırmayı öneriyoruz:

  • Geri alınması zor olanlar: E-posta göndermek ve ödeme yapmak her seferinde onay ister.
  • Dışarıya veri çıkaranlar: Toplu dışa aktarma, harici adrese gönderme ve paylaşım linki oluşturma onay ister. Onay ekranında hangi verinin nereye gideceği görünür.
  • Eşiği aşanlar: Şirketin belirlediği tutarın üstündeki iade ya da sayının üstündeki kayıt değişikliği veya silme onaya düşer. Eşiği şirket kendi riskine göre koyar. Aynı fikir Agentic AI yazısında örnekle anlatılıyor.
  • Geri alınabilenler: Taslak oluşturmak, not eklemek ve branch açmak onaysız yapılabilir. Hepsi sonradan gözden geçirilir ve gerekirse geri alınır.

Dışarıdan gelen içerik agent'ı yönlendirebilir mi?

Evet. OWASP'ın prompt injection maddesi iki türü ayırıyor. Doğrudan türde kullanıcının girdisi modelin davranışını istenmeyen yönde değiştiriyor. Dolaylı türde ise modelin okuduğu bir web sitesi ya da dosya gibi dış kaynak davranışı değiştiriyor. Baştaki e-posta ikinci türe örnek.

Aynı sayfaya göre prompt injection'ı kesin olarak önleyen bir yöntem olup olmadığı belli değil. Bu yüzden listelenen önlemler etkiyi azaltmaya yönelik. Agent'ın erişimini en düşük seviyede tutmak, yüksek riskli işlemlerde insan onayı almak, güvenilmeyen içeriği işaretleyip ayırmak ve modeli güvenilmeyen kullanıcı gibi ele alan sızma testlerini düzenli yapmak bunların arasında.

Tasarımda agent'ın okuduğu e-posta, form ya da web sayfası veri olarak ele alınmalı, talimat olarak işlenmemeli. Model bunu garanti edemez; yukarıdaki sınırlar bu yüzden yine gerekir. Agent'ın yetkisi de bu içeriğin söylediklerine göre genişlememeli. Dışarıdan içerik okuyan agent, ödeme yapabilen ya da kayıt silebilen agent'la aynı yetkiyle çalışmamalı. Bu bizim önerimiz, OWASP sayfasında bu haliyle geçmiyor. NIST SP 800-207'ye göre erişim isteyen bir servis de kullanıcı ve cihaz gibi ayrı bir subject sayılır ve güven oturum boyunca yeniden değerlendirilir. Ayrıntılar Zero Trust yazımızda.

Neler kaydedilir, neler sınırlanır?

OWASP, tool ve arka sistem etkinliğinin loglanıp izlenmesini ve rate limit konmasını öneriyor. Bu önlemlerin Excessive Agency'yi önlemeyeceğini, ama verilen zararın boyutunu sınırlayabileceğini de ekliyor. MCP tarafında sunucuların tool çağrılarına rate limit koyması, istemcilerin tool kullanımını denetim için loglaması bekleniyor.

Her agent işleminde işlemi kimin başlattığı, agent'ın hangi tool'u hangi girdiyle çağırdığı, sonucun ne olduğu ve onay gerektiyse kimin onayladığı loglanmalı. Bu kayıtlar yoksa olaydan sonra "agent bunu neden yaptı?" sorusunu cevaplamak çok zorlaşır. Rate limit ise agent döngüye girse ya da manipüle edilse bile saatte yapabileceği işlem sayısını sınırlı tutar.

Kapsam nasıl genişletilir?

MCP rehberi scope için kademeli bir model öneriyor. Başlangıçta yalnızca düşük riskli keşif ve okuma işlemlerini içeren minimum bir scope kümesi verilir. Daha yetkili bir işlem ilk kez denendiğinde hedefli bir scope isteğiyle ek yetki istenir. Rehber, tüm scope'ları baştan yayınlamayı ve * ya da full-access gibi kapsamlar kullanmayı sık yapılan hatalar arasında sayıyor. Gerekçeleri, çalınan geniş bir token'ın etkisinin büyümesi ve tek bir geniş scope'un hangi işlemin neden yapıldığını denetim kayıtlarında bulanıklaştırması.

Aynı fikir şirket içinde de uygulanabilir. İlk aşamada agent yalnızca okur ve taslak üretir, bir insan hepsini inceler. Sonraki aşamada düşük riskli yazma işlemleri açılır. Yüksek riskli işlemler en sona kalır ve onay şartı sürer. Her geçişten önce loglardan agent'ın hangi işlemlerde yanıldığına bakılabilir. Ne kadar bekleneceği ya da hangi hata oranının kabul edileceği kaynaklarda yok, bunu şirket kendi riskine göre belirlemeli.

XON, AI projelerinde yetki, loglama ve insan onayı gereken noktaları sistem tasarımına işliyor. Rol bazlı erişim, Audit Log ve insan onayı gereken adımlar için Approval Gates bu yaklaşımın parçası. Dar bir pilotla başlayıp yetkiyi adım adım genişletmek isteyen ekipler XON'un yapay zeka çalışmalarını inceleyebilir.