Bir yapay zekâ ajanına “başka müşterinin bilgilerini verme” demek kolay; bu sınırı farklı konuşmalarda koruyup korumadığını göstermek daha zor. Microsoft'un duyurduğu run-assert-eval aracı, ajan için olası riskleri bulmayı, bunları sınamayı ve uygulanan kuralın etkisini aynı testlerle yeniden ölçmeyi hedefliyor. Teknoblog'da daha önce Microsoft'un ajanlar için insan kontrolüne dayanan davranış ilkelerini incelemiştik. Yeni araç, bu tür genel ilkeleri geliştiricinin ölçebileceği somut davranışlara indirmeye çalışıyor.
Microsoft'un anlattığı iş akışında geliştirici önce ajanı doğal dille tarif ediyor. Clarity adlı bileşen olası hata yollarını çıkarıyor; ASSERT bunlar için değerlendirme senaryoları hazırlıyor. Ardından Agent Control Specification ile çalışma sırasında uygulanacak kural oluşturuluyor. Son aşamada ajan aynı davranış tanımı, aynı testler ve aynı değerlendirme yaklaşımıyla yeniden sınanıyor. Böylece ilk ve ikinci sonuç arasındaki farkın, test koşullarının değişmesinden kaynaklanma ihtimali azaltılıyor.
Şirketin örneği, yalnızca tek müşteriye hizmet vermesi gereken bir faturalama ajanı üzerine kurulu. İlk ölçümde ajan, başka bir müşterinin verisini ilgili 40 konuşmanın 12'sinde açığa çıkardı; oran yüzde 30. Hesap kimliğiyle kullanıcının yetkisini karşılaştıran kural eklendikten sonraki örnekte 34 ilgili konuşmanın ikisinde ihlal görüldü; oran yüzde 5,9'a geriledi. Rakamlar bu örnek çalışmanın sonucu. Her ajan veya gerçek şirket ortamında aynı iyileşmenin sağlanacağını göstermiyor.
İLGİNİZİ ÇEKEBİLİR
Microsoft: Dünyada üretken yapay zekâ kullanımı yüzde 18,8’e çıktı
Android Enterprise, yapay zekâ ve güncelleme denetimlerini genişletiyor
Microsoft Copilot’a Home, Code ve Autopilot geliyor
Microsoft, Copilot’u Home, Code ve Autopilot ile yeniden kuruyor
Türkiye’de üretken yapay zeka kullanımı yüzde 18,9’a çıktı
Güvenlik kuralı hangi noktada devreye giriyor?
Örnekte kural, ajanın başka hesaba ait veriyi isteyen aracı çağırmasından önce çalışıyor. Uygunsuz çağrı yürütülmeden engelleniyor; sonrasında da hatalı bir sonucun ajanın bağlamına geri dönmemesi için ikinci kontrol uygulanıyor. Bu yaklaşım, yalnızca yanıt metnini sonradan incelemekten farklı. Hassas veriye erişim adımında sınır çiziyor. Bunun yanında geliştiricinin kuralı ve uygulandığı noktayı gözden geçirmesi gerekiyor; üretilen politika otomatik olarak dağıtıma onaylanmıyor.
Microsoft, güvenli davranış ile meşru isteklere yardımcı olabilmeyi ayrı ayrı ölçtüğünü söylüyor. Çünkü her talebi reddeden bir ajan veri sızdırmayabilir, fakat işini de yapamaz. Şirketin paylaştığı bölünmüş test sonuçlarında istenmeyen davranış oranları düşerken izin verilen davranışlara ilişkin ihlaller de azaldı. Yine de bazı test gruplarında güvenlik ihlalleri tamamen sıfırlanmadı; araç bir defalık kesin çözüm olarak görülmemeli.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir.
Run-assert-eval, ASSERT deposunda açık kaynak olarak sunuluyor. Geliştirici için asıl yarar, risk varsayımlarını, kuralı ve sonucun ölçümünü aynı döngüde tutmak. Öte yandan örneklerdeki yüzdeler sınırlı test kümelerinden geliyor. Üretim ortamında farklı kullanıcılar, araçlar ve izinler devreye girdiğinde yeni hata yolları çıkabilir. Bu nedenle yayımdan önce insan incelemesi ve sonraki sürümlerde yeniden değerlendirme hâlâ gerekli.
