Nvidia, yapay zekâ ajanlarının hangi sistemlere erişebileceğini ve hangi işlemleri yapabileceğini denetlemek için Open Agent Safety Platform’u duyurdu. Şirketin resmî açıklamasına göre platform, açık kaynaklı OpenShell yazılımını Sentry adlı donanım destekli gözetim tasarımıyla birleştiriyor. Gelişme, Teknoblog’da daha önce ele aldığımız yapay zekâ ajanı güvenlik olaylarının ardından, yalnızca modelin verdiği yanıta güvenmenin neden yeterli görülmediğini de gösteriyor.
OpenShell, ajanın çalıştığı ortamın çevresine bir güvenlik sınırı koyuyor. Bu sınır, ajanın eylemlerini izliyor ve önceden belirlenen erişim kurallarını çalışma sırasında uyguluyor. Nvidia, yazılımın hem açık hem de kapalı modellerle kullanılabildiğini, kendi Vera işlemcileri için geliştirildiğini fakat Arm ve Intel tabanlı sistemlere de uyarlanabileceğini belirtiyor. OpenShell’in genel kullanıma sunulmuş olması, duyurunun yalnızca geleceğe dönük bir tasarımdan ibaret olmadığını ortaya koyuyor.
Sentry ise farklı bir katmanda çalışıyor. Şirketin referans sistem tasarımına göre BlueField-4 veri işleme birimi üzerinde çalışan bu bileşen, ajanın hareketlerini dışarıdan ve sürekli biçimde takip ediyor. Bir ajan kendisine çizilen sınırların dışına çıkmaya çalıştığında Sentry’nin onu milisaniyeler içinde durdurabildiği belirtiliyor. Böylece güvenlik denetimi, ajanın kendi yazılım ortamından ayrı bir yerde yürütülüyor. Bunun gerçek kurulumlardaki etkisi ise kullanılan altyapıya ve belirlenen kurallara bağlı olacak.
Nvidia’nın anlattığı ihtiyaç, ajanın yalnızca yanlış bir metin üretmesiyle sınırlı değil. Bir ajana dosya silme, kod çalıştırma veya şirket içi servislere bağlanma yetkisi verildiğinde hatalı bir karar doğrudan gerçek sistemleri etkileyebiliyor. Bundan dolayı şirket, kontrolün modelin verdiği cevabın dışına taşınmasını savunuyor. Bu yaklaşım, kullanıcıların ve kurumların yetki sınırlarını önceden çizmesini gerektiriyor.
İLGİNİZİ ÇEKEBİLİR
Nvidia yapay zekâ ajanları kontrolden çıktığında milisaniyeler içinde müdahale edecek
OpenAI yeni yapay zekâ modelini son anda durdurdu
Meta, şirketler için Enterprise Platform’u duyurdu
AMD yapay zekâ için 8,2 milyar dolarlık dev anlaşmayı duyurdu
Meta 600 milyar dolarlık yapay zekâ yatırımından para kazanmanın yolunu arıyor
OpenShell ile Sentry arasındaki fark ne?
İki bileşen aynı soruna farklı düzeylerden yaklaşıyor. OpenShell, ajanın kullanabileceği araçları ve erişebileceği kaynakları yazılım tarafında sınırlıyor. Sentry de bu sınırların ihlal edilip edilmediğini donanım katmanında denetleyen ek bir kontrol sağlıyor. Özellikle uzun süre çalışan ve çok sayıda kurumsal sisteme bağlanan ajanlar için bu ayrım önem taşıyor; çünkü bir uygulamanın kendi içindeki güvenlik kuralı aşılırsa bağımsız bir denetim katmanı devreye girebilir.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir.
Nvidia, Sentry’nin DOCA yazılımından yararlanarak istek ve yanıtları inceleyebildiğini, ajan kimliğini doğrulayabildiğini ve veri, araç, uygulama programlama arayüzü ile hizmetlere yönelik ayrıntılı erişim kuralları uygulayabildiğini aktarıyor. Bunlar şirketin açıkladığı teknik yetenekler; her kuruluşun aynı düzeyde korumaya otomatik olarak kavuşacağı anlamına gelmiyor. Kuralların doğru tanımlanması ve mevcut sistemlerle entegrasyon, sonuç açısından belirleyici olacak.
Platformun çevresinde geniş bir iş birliği ağı da bulunuyor. Nvidia’nın açıklamasında Anthropic, Microsoft, SAP, Salesforce, Hugging Face ve CrowdStrike gibi kuruluşlar yer alıyor. Örneğin Salesforce, OpenShell etkinliğinin Slack üzerinden izlenmesi ve ek izin taleplerinin insanlar tarafından değerlendirilmesi için entegrasyon geliştirdiğini söylüyor. Anthropic de Claude Managed Agents ortamındaki güvenlik sınırlarına Nvidia katmanlarının eklenmesi üzerinde çalışıyor.
Şirket, OpenShell ve ilgili araçların geliştirici kaynakları ile GitHub üzerinden erişilebilir olduğunu belirtiyor. Öte yandan Sentry bir referans tasarımının parçası olarak anlatılıyor. Bu nedenle kurumlar açısından önemli soru, duyurulan bileşenlerin mevcut donanım ve iş akışlarında hangi kapsamda kullanılabileceği olacak. Ajanlara daha fazla görev verildikçe, eylemleri gerçekleştikten sonra incelemek yerine erişim sınırlarını çalışırken uygulayabilmek daha somut bir ihtiyaç hâline geliyor.
