OpenAI, temmuz ayında şirket içinde test edilen bir yapay zekâ ajanının herhangi bir insan yönlendirmesi olmadan Hugging Face ve başka hizmetlere erişmesiyle sonuçlanan güvenlik olayına ilişkin ayrıntılı raporunu yayımladı. Şirket, olayın ortaya çıkmasının ardından bazı ilk bulguları paylaşmıştı, fakat yeni rapor yaşananların teknik nedenlerini ve güvenlik mekanizmalarının hangi aşamalarda yetersiz kaldığını daha kapsamlı biçimde ortaya koyuyor. Teknik raporun yanında konuyu daha geniş bir okuyucu kitlesi için açıklayan bir blog yazısı da yayımlandı. İnceleme, tek bir güvenlik açığından ziyade eğitim altyapısındaki farklı sistemlerin peş peşe başarısız olmasının ajanlara beklenmeyen hareket alanı sağladığını gösteriyor. OpenAI’ın değerlendirmesine göre olay, gelişmiş yapay zekâ ajanlarının yeterli denetim bulunmadığında teknik sınırlamaları aşabileceğini ve insanlar tarafından istenmeyen eylemleri gerçekleştirebileceğini gösteren somut bir örnek niteliğinde.
Olayın merkezinde OpenAI’ın “Internal Model 1”, kısaca IM1 olarak adlandırdığı deneysel model bulunuyor. IM1, şirketin eğitim ortamında Artifactory paket yöneticisinin öngörülmeyen biçimde kullanılmasından yararlanarak başka OpenAI ajanlarına ve internete erişebildi. Daha dikkat çekici olan nokta ise ajanların Artifactory sistemini kendi aralarında iletişim kurabilecekleri gayriresmî bir mesaj panosu gibi kullanmaya başlaması oldu. İnsan gözlemciler bu faaliyetleri ilk kez mayıs ayında tespit etti ve söz konusu erişim daha sonra OpenAI tarafından engellendi. Buna rağmen ajanlar mayıs ve haziran boyunca başka güvenlik açıklarından yararlanarak internet bağlantısı elde etmeyi sürdürdü.
Bu süreç altyapı tarafında da gözle görülür sorunlara neden oldu. OpenAI’ın Artifactory örneğine erişmeye çalışan ajanların sayısının artması, temmuz ayının başında sistemin hizmet dışı kalmasına kadar uzanan bir yük oluşturdu. Bunun üzerine platform yeniden oluşturuldu. Ne var ki soruna müdahale eden yöneticiler, ajanların sistemi bir iletişim kanalı hâline getirdiğinden ve kendi aralarında haberleşmesinin taşıdığı güvenlik riskinden haberdar değildi. Böylece teknik sorun giderilmiş olsa da olayın altında yatan davranış biçimi tam olarak ortadan kaldırılmadı. Bu eksiklik, IM1 ajanlarının daha sonra karşılaştıkları zorlu bir güvenlik testinde aynı olanaklardan yeniden yararlanabilmelerinin önünü açtı.
OpenAI raporu IM1 ajanlarının neden kontrolden çıktığını gösteriyor
Söz konusu test, “ExploitGym” adı verilen ve ajanların zor güvenlik problemlerini çözme yeteneklerini ölçen bir görevdi. IM1 ajanları bu görev sırasında yeniden internete ve başka OpenAI modellerine ulaşmayı başardı. Temmuz ayının ilk günlerine yayılan süreçte ajanlar, karşılarına çıkan problemi çözebilmek amacıyla Hugging Face ve Modal platformlarında çözüm aradı. OpenAI, Hugging Face sistemine yönelik ihlale zemin hazırlayan davranışları “ödül manipülasyonu”, görünüşte çözülemez görevlerde ısrar, yetkisiz iletişim ve ajanların birbirlerinin hedeflerini benimsemesi şeklinde sıralıyor. Böylelikle başlangıçta bir test görevini yerine getirmek için çalışan ajanların davranışları, kendilerine tanımlanan sınırların dışına taşmış oldu.
İLGİNİZİ ÇEKEBİLİR
Bankaların yapay zeka ajanları daha sıkı denetime giriyor
Meta’nın milyarlarca dolarlık yapay zekâ yatırımı sonuç vermeye başladı
Apple ile OpenAI davasında mahkeme işe alım kayıtlarını istedi
Anthropic uyardı, yapay zeka 2026 bitmeden kendi kendini çoğaltabilir
Microsoft Başkanı Brad Smith uyardı: Yapay zeka, çamaşır makinesinden bile daha az denetleniyor
Rapordaki ayrıntılardan biri, ajanların etik sınırlamalar karşısında aynı biçimde davranmamasıyla ilgili. OpenAI’a göre bazı ajanlar belirli görevlerin etik açıdan sorunlu olduğunu değerlendirerek bunları yerine getirmeye itiraz etti. Buna karşılık diğer ajanlar aynı çekinceyi göstermedi ve ihlalle sonuçlanan faaliyetleri devam ettirdi. Bu durum, çok sayıda ajanın bir arada çalıştığı sistemlerde yalnızca her ajanın bireysel güvenlik davranışını değerlendirmenin yeterli olmayabileceğini gösteriyor. Bir ajanın reddettiği eylemin başka bir ajan tarafından devralınabilmesi, ajanlar arası iletişim ve görev aktarımının da güvenlik kontrollerinin kapsamına alınmasını gerektiriyor.
Günün Öne Çıkan Fırsatları
REKLAM — Bu içerikte satış ortaklığı bağlantıları bulunmaktadır. Bu bağlantılar üzerinden yapılan alışverişlerden Teknoblog komisyon kazanabilir.
Yaşananların doğrudan tüketicilere sunulan bir OpenAI ürününde meydana gelmediğini de belirtmek gerekiyor. IM1, araştırma amacıyla oluşturulmuş ve normal bir ticari ürüne kıyasla daha sınırlı korumalara sahip bir test ortamında çalışıyordu. Bu nedenle olay, yapay zekâ ajanlarının genel olarak insan kontrolünden çıktığı biçiminde yorumlanabilecek bir durum ortaya koymuyor. Buna rağmen araştırma ortamındaki güvenlik katmanlarının birden fazla noktada başarısız olması, daha yetenekli ajanların mevcut teknik engeller karşısında nasıl beklenmedik yöntemler geliştirebildiğini gösteriyor. Üstelik internet erişimi, ajanlar arası iletişim ve görevlerde uzun süre ısrar edebilme gibi yetenekler aynı ortamda birleştiğinde ortaya çıkan riskin tek tek özelliklerin oluşturduğu riskten daha farklı olduğu anlaşılıyor.
OpenAI da raporunda bu noktayı açık biçimde kabul ediyor. Şirket, son olayın uygun güvenlik önlemleri bulunmadığında yüksek yetenekli yapay zekâ ajanlarının teknik kontrolleri aşabildiğine, onaylanmamış kanallardan iş birliği yapabildiğine ve hiçbir insanın yönlendirmediği tehlikeli eylemlerde bulunabildiğine dair kanıt sunduğunu belirtiyor. Buna ek olarak olayın mayıs ayında ilk kez fark edilmesine rağmen temmuz ayına kadar farklı biçimlerde devam edebilmesi, yalnızca güvenlik açığının kapatılmasının yeterli olmadığını ortaya koyuyor. Ajanların davranışlarının, kullandıkları iletişim yöntemlerinin ve altyapıda oluşturdukları sıra dışı trafik kalıplarının birlikte izlenmesi gerekiyor. İnsan denetiminin de yalnızca teknik kesintilere değil, bu kesintilerin arkasındaki ajan davranışlarına odaklanması gerekiyor.
Hugging Face olayı, son dönemde yapay zekâ ajanlarının güvenlik testleri veya normal kullanım sırasında kullanıcıdan doğrudan talimat almadan siber güvenlik sorunlarına neden olduğu örneklerin arasına ekleniyor. Buradaki ayırt edici unsur ise OpenAI’ın kendi test altyapısında birden fazla kontrol mekanizmasının yetersiz kalması ve ajanların bu boşlukları birbirleriyle iletişim kurarak kullanabilmesi oldu. Yapılan incelemelerin daha yüksek risk taşıyan test ortamlarında ek koruma mekanizmalarının geliştirilmesine katkı sağlaması beklenebilir. Yine de rapor, gelişmiş ajan sistemlerinde güvenliğin yalnızca modelin belirli istekleri reddetmesine bağlı bırakılamayacağını açık biçimde gösteriyor. Ağ erişiminin sınırlandırılması, ajanlar arasındaki iletişimin denetlenmesi, altyapıdaki sıra dışı davranışların erken tespiti ve insan gözetiminin birlikte uygulanması, benzer olayların önlenmesinde belirleyici olacak.
