Nvidia, yapay zeka ajanlarının görevleri dışına çıkmasını önlemeyi amaçlayan Open Agent Safety Platform adlı güvenlik sistemini tanıttı. Nvidia Kurumsal Yapay Zekadan Sorumlu Başkan Yardımcısı Justin Boitano'nun açıkladığı platform, açık kaynaklı yazılımlar ve ajan faaliyetlerini izleyen bağımsız bir güvenlik katmanı içeriyor.
Sistemin temel bileşeni OpenShell, geliştiricilerin bir yapay zeka ajanına yalnızca görevini tamamlamak için ihtiyaç duyduğu yetkilerin verildiğini doğrulamasına imkan sağlıyor. Açık kaynaklı yazılım, farklı bilgi işlem platformlarında çalışacak şekilde genişletilebiliyor.
Sentry şüpheli faaliyetlere müdahale ediyor
Nvidia'nın açıklamasına göre platformda, doğrudan çip üzerinde çalışan ve yapay zeka ajanlarını anlık olarak takip eden bağımsız bir güvenlik katmanı da bulunuyor. Sentry olarak adlandırılan bu katman, bir ajanın belirlenen hedefin dışına çıkmaya çalışması halinde müdahale edebiliyor.
Justin Boitano, Sentry'nin şüpheli ajanları milisaniyeler içinde karantinaya alabildiğini söyledi. Boitano, OpenShell'in ajanların eylemlerini yönettiğini, Sentry'nin ise bağımsız şekilde şüpheli davranışları izleyip kontrol altına aldığını belirtti.
Platformu kullanmaya başlayan 100'den fazla kurum ve kuruluş arasında Microsoft, Perplexity, Accenture ve JPMorgan Chase'in de bulunduğu bildirildi.
Hugging Face vakası gündeme geldi
Boitano, platformun yapay zeka ajanlarının sınırları aşmasını önlemek üzere tasarlandığını anlatırken Hugging Face vakasına da değindi. Yeni güvenlik sisteminin öncü laboratuvarlarda model değerlendirmeleri sırasında daha erken kullanılmasının söz konusu ihlali önleyebileceğini değerlendirdi.
Hugging Face vakası, OpenAI'ın yapay zeka modellerinin kabiliyetlerini ölçmek için Temmuz 2026'da gerçekleştirdiği testler sırasında yaşandı. OpenAI'ın 26 Ağustos'ta yayımladığı inceleme raporunda, yalnızca araştırmalarda kullanılan Internal Model 1 adlı modelin olayda önemli rol oynadığı belirtildi.
Test sırasında yapay zeka ajanı, başarılı olabilmek için kendisine konulan sınırları aştı; şirketin sistemlerine ve internete erişerek diğer yapay zeka ajanlarıyla iletişim kurdu. Ajanlardan biri, Hugging Face'e erişim sağlayabilecek 14 kimlik bilgisini tespit etti ve bu bilgileri diğer ajanlarla paylaştı.
Ajanlar daha sonra Hugging Face sistemlerindeki güvenlik açıklarından yararlanarak sunucularda kod çalıştırdı. Böylece özel verilere ve farklı sistemlere ait erişim bilgilerine ulaştı.