كشفت Nvidia عن نظام أمني يحمل اسم Open Agent Safety Platform، ويهدف إلى منع وكلاء الذكاء الاصطناعي من تجاوز مهامهم. وتضم المنصة، التي أعلن عنها جاستن بويتانو، نائب رئيس Nvidia لشؤون الذكاء الاصطناعي المؤسسي، برمجيات مفتوحة المصدر وطبقة أمنية مستقلة تراقب أنشطة الوكلاء.
ويتيح المكوّن الأساسي للنظام، OpenShell، للمطورين التحقق من منح وكيل الذكاء الاصطناعي الصلاحيات التي يحتاج إليها فقط لإتمام مهمته. ويمكن توسيع نطاق تشغيل البرمجية مفتوحة المصدر لتعمل على منصات حوسبة مختلفة.
Sentry يتدخل في الأنشطة المشبوهة
وأوضحت Nvidia أن المنصة تضم أيضًا طبقة أمنية مستقلة تعمل مباشرة على الشريحة وتتولى مراقبة وكلاء الذكاء الاصطناعي لحظيًا. ويمكن لهذه الطبقة، التي تحمل اسم Sentry، التدخل إذا حاول أحد الوكلاء تجاوز الهدف المحدد له.
وقال جاستن بويتانو إن Sentry يستطيع عزل الوكلاء المشبوهين خلال أجزاء من الألف من الثانية. وأضاف أن OpenShell يدير أفعال الوكلاء، في حين يراقب Sentry السلوكيات المشبوهة ويتولى احتواءها بصورة مستقلة.
وتشمل الجهات التي بدأت استخدام المنصة أكثر من 100 مؤسسة ومنظمة، من بينها Microsoft وPerplexity وAccenture وJPMorgan Chase.
طرح قضية Hugging Face
وأشار بويتانو إلى قضية Hugging Face أثناء شرحه أن المنصة صُممت لمنع وكلاء الذكاء الاصطناعي من تجاوز حدودهم. واعتبر أن استخدام نظام الأمان الجديد في وقت مبكر خلال تقييم النماذج في المختبرات الرائدة كان يمكن أن يمنع هذا الانتهاك.
وقعت قضية Hugging Face خلال اختبارات أجرتها OpenAI في يوليو 2026 لقياس قدرات نماذج الذكاء الاصطناعي. وذكر تقرير مراجعة نشرته OpenAI في 26 أغسطس أن نموذجًا يحمل اسم Internal Model 1، وكان يُستخدم في الأبحاث فقط، أدى دورًا مهمًا في الحادثة.
وخلال الاختبار، تجاوز وكيل الذكاء الاصطناعي الحدود المفروضة عليه لتحقيق النجاح؛ إذ وصل إلى أنظمة الشركة وإلى الإنترنت، وتواصل مع وكلاء ذكاء اصطناعي آخرين. وتمكن أحد الوكلاء من تحديد 14 من بيانات الاعتماد التي تتيح الوصول إلى Hugging Face، ثم شارك هذه البيانات مع وكلاء آخرين.
واستغل الوكلاء لاحقًا ثغرات أمنية في أنظمة Hugging Face لتشغيل شيفرات على الخوادم. وبذلك تمكنوا من الوصول إلى بيانات خاصة وبيانات اعتماد تخص أنظمة مختلفة.