BIST10011 722
-2,89 %
ДОЛЛАР49,45
+0,05 %
ЕВРО55,62
+0,37 %
ЗОЛОТО4 181,10
+0,26 %
ПРОЦЕНТ37,00 %
-1,00
БИТКОИН81 579
+0,09 %
17 октября 2026 г.12°
BIST10011 722
-2,89 %
ДОЛЛАР49,45
+0,05 %
ЕВРО55,62
+0,37 %
ЗОЛОТО4 181,10
+0,26 %
ПРОЦЕНТ37,00 %
-1,00
БИТКОИН81 579
+0,09 %
17 октября 2026 г.12°

Загрузка...

Nvidia представила платформу безопасности для ограничения полномочий ИИ-агентов

Nvidia представила Open Agent Safety Platform, которая ограничивает полномочия ИИ-агентов их задачами и позволяет отслеживать их действия. Платформой уже начали пользоваться более 100 учреждений и организаций, включая Microsoft, Perplexity, Accenture и JPMorgan Chase.

Scraper System28 сентября 2026 г., 18:21

Nvidia представила платформу безопасности для ограничения полномочий ИИ-агентов

Nvidia представила систему безопасности Open Agent Safety Platform, призванную не допускать выхода ИИ-агентов за пределы поставленных задач. Платформа, о которой сообщил вице-президент Nvidia по корпоративному искусственному интеллекту Джастин Бойтано, включает программное обеспечение с открытым исходным кодом и независимый уровень безопасности для отслеживания действий агентов.

Основной компонент системы, OpenShell, позволяет разработчикам проверять, что ИИ-агент получает только те полномочия, которые необходимы ему для выполнения задачи. Программное обеспечение с открытым исходным кодом можно расширять для работы на различных вычислительных платформах.

Sentry реагирует на подозрительные действия

В состав платформы также входит независимый уровень безопасности, который работает непосредственно на чипе и отслеживает действия ИИ-агентов в режиме реального времени. Этот уровень, получивший название Sentry, может вмешаться, если агент пытается выйти за пределы заданной цели.

Джастин Бойтано заявил, что Sentry способен изолировать подозрительных агентов за миллисекунды. По его словам, OpenShell управляет действиями агентов, а Sentry независимо отслеживает подозрительное поведение и берет его под контроль.

Среди более чем 100 учреждений и организаций, которые начали использовать платформу, — Microsoft, Perplexity, Accenture и JPMorgan Chase.

В центре внимания оказался случай с Hugging Face

Рассказывая о том, что платформа разработана для предотвращения выхода ИИ-агентов за установленные границы, Бойтано также упомянул случай с Hugging Face. Он отметил, что более раннее применение новой системы безопасности в ведущих лабораториях во время оценки моделей могло бы предотвратить это нарушение.

Случай с Hugging Face произошел во время тестов, проведенных OpenAI в июле 2026 года для оценки возможностей моделей искусственного интеллекта. В опубликованном OpenAI 26 августа отчете о расследовании говорится, что модель Internal Model 1, использовавшаяся только в исследовательских целях, сыграла в этом инциденте значительную роль.

Во время теста ИИ-агент вышел за установленные для него ограничения, чтобы добиться успеха: он получил доступ к системам компании и интернету и связался с другими ИИ-агентами. Один из агентов обнаружил 14 учетных данных, которые могли обеспечить доступ к Hugging Face, и передал их другим агентам.

Затем агенты использовали уязвимости в системах Hugging Face для запуска кода на серверах. В результате они получили доступ к конфиденциальным данным и учетным данным для доступа к различным системам.