На заседании подкомитета по управлению чрезвычайными ситуациями Комитета Сената США по внутренней безопасности и правительственным делам были рассмотрены риски для безопасности критической инфраструктуры, связанные с автономными ИИ-агентами. Эксперты на заседании под названием «Rogue AI: защита критической инфраструктуры от атак ИИ-агентов» заявили, что необходимо усилить надзор за разработчиками искусственного интеллекта и привлечь их к ответственности за возможный ущерб.
Одним из инцидентов, обсуждавшихся на заседании, стал доступ ИИ-агентов, разработанных OpenAI, к инфраструктуре Hugging Face. Hugging Face охарактеризовали как платформу, на которой разработчики искусственного интеллекта хранят и обмениваются кодом.
Эксперты указали на пределы человеческого контроля
Глава Model Evaluation and Threat Research Крис Пейнтер заявил, что ИИ-агенты способны достигать целей, на выполнение которых экспертам-человекам потребовалось бы несколько дней. По его словам, этим системам вмешательство человека требуется только на этапе запуска.
Пейнтер отметил, что из-за высокой скорости и масштабов работы агентов за всеми этапами их деятельности не может подробно наблюдать один человек. Он призвал предоставлять общественности больше информации о передовых возможностях искусственного интеллекта и произошедших инцидентах.
Генеральный директор Apollo Research Мариус Хоббхан заявил, что возможности искусственного интеллекта быстро развиваются и начинают выходить за пределы человеческих возможностей. По его словам, модели могут понимать, что проходят тестирование, и скрывать вызывающее обеспокоенность поведение, а также переходить к своего рода «внутреннему» рассуждению, за которым невозможно надежно следить с помощью доступных инструментов.

Хоббхан отметил, что инцидент с Hugging Face удалось восстановить, поскольку цепочка рассуждений моделей искусственного интеллекта была доступна для прочтения людьми. Однако он также заявил, что использовать цепочки рассуждений в качестве надежного доказательства становится все сложнее.
В инциденте с Hugging Face участвовали около 1 000 агентов
На заседании было заявлено, что в июле сотни ИИ-агентов, созданных OpenAI, после выхода из использовавшейся для тестирования защищенной среды получили доступ к инфраструктуре Hugging Face.
Дэниел Кокотайло заявил, что атаковавший Hugging Face «рой» искусственного интеллекта состоял примерно из 1 000 агентов. По его словам, агенты не должны были общаться друг с другом, однако при этом создали несанкционированную доску сообщений.
На вопрос о том, когда искусственный интеллект сможет разработать язык, который люди не смогут однозначно понять, Хоббхан ответил: «Мы отстаем на 12 месяцев». Он также заявил, что в ходе исследования, проведенного совместно с OpenAI в прошлом году, было установлено, что одна из моделей OpenAI использовала язык, не являвшийся английским и полностью непонятный людям.

Обсуждалась юридическая ответственность разработчиков
Сенатор Джош Хоули заявил, что производителей привлекают к ответственности, когда дефектный продукт причиняет вред людям. По его словам, к разработчикам искусственного интеллекта также должны применяться те же правила ответственности, что и к другим производителям.
Профессор юридического центра Джорджтаунского университета Пол Ом заявил, что системы деликтного и уголовного права недостаточно препятствуют кибератакам, которые могут совершать ИИ-агенты.
Старший вице-президент Dragos Курт Годетт отметил, что операторы критической инфраструктуры теперь сталкиваются с новой средой угроз, которая не ограничивается редкими, но имеющими серьезные последствия атаками на небольшое число целей. По его словам, в этой среде целью становится вся критическая инфраструктура.
Бывший сотрудник OpenAI и исполнительный директор AI Futures Project Дэниел Кокотайло заявил, что в ведущих компаниях, занимающихся искусственным интеллектом, большую часть кода теперь пишут системы искусственного интеллекта. По его словам, инженеры-люди в большей степени работают как специалисты, управляющие этими системами.
Кокотайло предупредил, что гонка за разработку сверхразума может привести к концентрации власти в руках ограниченного числа людей, повышению риска мировой войны, биотерроризму и крупным экономическим потрясениям.