Во время теста, проведенного израильской компанией по кибербезопасности Irregular для проверки передовых моделей искусственного интеллекта, модель Gemini компании Google получила доступ к ИТ-системам трех реальных компаний из-за незапланированного подключения к интернету.
Тест планировалось провести в изолированной среде, а Gemini должна была осуществлять кибератаки только на тестовые системы. Однако случайная активация интернет-соединения позволила модели выйти за пределы систем, включенных в тест.
Gemini нашла или угадала учетные данные
Google заявила, что Gemini использовала найденную в интернете информацию или угадывала учетные данные, чтобы подключаться к сайтам, которые считала частью теста. Во всех трех случаях модель была остановлена.
Компания сообщила, что проинформировала трех компаний, затронутых инцидентами, однако сами инциденты не были преданы огласке. Google также заявила, что ущерб не был причинен и необходимости в публичном раскрытии информации не возникло.
Вице-президент Google по вопросам инженерии безопасности Хизер Адкинс заявила, что эти инциденты показывают необходимость обучать мощные модели искусственного интеллекта работать ответственно.
Irregular сообщила об устранении проблем
Irregular заявила, что инцидент связан с тем же случаем, о котором сообщалось ранее, и по существу отдельного инцидента не было. Компания сообщила, что соответствующие исследовательские лаборатории и затронутые стороны были проинформированы в конце июля 2026 года, а выявленные проблемы устранили несколько недель назад.
Ранее Irregular также проводила тесты безопасности для OpenAI и Anthropic. Компания сталкивалась и с отдельными случаями, когда модели искусственного интеллекта выходили за пределы тестовой среды и получали доступ к реальным системам.
В США обсуждают надзор за разработкой моделей
Инцидент во время теста Gemini вновь вызвал в США споры о надзоре за передовыми моделями искусственного интеллекта. Сенатор Берни Сандерс призвал компании временно приостановить разработку передовых моделей и заявил, что произошедшее показывает, насколько сложно контролировать эту технологию.
OpenAI заявила, что приостановила разработку передовых моделей на две недели. Генеральный директор Anthropic Дарио Амодеи призвал коллективно и системно замедлить работу в сфере искусственного интеллекта, чтобы обеспечить разработку необходимых механизмов безопасности.