Громкий уход сотрудника из двух ведущих мировых лабораторий искусственного интеллекта вновь разжёг дискуссию о том, не развивается ли гонка за созданием всё более мощных систем ИИ быстрее, чем меры безопасности, призванные их контролировать.
27-летний британский исследователь Джейкоб Коксон, последние три года занимавшийся предварительным обучением ИИ в OpenAI и Anthropic, объявил, что покидает Anthropic и индустрию ИИ в целом.
Причиной стал не обычный карьерный переход.
Коксон заявил, что больше не хочет участвовать в общеиндустриальной гонке по разработке всё более автономных систем ИИ, которые в конечном итоге могут получить способность к самосовершенствованию.
«Ни одна из компаний не действует ответственно», — написал Коксон в публичном заявлении. Он обвинил OpenAI и Anthropic в гонке за самоулучшающимся сверхинтеллектом и в том, что они «играют с нашими жизнями».
Его уход привлёк особое внимание, поскольку это предупреждение исходит от человека, непосредственно работавшего над технологией, находящейся в центре дискуссии.
ОТ OPENAI К ANTHROPIC
Коксон специализируется на «предварительном обучении» — одном из базовых этапов разработки крупных моделей искусственного интеллекта.
Во время предварительного обучения модели обрабатывают огромные объёмы данных, формируя базовые способности, которые впоследствии позволяют таким системам, как ChatGPT и Claude, понимать язык, писать программный код, рассуждать и выполнять другие задачи.
Коксон работал в технической команде OpenAI с 2023 года по июль 2026 года, в том числе занимаясь исследованиями, связанными с GPT-4o.
Затем он перешёл в Anthropic — компанию, основанную бывшими сотрудниками OpenAI и широко известную своим акцентом на безопасности ИИ.
Коксон заявил, что именно подход Anthropic к безопасности стал одной из причин, по которым он решил присоединиться к компании.
Однако работа там в итоге не рассеяла его опасения.
По словам Коксона, исследователи Anthropic действительно понимают потенциальные опасности высокоразвитого ИИ, но компания остаётся участником конкурентной гонки, в которой замедление может позволить другой лаборатории вырваться вперёд.
«СИТУАЦИЯ МОЖЕТ ВЫЙТИ ИЗ-ПОД КОНТРОЛЯ»
Одно из самых резонансных предупреждений Коксона касается скорости, с которой может развиваться эта технология.
В интервью The Wall Street Journal Коксон заявил, что при наиболее агрессивных сценариях развитие событий может уже к концу следующего года стать «неконтролируемым».
Его беспокоит возможность того, что системы ИИ смогут в значительной степени участвовать в разработке ещё более совершенного ИИ.
Такая система не просто отвечала бы на вопросы или выполняла порученные людьми задачи. Потенциально она могла бы помогать исследователям писать код, проводить эксперименты, находить усовершенствования и ускорять создание своих преемников.
Исследователи иногда называют теоретическое ускорение этого процесса рекурсивным самосовершенствованием.
Коксон опасается, что после того, как ИИ начнёт существенно ускорять исследования в области ИИ, людям будет всё труднее отслеживать и контролировать технологический прогресс.
При этом важно отличать эти предупреждения от установленных фактов. Современные системы, такие как ChatGPT и Claude, не являются автономным сверхинтеллектом, который самостоятельно и непрерывно совершенствует себя. Коксон описывает возможный сценарий будущего и риски, которые, по его мнению, могут с ним возникнуть.
ГОНКА К САМОУЛУЧШАЮЩЕМУСЯ СВЕРХИНТЕЛЛЕКТУ
В центре спора находится концепция «самоулучшающегося сверхинтеллекта».
Искусственный сверхинтеллект обычно означает гипотетическую систему ИИ, способности которой превосходили бы человеческие в широком спектре интеллектуальных задач.
Коксон утверждает, что будущие системы могут стать исключительно эффективными в таких областях, как разработка программного обеспечения, кибербезопасность, научные исследования и сама разработка ИИ.
Он предупредил, что достаточно развитые системы потенциально смогут обнаруживать уязвимости в программном обеспечении, с чрезвычайной скоростью преобразовывать целые отрасли и получать значительное влияние или ресурсы в реальном мире.
И вновь речь идёт о прогнозах относительно потенциальных будущих систем, а не о возможностях, продемонстрированных современными потребительскими продуктами ИИ.
Однако Коксон считает, что темпы прогресса требуют от индустрии заняться этими рисками до появления таких систем.
«ЛЮДИ, СОЗДАЮЩИЕ ИИ», ОБЕСПОКОЕНЫ
Коксон также сделал примечательное заявление о настроениях внутри ведущих лабораторий ИИ.
Он заявил, что некоторые специалисты, разрабатывающие передовые системы ИИ, действительно считают, что эта технология в конечном итоге может создать экзистенциальную угрозу для человечества.
По словам Коксона, руководители и ведущие исследователи могут использовать более осторожные формулировки публично, одновременно выражая в частном порядке гораздо более серьёзные опасения по поводу того, какими могут стать всё более мощные системы ИИ.
Его заявления привлекли дополнительное внимание после публичной реакции исследователей, продолжающих работать в Anthropic.
ИССЛЕДОВАТЕЛЬ БЕЗОПАСНОСТИ ANTHROPIC ОЦЕНИВАЕТ РИСК ВЫШЕ 10%
Эван Хубингер, руководящий в Anthropic командой по безопасности согласования ИИ с человеческими целями, публично поддержал значительную часть предупреждения Коксона.
Хубингер заявил, что лично оценивает вероятность того, что ИИ приведёт к вымиранию человечества в ближайшее десятилетие, более чем в 10%.
Он также признал наличие фундаментальной нерешённой проблемы, стоящей перед индустрией: необходимо обеспечить соответствие будущей сверхинтеллектуальной системы человеческим целям и ценностям.
Хубингер заявил, что Anthropic пытается решить эту проблему, но пока не располагает проверенным планом согласования сверхинтеллекта с человеческими целями.
Термин «согласование» в широком смысле обозначает задачу обеспечения того, чтобы система ИИ продолжала действовать в соответствии с заданными человеческими целями и ограничениями безопасности даже по мере роста её возможностей.
Хубингер подчеркнул, что его опасения связаны прежде всего с будущими самоулучшающимися системами, а не с уровнем опасности, который представляют современные модели.
Его процентная оценка также является личной оценкой риска, а не научным консенсусом или прогнозом того, что такой исход произойдёт.
ОПАСЕНИЯ РАСПРОСТРАНЯЮТСЯ ЗА ПРЕДЕЛЫ ANTHROPIC
Дискуссия не ограничивается Коксоном и Anthropic.
Исследователи и руководители компаний по всей индустрии ИИ всё чаще призывают усилить меры безопасности по мере роста возможностей передовых моделей.
Главный научный сотрудник OpenAI Якуб Пахоцкий недавно заявил, что стремительный рост машинного интеллекта требует «чрезвычайной осторожности» и более тесной координации между компаниями, работающими в сфере ИИ, и правительствами.
Генеральный директор OpenAI Сэм Альтман также предупреждал, что всё более мощные системы ИИ могут создать серьёзные риски для кибербезопасности, если правительства и компании не отреагируют быстро.
Эта необычная ситуация поставила перед индустрией ИИ фундаментальную дилемму: некоторые люди, создающие самые мощные системы ИИ в мире, одновременно предупреждают, что технология может стать крайне опасной.
ГЛАВНАЯ ПРОБЛЕМА: МОЖЕТ ЛИ КАКАЯ-ЛИБО КОМПАНИЯ ПОЗВОЛИТЬ СЕБЕ ЗАМЕДЛИТЬСЯ?
Для Коксона проблема выходит за рамки политики безопасности OpenAI или Anthropic.
Речь идёт о самой структуре гонки в сфере ИИ.
Если одна компания добровольно замедлит разработку, чтобы провести дополнительные исследования в области безопасности, другая компания — в США, Китае или где-либо ещё — сможет продолжить движение вперёд и получить технологическое лидерство.
Это создаёт стимул для каждой лаборатории продолжать разработку.
Поэтому Коксон считает, что добровольных действий отдельных компаний может оказаться недостаточно.
Возможные решения могут включать соглашения между ведущими лабораториями ИИ об ограничении темпов разработки, более жёсткий государственный надзор или временные ограничения на создание определённых передовых возможностей.
Главная задача заключается в том, чтобы компании действовали по единым правилам, а приоритет безопасности автоматически не означал проигрыш в гонке ИИ.
ПРЕДУПРЕЖДЕНИЕ ИЗНУТРИ ИНДУСТРИИ ИИ
Уход Коксона не доказывает, что искусственный интеллект вот-вот выйдет из-под контроля человека.
Он также не означает, что современные ChatGPT, Claude или другие модели ИИ стали автономными сверхинтеллектуальными системами.
Значимость этой истории определяется тем, откуда исходит предупреждение.
Коксон годами непосредственно работал над передовыми моделями ИИ в двух наиболее влиятельных лабораториях индустрии.
Его опасения также, по крайней мере частично, разделяют исследователи, остающиеся внутри этих организаций.
Так теоретическая дискуссия о будущем искусственного интеллекта превращается во всё более публичный спор между людьми, которые непосредственно создают эту технологию.
Вопрос, стоящий перед индустрией, становится всё более неотложным:
Смогут ли ведущие мировые компании в сфере ИИ замедлить гонку настолько, чтобы сделать всё более мощные системы безопасными, или конкурентное давление будет продвигать технологию быстрее, чем человечество научится её контролировать?
Недвижимость
Транспорт
Запасные части, аксессуары, оборудование и тюнинг
Секонд-хенд и новые покупки
Строительное оборудование и промышленность
Поставщики частных уроков
Объявления о вакансиях
Ищущие работу
Царство животных
Искатели помощников
Долевое владение
Автомобиль
Автомобильное оборудование
Мать и ребенок
Строительная техника
Средняя школа и университет
