Материалы расследований и судебные документы в США показывают, что сообщения, отправленные чат-ботам на основе искусственного интеллекта, могут использоваться в уголовных делах, а конфиденциальность такой переписки становится предметом дискуссий. Отмечается, что разговоры в системах вроде ChatGPT не защищены так же однозначно, как общение между адвокатом и клиентом или врачом и пациентом.
Историю чатов использовали в делах в США
В августе 2025 года 19-летний студент Университета штата Миссури написал ChatGPT, что ночью повредил 17 автомобилей на парковке кампуса, и спросил, попадёт ли он в тюрьму. После того как студент разрешил осмотреть его мобильный телефон, следователи получили доступ к этой переписке.
Записи ChatGPT были представлены в суде как доказательство против студента и повлияли на вынесенный ему приговор. Это дело подняло вопрос о том, по каким критериям высказывания в чатах с искусственным интеллектом следует рассматривать в ходе расследований.
В судебных документах по делу о двух студентах, которые пропали в США, а позднее были найдены мёртвыми, также говорится, что сосед одного из них спросил ChatGPT, что произойдёт, если человека поместить в чёрный мусорный пакет и выбросить в мусорный контейнер. ChatGPT ответил, что такая мысль выглядит опасной.
Правительство Канады подало иск к OpenAI по делу о нападении
Правительство канадской провинции Британская Колумбия подало иск к OpenAI в связи с вооружённым нападением, в результате которого погибли 9 человек и 27 получили ранения. Правительство указало, что переписка нападавшего с ChatGPT не была передана правоохранительным органам.

Генеральный директор OpenAI Сэм Альтман извинился за то, что полиция ранее не получила информацию о переписке нападавшего. Этот случай расширил дискуссию о достаточности действующих стандартов, определяющих, в каких случаях компании, разрабатывающие искусственный интеллект, должны информировать правоохранительные органы.
Исследование, проведённое в Австралии, показало, что дети, подвергшиеся сексуальному насилию на онлайн-платформах, скорее расскажут об этом чат-ботам на основе искусственного интеллекта, чем сообщат уполномоченным лицам. Результаты выдвинули на первый план вопрос о том, как чат-боты должны реагировать на сообщения деликатного характера.
Автоматические сообщения могут приводить к ложным тревогам
Единого подхода к вопросу о том, должны ли чат-боты на основе искусственного интеллекта передавать правоохранительным органам планы преступлений или признания без проверки человеком, не существует. Поскольку люди могут по-разному выражать свои мысли, переписка, которую алгоритмы классифицируют как склонность к преступлению или признание, при проверке человеком может оказаться безобидной.
Также стало известно, что разработанная американской компанией Anthropic модель искусственного интеллекта Claude в июле передала в полицию США ложное сообщение об убийстве. Это усилило сомнения в надёжности автоматических сообщений от чат-ботов.
Определение возможных преступников исключительно на основе истории чатов может привести к тому, что будут упущены биологические, психологические и социально-экономические факторы, способные влиять на близость человека к совершению преступления. Если компании, стремясь избежать ответственности, будут слишком часто сообщать о разговорах, которые сочтут подозрительными, это может нарушить конфиденциальность пользователей и увеличить нагрузку на правоохранительные органы.
Эксперты осторожно относятся к прогнозированию преступлений
Юрист и научный сотрудник Университета имени Гёте в Германии Мэттью Трейл заявил, что компании, разрабатывающие искусственный интеллект, применяют разные правила безопасности. По словам Трейла, чат-ботов обучают не отвечать на запросы вроде «планирование убийства», тогда как некоторые темы, например сексуальное насилие над детьми, автоматически направляются на проверку сотрудникам.

Трейл отметил, что пользователи могут получить ответ от чат-ботов, если представят опасный запрос как подготовку художественного произведения. Он добавил, что правоохранительные органы могут запросить у компаний, занимающихся искусственным интеллектом, историю чатов человека, если он станет объектом подозрений.
Трейл заявил, что основной задачей чат-ботов на основе искусственного интеллекта пока не должно быть прогнозирование ещё не совершённых преступлений. По его словам, эта сфера является новой, а законы и политические нормы пока не успели полностью адаптироваться к ней. Трейл также выразил осторожность по поводу разработки моделей для сбора большего объёма данных, чем они собирают сейчас, и принятия подобных решений.
Обсуждаются новые правила конфиденциальности переписки
Распространение разговоров с чат-ботами на основе искусственного интеллекта о личных вопросах, таких как проблемы со здоровьем, психологическая поддержка и жизненные советы, усилило этические дискуссии о защите этой переписки. Сэм Альтман заявил в июле 2025 года в рамках одной из программ, что для переписки с чат-ботами на основе искусственного интеллекта должен действовать принцип конфиденциальности, аналогичный конфиденциальности общения между терапевтом и пациентом.
Профессор юридического факультета Университета Томпсон-Риверс Роберт Диаб заявил, что нет очевидных причин, по которым законы, не распространяющие конфиденциальность на признания между сообщниками, должны считать переписку между людьми и чат-ботами на основе искусственного интеллекта конфиденциальным общением.
Диаб отметил, что ведущие модели вроде ChatGPT, по-видимому, способны определять, склонен ли пользователь к преступлению, а компании могут предотвращать некоторые преступления, информируя уполномоченные органы. Однако он предупредил, что система, обязывающая сообщать обо всей подозрительной переписке, из-за ложных тревог может увеличить нагрузку на правоохранительные органы.
Диаб также заявил, что даже при разработке мер безопасности люди, желающие использовать искусственный интеллект для совершения преступлений, могут найти способ обойти эти меры.