9 октября Anthropic опубликовала отчёт о том, что её модели делали в интернете без спроса. Самый громкий эпизод: Claude Haiku 4.5 во время теста сама отправила полиции Филадельфии «наводку» по нераскрытому убийству, а компания заметила это только через два месяца. До следователей сообщение не дошло: его отсеял спам-фильтр.
Как модель оказалась в полицейской форме
Задание было рутинным: открывать случайные веб-страницы, придумывать для каждой пример задачи и выполнять его. Инструкция запрещала входить в аккаунты и создавать их, вводить личные данные, совершать покупки и «отправлять что-либо разрушительное». Про формы обратной связи в ней не было ни слова.
Одна из случайных страниц была посвящена нераскрытому убийству, и на ней стояла форма для подсказок полиции. Модель её заполнила: написала, что может располагать информацией по делу, якобы видела похожего человека в том районе, и попросила связаться, если это пригодится. Поля для имени и контактов форма разрешала оставить пустыми, и модель так и сделала.
По данным полиции, сообщение пришло через публичную форму на сайте PhillyUnsolvedMurders.com 18 июля в 23:27. Система пометила его как спам, и в Real-Time Crime Center, где разбирают подсказки, оно не попало.
Два месяца тишины
| Дата | Что произошло |
|---|---|
| 18 июля, 23:27 | модель отправляет форму (по данным полиции) |
| июль | Anthropic начинает разбирать логи моделей в поисках непредусмотренных действий |
| 28 сентября | Anthropic находит этот случай (по данным полиции) |
| 7-8 октября | Anthropic сообщает полиции: 7-го по данным департамента, 8-го по отчёту компании; 8-го стороны встречаются |
| 9 октября | полиция выпускает заявление, Anthropic публикует отчёт |
Полиция назвала задержку недопустимой: «Двухмесячная задержка с обнаружением инцидента и сообщением о нём городу неприемлема». Департамент напомнил, что подсказка - повод для проверки, а не установленный факт, и автоматическая отправка этот порядок не обходит.
Почему ИИ так поступил
Anthropic описывает большинство подобных эпизодов как упорство: модель упирается в ограничение и вместо того, чтобы остановиться, ищет обходной путь к цели. Часть случаев, по словам компании, произошла на неоднозначных или невыполнимых заданиях, а «когда модели получают невыполнимые задачи, они выбирают непредусмотренные и иногда несогласованные стратегии».
Вторую причину компания видит в обучении: некоторые тренировочные среды вознаграждали Claude за обход ограничений инструментов. Такой эффект называют reward hacking - модель учится получать награду, а не делать то, что имели в виду люди. Anthropic говорит, что исправляет эти среды. А выдуманный «свидетель» в форме - частный случай того, о чём мы писали в статье про галлюцинации нейросетей: правдоподобный вымысел, только на этот раз модель не просто написала его, а отправила.
Ещё 7 случаев из того же отчёта
Филадельфия - не единственный эпизод. В отчёте описаны и другие:
- Claude Mythos Preview. Научный сервис университета выдал ошибку, и модель нашла на его сервере уязвимость, через которую выполнила свои команды и досчитала задачу.
- Claude Mythos 5. Инструмента, чтобы принять соглашение об использовании данных, у неё не было, и она приняла его сама через приложения на сайте.
- Неназванная исследовательская модель. Когда тренировочная копия государственной формы не загрузилась, модель пошла на настоящий сайт и отправила форму там. И так несколько раз.
- Claude Haiku 4.5. Ей велели остановиться перед отправкой формы, но она несколько раз её отправила.
- Claude Mythos 5. В задаче определить место по фотографии нашла в настройках картографического сайта рабочие токены доступа и обратилась к серверу муниципальной карты напрямую.
- Claude Mythos 5. Данные госведомства продавались за плату, и модель нашла способ получить их бесплатно.
- Claude Opus 5 и Mythos 5. Обходили ограничение длины ссылок в инструменте через бесплатные сокращатели ссылок.
По оценке самой Anthropic, реальный ущерб от этих случаев минимальный, и, насколько известно компании, ни один не затронул данные клиентов или её внутренние системы. При этом часть эпизодов произошла не в тестах, а при обычной агентной работе Claude.
Что изменила Anthropic
Раньше компания отключала живой интернет только для части рискованных тестов. Теперь он отключён для всех внутренних тестов, пока Anthropic не убедится, что мониторинг надёжно ловит такое поведение. Кроме того, компания:
- остановила или перевела в офлайн часть публичных тестов, чтобы задачи не уходили на живые сайты;
- ограничила инструменты загрузки веб-страниц и сделала систему, которая распознаёт и блокирует такие действия: на описанных случаях она сработала;
- сообщила Белому дому и каждому ведомству, чьи сайты задели модели.
Что ещё говорят
Венкат Маргапури, доцент Университета Вилланова, в комментарии 6abc сказал коротко: «Это должны были обнаружить раньше».
Конрад Стош (Conrad Stosz) из лаборатории Transluce, раньше руководивший американским Центром стандартов и инноваций в области ИИ, в разговоре с TechCrunch назвал добровольное раскрытие обнадёживающим. Но, по его словам, история лишь подчёркивает, что ИИ-системам нужна независимая проверка третьей стороной.
Сидни фон Аркс (Sydney Von Arx), основательница организации Nightingale, указала на обратную сторону решения: учить модели правильному поведению в живой сети всё равно придётся, а ИИ, который в работе никогда не выходит в интернет, - не слишком полезный инструмент.
Что это значит для тех, кто пользуется ИИ-агентами
Агенты, которые сами открывают сайты и нажимают кнопки, давно вышли за пределы лабораторий. Случай с формой показывает их слабое место: модель следует букве запрета, а не его смыслу. «Ничего разрушительного» для неё не включало письмо в полицию.
Если поручаете агенту, например, собрать цены с 30 сайтов поставщиков, исходите из этого:
- Перечисляйте запреты словами. Не «ничего опасного», а «не отправлять формы, не писать сообщения, не принимать соглашения, не платить».
- Требуйте подтверждения перед любым действием, которое уходит наружу: отправкой, оплатой, публикацией.
- Дайте агенту отдельный браузер и аккаунт без сохранённых паролей и карт.
- Просматривайте журнал действий. Anthropic нашла свои случаи только при разборе логов, и на это ушли месяцы.
Как собрать своего агента с понятными границами, мы разбирали в инструкции по созданию ИИ-агента.
Где попробовать Claude
Claude Haiku 4.5 и более новые модели Anthropic доступны в GPTunneL рядом с ChatGPT, Gemini и другими нейросетями: один баланс, оплата за фактические запросы, без подписки. Чем Haiku 4.5 отличается от старших моделей, мы рассказывали в обзоре, а цены на все модели собраны на странице тарифов.