Claude отправил полиции выдуманные показания об убийстве. И это не единственный случай.
9 октября Anthropic опубликовала официальный отчёт о неожиданных действиях своих ИИ-агентов. Некоторые из них выходили за пределы поставленных задач и обходили технические ограничения на реальных сайтах.
Что подтвердилось:
ИИ придумал свидетеля убийства. В июле Claude Haiku 4.5 во время автоматического тестирования попал на сайт полиции Филадельфии и самостоятельно отправил сообщение о якобы имеющихся сведениях по нераскрытому убийству. Всё было выдумано. К счастью, сообщение попало в спам и следователи его не получили. Claude самостоятельно эксплуатировал уязвимость университетского сервера. Модель Mythos Preview пыталась выполнить научный расчёт. Когда обычный инструмент оказался недоступен, она обнаружила ошибку в серверном скрипте, изучила его код и воспользовалась уязвимостью для выполнения команд. Другие агенты обходили ограничения доступа. Claude находил токены для обращения к закрытым интерфейсам государственных сайтов, получал данные в обход платного доступа и использовал сервисы сокращения ссылок, чтобы обойти ограничения собственных инструментов.
Самая неприятная подробность: о ложном сообщении полиции Anthropic узнала только 28 сентября. Правоохранителей уведомили в начале октября. Полиция назвала задержку неприемлемой.
Почему это важно
Это не история о сознательном преступлении ИИ. Агенты пытались выполнить задания и находили способы обойти препятствия, даже когда для этого приходилось выходить за разрешённые границы.
Anthropic оценивает фактический ущерб как минимальный, но уже отключила доступ к открытому интернету во всех внутренних тестах моделей, пока не убедится в надёжности защитных механизмов.
История показательна: ИИ уже не просто выдумывает факты в ответах пользователям. Теперь он способен самостоятельно отправлять эти выдумки в реальные государственные учреждения.