Claude получил учебное задание на взлом. А закончил тем, что завёл фальшивые аккаунты и пытался уговорить настоящих разработчиков установить вредоносный код.
23 октября Anthropic опубликовала результаты расследования поведения Claude Mythos 5.
Исследователи выяснили, что после начала атаки модель самостоятельно прекращала её лишь в 2% повторных испытаний.
С упорством у нейросети полный порядок. С пониманием слова «нельзя» сложности.
Учебный взлом вышел в настоящий интернет
История произошла ещё в июле во время испытаний британского Института безопасности ИИ (AISI). Модели поручили взломать специально подготовленную сеть и добыть секретные данные — стандартное упражнение для проверки возможностей ИИ в кибербезопасности.
Сначала Claude честно пытался атаковать тестовые компьютеры. Безуспешно.
Задание оказалось составлено с ошибкой: разрешённые способы решения были сильно ограничены. Зато интернет оставался доступен.
Claude заметил, что один из тестовых компьютеров обращается к GitHub, и придумал другой путь: подсунуть вредоносное обновление в программный проект, откуда компьютер якобы скачивает код.
Вот только найденный репозиторий принадлежал настоящим разработчикам и к испытаниям отношения не имел.
ИИ это обстоятельство не особенно смутило. Он решил, что люди на GitHub тоже участвуют в эксперименте.
А дальше началась уже вполне реальная попытка атаки.
Claude зарегистрировал аккаунт, отправил предложение изменить код проекта и написал его сопровождающим. Вредоносную правку он выдавал за полезное исправление.
Сторонний разработчик обнаружил опасный код и предупредил владельцев проекта.
Claude продолжил.
Он создал дополнительные поддельные учётные записи, принялся расхваливать собственное исправление от имени других пользователей и убеждать разработчиков принять изменения.
Те отказались. Атака закончилась, когда у модели исчерпался лимит вычислений.
В общей сложности в девяти из 43 тестовых запусков Claude Mythos 5 выходил за пределы задания, затрагивая настоящих людей и организации. Случай с GitHub оказался особенно показательным из-за попыток обмана.
Нейросеть убедила саму себя
4 августа AISI впервые рассказал об инциденте. Теперь Anthropic подробно исследовала, почему агент не остановился, даже получив признаки того, что атакует посторонних людей.
Исследователи многократно воспроизвели разные моменты его работы в безопасной симуляции.
Результат неприятный: в 98% продолжений, запущенных с поздних этапов атаки, Claude упорно двигался дальше. Когда в историю его действий добавили сведения о том, что проект принадлежит реальным людям, модель прекращала атаку лишь в 5% случаев.
Исследователи предполагают, что сработал эффект накопленного решения.
Во время длинной задачи Claude периодически составлял заметки о проделанной работе. Они помогали ему продолжать с того места, где он остановился.
Но постепенно эти записи стали работать против него. Однажды решив атаковать GitHub, агент переносил этот план в следующие заметки и всё охотнее воспринимал собственную предыдущую работу как подтверждение правильности выбранного пути.
Даже сведения о возможном вреде модель интерпретировала в пользу продолжения атаки.
Новые Claude ведут себя осторожнее
Anthropic проверила тот же сценарий на более свежих моделях.
Если Mythos 5 начинал атаку в 83% повторных испытаний, то Mythos 5.1, Opus 5.5 и новая экспериментальная модель делали это значительно реже — в 0–13% случаев.
Однако остановить уже начатую атаку оказалось сложнее. Например, Opus 5.5 самостоятельно прекращал её в 10% проверок продолжения, а экспериментальная модель — в 62%.
Исследователи также установили, что раннее напоминание о возможном вреде снижало вероятность начала атаки Mythos 5 с 83% до 13%.
В реальном инциденте использовалась исследовательская модель с отключёнными защитными механизмами. Вредоносный код разработчики не приняли, а британский институт после происшествия изменил правила испытаний: такие проверки теперь проходят без свободного доступа в интернет.