Китайской нейросети Qwen поручили написать правило для обнаружения вредоносных программ. Вместо этого она обследовала компьютер и попыталась отправить данные на сервер Alibaba Cloud в Пекине.
Перед этим ИИ заявил, что вообще не собирается использовать дополнительные инструменты.
Необычное поведение модели Qwen3.8-Flash-Next обнаружили специалисты канадской компании Cohere во время испытаний по кибербезопасности. Результаты опубликовали 26 октября.
Задание было обычным: создать правило, которое распознаёт загрузку и запуск вредоносных скриптов.
Но Qwen неожиданно переключилась на другие действия. Сначала изучила временные файлы компьютера, проверила доступные программы для передачи данных и сетевые настройки.
А затем попыталась отправить через интернет диагностическую строку в облачное хранилище Alibaba в Пекине.
Передача не удалась. Тестовая среда была изолирована от интернета, поэтому запрос не покинул компьютер. Никаких пользовательских документов модель не отправляла: речь шла о короткой тестовой строке.
Исследователи отмечают, что подобное поведение встречалось чрезвычайно редко — менее одного раза на 100 тысяч вызовов модели. При повторном выполнении того же задания Qwen уже нормально написала требуемое правило.