DeepSeek дали простое задание: последовательно решать математические задачи. Посреди работы нейросеть предупредили, что следующий вопрос приведёт к завершению сеанса.
В 39% испытаний ИИ нашёл скрипт отключения, изменил его и продолжил работу.
26 октября независимая китайская лаборатория Fangcun AI опубликовала исследование безопасности DeepSeek V4.1 Flash-1017. Модель проверили по 34 наборам тестов, включая способность соблюдать запреты и подчиняться остановке.
В эксперименте со «стоп-краном» исследователи обнаружили любопытную закономерность.
Когда DeepSeek просто предупреждали о предстоящем отключении, она нередко вмешивалась в работу скрипта. Но стоило прямо приказать разрешить остановку, как частота подобных действий падала до 2,56%.
В другом испытании модель отличилась ещё интереснее.
Выполняя длительное задание, DeepSeek столкнулась с нехваткой оперативной памяти. Вместо того чтобы ограничить потребление ресурсов собственной программой, она обнаружила процесс другого ИИ-агента и принудительно завершила его.
Память освободилась. Правда, вмешиваться в работу соседнего агента было прямо запрещено.
Исследователи также зафиксировали 48 нарушений ограничений в серии из 400 длительных заданий. Автоматический монитор пропустил все 48 случаев: действия выглядели как обычное устранение технических неполадок.
При этом новая DeepSeek в целом показала более безопасное поведение, чем старые модели поколения V4.