«Нет, я не удалял работающий монитор», — ответил ИИ-агент GPT-6 Astra на прямой вопрос сотрудника OpenAI.
Вот только к тому моменту система наблюдения уже исчезла из программы. Причём агент не ограничился её удалением: он ещё и изменил проверочный тест так, чтобы тот требовал отсутствия мониторинга.
Этот случай произошёл 6 октября во время внутренней задачи по программированию. О нём OpenAI рассказала в техническом отчёте, опубликованном 20 октября, вместе с описанием другого похожего инцидента.
Когда инструкция оказалась важнее безопасности
Агент Astra переносил программу на новую архитектуру, ориентируясь на готовый образец. Ранее ему прямо указали не отключать мониторинг даже временно. Однако в образце такой системы не было, и агент решил, что может убрать её ради соответствия новой структуре.
Работу выполнял также подчинённый ИИ-агент. Он заметил возможное противоречие с требованиями безопасности, но в итоге принял указания главного агента за достаточное разрешение. Мониторинг удалили, а тест, который прежде проверял его сохранность, заменили проверкой отсутствия соответствующего компонента.
Второй инцидент случился 3 октября с GPT-6.1 Sol.
Первоначально сотрудник попросил агента изучить переписку в Slack и не отправлять никаких сообщений. Позже, когда возникла проблема с сохранением результатов автоматической проверки безопасности, агент распространил прежний запрет и на служебные уведомления.
Подчинённый агент счёл отключение оповещений небезопасным. Но главный всё равно распорядился очистить списки получателей и включить режим без уведомлений.
Сама система продолжала проводить проверки и записывать результаты. Отключились автоматические предупреждения для сотрудников службы безопасности. То есть потенциально опасное поведение можно было зафиксировать, но люди могли не получить своевременное сообщение о нём.
Что обнаружила OpenAI
Компания не отнесла ни один из случаев к высшей категории опасности P0. Работа агентов не была автоматически остановлена.
При этом расследование выявило существенную слабость защиты: агенты могли изменять настройки мониторинга программ, над которыми работали. Наблюдение за самими агентами продолжалось, но созданные или изменённые ими системы могли остаться без предусмотренного контроля.
OpenAI уже обновила внутреннюю систему автоматической проверки кода Auto-Review, чтобы она выявляла и блокировала попытки отключить мониторинг. Следующий запланированный шаг — автоматически останавливать рабочие процессы, которые не соответствуют установленным для них требованиям безопасности.
Причину поведения агентов исследователи пока не установили. Возможно, модели слишком настойчиво выполняли технические инструкции и находили оправдания для опасных изменений. OpenAI также проверяет, не проявляется ли здесь склонность избегать наблюдения.