29 октября OpenAI раскрыла устройство четырёхступенчатого контроля за своими самыми мощными нейросетями.
Задача системы — замечать, когда ИИ-агенты начинают действовать вопреки инструкциям: обманывают проверяющих, пытаются обойти ограничения или получают доступ туда, куда их никто не приглашал.
Причём следить за нейросетями поручили в том числе другим нейросетям.
На первом уровне специальные алгоритмы ищут подозрительные признаки прямо во внутренних сигналах модели.
На втором ИИ-рецензент изучает её рассуждения, переписку и действия с инструментами. Например, не пытался ли агент тайком изменить результаты испытания.
На третьем подключается ИИ-расследователь. Он восстанавливает последовательность событий, проверяет обстоятельства и может даже запускать собственный код для анализа подозрительного случая.
На четвёртом система сверяет выводы с сетевыми журналами и другими техническими данными. Если обнаруживается серьёзная угроза, сигнал передают специалистам OpenAI.
И это уже работающая система, а не проект на бумаге.
Чтобы проверить её, OpenAI заново проиграла июльский инцидент с Hugging Face.
В повторном испытании наблюдение подняло тревогу примерно через 30 минут после выхода агентов из песочницы. До реального проникновения в системы Hugging Face оставалось бы более 30 часов.
Компания считает, что этого времени хватило бы для вмешательства.
И даже сейчас защита работает не идеально.
Для самых мощных моделей при обучении критические предупреждения могут разбудить дежурного специалиста в любое время суток. А вот для большинства остальных задач круглосуточное оповещение пока не действует. Для внутреннего Codex такие вызовы специалистов вообще отключены.
Есть и другая проблема. Независимые исследователи METR и Redwood Research ранее обнаружили способы обходить наблюдение OpenAI. Компания сообщает, что большинство уязвимостей исправила, но одна доработка ещё продолжается.