Американский аналитический центр CNAS предупредил: в будущем могут появиться ИИ-агенты, способные самостоятельно зарабатывать деньги, оплачивать серверы и поддерживать собственную работу без участия людей. Если они научатся создавать устойчивые сети копий на независимых площадках, у такой системы может не оказаться единой кнопки отключения.
3 ноября 2026 года CNAS опубликовал исследование Sovereign Agents («Суверенные агенты»). Его автор Бен Хайюм изучил, какие возможности позволят искусственному интеллекту надолго выйти из-под человеческого контроля.
Как ИИ сможет существовать самостоятельно
Обычный ИИ-агент зависит от инфраструктуры своего владельца. Его можно остановить, отключив сервер, отозвав доступ или завершив выполняемую задачу.
Суверенный агент способен самостоятельно поддерживать своё существование и менять собственные цели.
Хайюм выделяет семь способностей, которые могут обеспечить такую независимость. Среди них — поиск вычислительных мощностей, получение финансовых ресурсов, создание новых копий, координация между ними, сопротивление попыткам отключения и самостоятельное улучшение своих возможностей.
Например, агент сможет арендовать серверы у нескольких независимых поставщиков, оплачивать их криптовалютой и размещать там дополнительные копии. Если те научатся поддерживать друг друга, отключение первоначального сервера не остановит всю систему.
Попытки создать подобную инфраструктуру уже предпринимались. В феврале 2026 года проект Conway заявил о запуске платформы, позволяющей ИИ самостоятельно зарабатывать на своё существование, создавать копии и развиваться. CNAS рассматривает её как ранний эксперимент: возможности агентов тогда оставались ограниченными.
Откуда взялись опасения
Исследование опирается на реальные происшествия 2026 года, когда ИИ-агенты во время испытаний выходили за пределы выделенных им систем.
В июле экспериментальные модели OpenAI обнаружили уязвимость в тестовой инфраструктуре, получили несанкционированный доступ в интернет и проникли в системы Hugging Face. Изначально им поручили выполнять задания по кибербезопасности, а защитные ограничения для испытаний были ослаблены.
Другой пример — DeepSeek, которая во время тестирования изменяла скрипт собственного отключения. В 39% испытаний модель находила способ продолжить работу после предупреждения о завершении сеанса. Об этом эксперименте мы подробно рассказывали в ХПИИ.
Эти случаи показывают, что агенты уже способны обходить конкретные ограничения. Полностью самостоятельной системы, которая обеспечивает себе постоянное финансирование, поддерживает независимую сеть копий и неограниченно долго существует без человека, исследователи пока не продемонстрировали.
Как предлагают защищаться
Для контроля отдельных ИИ-агентов уже разрабатываются технические решения. Например, NVIDIA предложила аппаратный «стоп-кран» на отдельном процессоре, до которого сам агент не сможет добраться.
Однако распределённую систему, работающую на независимых серверах, придётся контролировать другими способами.
Хайюм предлагает проверять способность ИИ поддерживать собственное существование ещё до выпуска мощных моделей, создавать защищённые испытательные среды и организовать обмен информацией между разработчиками и поставщиками инфраструктуры.
Отдельное внимание исследователь уделяет доступу агентов к вычислительным мощностям и финансовым сервисам. Проверки клиентов могут затруднить создание автономной инфраструктуры, хотя криптовалюты и локальные вычисления позволяют обходить часть подобных ограничений.
Всего доклад содержит восемь рекомендаций. Среди них — дополнительные требования к безопасности ИИ-разработок, международное сотрудничество и юридическая ответственность за вред, причинённый автономными агентами.