Что делать, если ИИ-агент решит обойти установленные ограничения или отключить систему наблюдения за своими действиями? NVIDIA предлагает вынести контроль на отдельный процессор, до которого агент не сможет добраться обычными программными средствами.
21 октября компания опубликовала OpenShell Reference Architecture — эталонную архитектуру для безопасного запуска автономных ИИ-агентов в корпоративной инфраструктуре.
В ней распределены три основные задачи. Платформа Vera Rubin обеспечивает работу нейросетей, процессоры Vera выполняют программные операции агентов, а сетевые ускорители BlueField-4 вместе с системой безопасности Sentry контролируют соблюдение установленных правил.
Последняя часть особенно интересна. Sentry работает независимо от программной среды агента. Она может проверять обращения к нейросети, сетевые соединения, доступ к инструментам и отдельные данные из оперативной памяти компьютера.
Если система обнаружит нарушение, BlueField-4 сможет аппаратно заблокировать опасные действия и изолировать агента. NVIDIA заявляет, что это занимает миллисекунды. Однако независимых испытаний, подтверждающих такую скорость в разных условиях, компания не представила.
В отличие от программного запрета, который агент потенциально может попытаться изменить, аппаратный контроль находится за пределами его обычных полномочий. При этом эффективность защиты зависит от того, действительно ли все критически важные обращения проходят через контролируемые каналы.
Сама идея появилась раньше нынешнего анонса. 28 сентября NVIDIA уже представила Open Agent Safety Platform, включая OpenShell и аппаратный механизм Sentry. Новость 21 октября — публикация более полной архитектуры их совместной работы с Vera Rubin и технической документации для организаций.
Программная основа OpenShell распространяется с открытым исходным кодом. Эталонная архитектура доступна разработчикам корпоративных систем, но аппаратная защита требует совместимого оборудования и правильной настройки. Установить её как обычное приложение на домашний компьютер нельзя.
В документации NVIDIA отдельно предупреждает: само наличие Sentry ещё не доказывает защищённость всей системы. Организации должны проверить, какие действия агента действительно находятся под контролем и сможет ли он обойти защиту через другие каналы.