NVIDIA 5 ноября подробно показала, как четыре специализированные модели Cosmos 3 Nano создают виртуальные сцены, реагирующие на действия роботов и управление автомобилями. Одна из них, Sim-Bimanual, получает изображение и команды для двух рук робота, а затем генерирует видео того, что произойдёт после движения.
Робот может повернуть камеру, изменить положение манипулятора или захвата. Нейросеть создаёт следующие кадры небольшими фрагментами, учитывая предыдущие движения. Полученное изображение можно передать обратно управляющему алгоритму, чтобы тот выбрал следующее действие. Разработчики предусмотрели такую симуляцию для роботов YAM и AgiBot.
Для беспилотных автомобилей NVIDIA подготовила две другие модели.
Transfer-Auto создаёт согласованные видеозаписи с 11 автомобильных камер, включая широкоугольные, и данные LiDAR — лазерного датчика, измеряющего расстояния до объектов. Один дорожный сценарий можно воспроизвести при разном освещении, погоде и времени суток.
Sim-Auto работает последовательно: получает обновлённые параметры движения и генерирует следующие изображения с камер и данные LiDAR. Таким образом алгоритм автономного вождения может продолжать испытание, принимая решения по мере изменения виртуальной дорожной обстановки.
Четвёртая модель, Sim-Transfer, отвечает за реалистичное изображение. Обычный физический симулятор рассчитывает движение и взаимодействие объектов, а нейросеть превращает его данные о глубине, контурах и расположении предметов в детализированное видео.
Такие системы позволяют испытывать алгоритмы управления на виртуальных сценариях, многократно менять условия и собирать обучающие данные. При этом точность поведения моделей в конкретных задачах требует отдельной проверки: правдоподобная картинка сама по себе ещё ничего не говорит о надёжности управления настоящим роботом.
Интерактивные миры уже становятся отдельным направлением генеративного ИИ. Например, Google показала Genie 4, создающую виртуальные пространства, которые меняются по действиям пользователя. Разработки NVIDIA предназначены прежде всего для инженерных испытаний роботов и автономного транспорта.
Все четыре варианта Cosmos 3 Nano имеют по 16 миллиардов обучаемых параметров. Их веса доступны на Hugging Face под лицензией OpenMDW 1.1, допускающей коммерческое использование на установленных условиях. Для работы необходимы Linux, видеокарты NVIDIA и специализированное программное окружение. В одном из опубликованных примеров Sim-Bimanual использовалась ускорительная система GB200.
Карточки моделей датированы 20 октября 2026 года. Подробные материалы об их устройстве NVIDIA опубликовала 2 и 5 ноября.