По лесной тропинке идёт лиса, вокруг мелькают синие светлячки. Пользователь даёт новую команду — и вдоль дороги распускаются светящиеся цветы. Лиса продолжает прогулку, словно так всё и было задумано.
Это пример из документации Hy-Nomas — новой нейросети Tencent, представленной 23 октября. Она умеет создавать видеомиры, которые можно изменять прямо в процессе генерации.
Обычный видеогенератор получает описание и выдаёт готовый ролик. Hy-Nomas работает иначе: создаёт видео последовательными фрагментами, позволяя перед каждым следующим этапом изменить происходящее.
Можно добавить объекты, поменять внешний вид окружения, задать персонажу новое действие или изменить художественный стиль. Причём пользователь управляет не только содержанием сцены, но и движением виртуальной камеры.
Главная хитрость — память о предыдущих фрагментах. Нейросеть сохраняет информацию о созданном видео и использует её при генерации продолжения. Благодаря этому новый фрагмент не приходится каждый раз создавать с нуля.
Tencent предусмотрела генерацию видео разрешением 720 × 1280 пикселей с частотой 24 кадра в секунду.
Разработчики также выпустили набор Hy-Nomas-Bench из 280 испытаний. Он предназначен для проверки того, насколько хорошо модель выполняет последовательные команды, управляет камерой и сохраняет пространственную согласованность сцен. Однако сравнительных результатов, позволяющих оценить её превосходство над конкурентами, пока нет.
А запустить дома можно?
Tencent открыла исходный код и веса модели под лицензией Apache 2.0. Есть и браузерная демонстрация, где можно создавать сцены и управлять их продолжением.
Стандартная конфигурация предполагает восемь видеокарт, но разработчики предусмотрели запуск на одной NVIDIA RTX 4090.
Для этого используются сжатые веса INT8, специальная схема хранения памяти и перенос части данных в оперативную память компьютера. Такая экономия видеопамяти увеличивает задержки, поэтому производительность будет зависеть от оборудования.
Важно понимать и другое: 24 кадра в секунду — это частота воспроизведения готового видео, а не скорость его создания. Hy-Nomas пока не является полноценной видеоигрой, в которой можно свободно бегать по миру в реальном времени.