Пятнадцать секунд видео со звуком — всего за семь секунд вычислений.
Такой результат показала Pika в испытании своего нового видеогенератора H3 Flex.
29 октября компания выпустила модель, которая умеет создавать видео быстрее, чем его можно посмотреть.
H3 Flex создана на основе MiniMax H3. Разработчики сократили количество шагов генерации с 50 до шести, а затем дополнительно обучили модель, чтобы ускорение не слишком ударило по качеству изображения.
Pika измеряла только основной вычислительный этап для 15-секундного видео в разрешении 768p. Подготовка запроса, обработка референсов, создание итогового файла и работа сервиса занимают дополнительное время.
Можно загрузить до 12 референсов одновременно: фотографии персонажей, эскизы, образцы звука и даже видео с нужным движением.
Например, взять танец из одного ролика, заменить танцора другим персонажем и перенести действие в новое окружение. Pika заявляет, что модель способна сохранять движения и их временную последовательность при таких изменениях.
Можно управлять и камерой: задавать смену планов, пролёты и повороты в пределах одного ролика.
Звук можно получить сразу пятью отдельными дорожками: диалоги, музыка, звуковые эффекты, шумы действий и атмосфера.
Допустим, музыка заглушает разговор персонажей. Вместо новой генерации можно просто уменьшить её громкость в видеоредакторе. Разделение дорожек доступно через облачный API Pika.
Готовый ролик можно увеличить до 1080p, 2K или 4K. Правда, сама нейросеть изначально создаёт видео в 480p либо 768p. Высокое разрешение получается за счёт дополнительной обработки, а не прямой генерации в 4K.
H3 Flex уже доступна через API. Стартовая акционная цена — $0,01 за секунду видео в 480p. Для 768p цена начинается с $0,02, а генерация с видеореференсами обходится дороже.
Разработчики также открыли веса модели и код для самостоятельного запуска.