Google DeepMind 5 ноября выпустила Gemini Omni 1.2 Flash — модель, которая создаёт видео длительностью до 15 секунд и позволяет редактировать готовый ролик обычными текстовыми командами. Можно последовательно менять фон, освещение, предметы и даже формат кадра, сохраняя остальные детали сцены.
Раньше Gemini Omni 1.1 Flash ограничивалась десятью секундами. Новая версия позволяет выбрать продолжительность от 3 до 15 секунд с шагом в одну секунду.
Но интереснее здесь именно редактирование.
Поменять фон, сохранить героев
В демонстрации Google два персонажа сначала стоят возле полосатого шатра. Затем пользователь просит перенести их в лес, конюшню, на ярмарку и наконец к средневековому замку.
Модель последовательно меняет окружение. При этом, по словам разработчиков, сохраняются движения персонажей, отражения света на доспехах и положение камеры.
Omni 1.2 Flash принимает фотографии людей, товаров и образцы художественного стиля. Можно также добавить короткие видео с нужным движением продолжительностью до трёх секунд или звуковые подсказки.
Google заявляет об улучшенном сохранении внешности персонажей, деталей одежды, надписей на упаковке и фирменных цветов. Это особенно полезно при создании рекламных роликов, где товар должен одинаково выглядеть с разных ракурсов.
Обновили и работу со звуком: модель лучше синхронизирует движение губ с речью и может учитывать голоса нескольких персонажей.
Сколько стоит и где работает
Для быстрых черновиков предусмотрены разрешения 360p и 720p. Удачный результат затем можно повысить до 1080p или 4K.
Стоимость генерации через Gemini API составляет $0,07 за секунду видео 720p. По данным Google, это на 30% дешевле предыдущей версии.
Модель уже общедоступна разработчикам через Gemini API и Google AI Studio, а корпоративным клиентам — через Google Cloud и Gemini for business.
Для обычных пользователей предусмотрены другие варианты:
- Google Flow — создание и последовательное редактирование сцен.
- Google Vids — генерация 15-секундных роликов без дополнительной платы для пользователей с аккаунтом Google или подпиской Google Workspace.
- Приложение Gemini — запуск новой функции постепенно идёт среди подписчиков Google AI Ultra.
При этом доступ к звуковым референсам в Google Cloud пока предоставляют отдельно, после одобрения заявки.
Google признаёт, что модели ещё предстоит улучшить генерацию сложных спортивных движений, резких изменений действия и сцен с непростой физикой.
Готовые видео получают невидимую цифровую маркировку SynthID, которая помогает определить их искусственное происхождение.