15 октября компания ByteDance, которой принадлежит TikTok, выпустила OmniHuman 2.0. Новая версия нейросети умеет создавать непрерывные видеоролики продолжительностью до 300 секунд.
И это довольно серьёзное изменение.
Раньше подобные инструменты часто приходилось использовать для коротких фрагментов. Сгенерировал десять секунд, потом ещё десять, затем пытайся всё склеить так, чтобы у персонажа не поменялись лицо, причёска и настроение.
OmniHuman 2.0 обещает удерживать одного персонажа в кадре гораздо дольше.
Не просто говорящая фотография
Работает система относительно просто.
Загружаете изображение человека или нарисованного персонажа. Добавляете аудиозапись — речь, песню или диалог. При желании пишете дополнительные указания: как герой должен двигаться, что делать и как вести себя перед камерой.
На выходе получаете видео.
Причём речь не только о движении губ.
По заявлению разработчиков, нейросеть учитывает интонацию и смысл произнесённых слов. Если персонаж радуется, сердится или рассказывает что-то взволнованно, система пытается передать это мимикой, жестами и движениями тела.
Можно оживлять и рисованных героев. А ещё заявлена поддержка сцен с несколькими персонажами.
Например, пятиминутное выступление виртуального ведущего, музыкальный номер с цифровым исполнителем или небольшую сценку с героями, которых до этого существовали только на иллюстрации - ещё недавно требовало заметно больше ручной работы.
И сколько стоит удовольствие?
Тут разработчики тоже приготовили приятную новость.
В BytePlus новая модель предлагается по цене 7 центов за секунду. Предыдущая версия стоила 12 центов.
Получается:
30 секунд — $2,10. Одна минута — $4,20. Пять минут — $21.
Это стоимость одной генерации по опубликованному тарифу BytePlus. Если результат не понравится и захочется переделать, расходы могут вырасти. У посредников цены тоже могут отличаться.
Так что до полностью бесплатного кинопроизводства мы пока не добрались.
Значит, теперь можно снять фильм одной кнопкой?
Вот здесь стоит немного умерить восторг.
OmniHuman 2.0 — не совсем тот видеогенератор, которому пишешь «герой выбегает из дома, прыгает в машину и уезжает от преследователей», а он снимает готовую экшен-сцену.
Его основная задача — оживлять персонажей на основе готового изображения и звука.
Для выступлений, разговоров, песен и небольших сцен это перспективный инструмент. Но способность генерировать пятиминутный ролик сама по себе не гарантирует, что сложная постановка с несколькими актёрами будет выполнена без ошибок.
К тому же заявленное качество движений ещё предстоит проверить на длинных роликах, а не только на эффектных демонстрациях разработчика.
Есть и неприятная сторона технологии. Чем убедительнее нейросеть оживляет изображение человека, тем проще создавать поддельные видеозаписи. Поэтому вопрос согласия на использование чужой внешности становится ещё важнее.
Но направление уже понятно
Самое интересное здесь даже не цифра «пять минут».
Нейросети постепенно переходят от коротких эффектных видеотрюков к инструментам, которые можно использовать для полноценного контента: выступлений, рекламы, обучающих роликов, музыкальных клипов и историй с постоянными персонажами.
Пять минут — это уже не случайная анимация фотографии. Это небольшой самостоятельный видеоролик.
Осталось добиться, чтобы персонаж на четвёртой минуте не забывал, кто он такой, и не отращивал себе третью руку.
А вы бы хотели увидеть пятиминутный фильм с нейросетевыми актёрами или пока предпочитаете живых людей?