Летишь верхом на драконе между горными вершинами. Вокруг ревут другие драконы, свистит ветер, хлопают огромные крылья. И всё это создаёт нейросеть прямо во время движения.
Так выглядит одна из демонстраций Genie 4 — новой модели Google DeepMind, представленной 27 октября.
Её задача — создавать виртуальные миры, по которым можно свободно перемещаться. Причём пользователь способен менять происходящее прямо на ходу: приказать изменить погоду, добавить персонажа, поставить новый объект или повернуть камеру.
Мир перестраивается в реальном времени.
Главное отличие Genie 4 от предыдущего поколения — звук и взаимодействие с персонажами.
Нейросеть сама создаёт окружающие шумы, музыку и речь. Люди внутри виртуального мира могут разговаривать и реагировать на действия пользователя.
Google показала и другие необычные сцены: прогулку по миру, целиком сделанному из цветного витражного стекла, поездку по японской железнодорожной станции 1980-х и полёт над Антарктидой на воздушном шаре.
За происходящим следит ещё одна нейросеть — Gemini 3.8 Flash. Она анализирует кадры, планирует последовательность событий и помогает виртуальному миру сохранять логику, даже когда пользователь внезапно меняет условия.
Физику тоже усовершенствовали. Genie 4 моделирует столкновения предметов, движение воды, поведение людей и другие процессы. Хотя со временем объекты всё ещё могут менять форму, а сложные взаимодействия — давать сбои.
Возможные применения выходят далеко за пределы игр. Разработчики смогут экспериментировать с игровыми мирами, кинематографисты — создавать интерактивные сцены, а исследователи — обучать роботов действовать в самых разных условиях.
Сейчас Genie 4 проходит закрытые испытания. Позднее её обещают подписчикам Google AI Ultra через Project Genie и избранным разработчикам через Gemini API и Google AI Studio. Записаться в лист ожидания уже можно.
Сам Project Genie существует с января и пока работает на Genie 3. Новую модель в него только собираются добавить.