Новинка: Grom Zvuk — наша музыкальная модельПослушать и попробовать

Genie 4 от Google создаёт интерактивные миры со звуком

Genie 4 от Google создаёт интерактивные миры со звуком

27 октября Google DeepMind представила Genie 4 - модель, которая создаёт интерактивные сцены со звуком и позволяет менять их прямо во время симуляции. В показанных Google примерах можно перемещаться по миру, менять погоду текстовой командой и наблюдать, как персонажи двигаются и разговаривают. Пока модель доступна только ограниченной группе тестировщиков.

Официальная демонстрация Google DeepMind: виртуальная сцена со звуком и управлением камерой.

Для меня самое интересное здесь - возможность вмешаться в происходящее, пока сцена ещё развивается. При этом красивые примеры Google показывают направление разработки, а судить о том, насколько модель удобна в повседневной работе, получится только после более широкого доступа.

Что умеет Genie 4

Представьте лесную тропинку. Можно двигаться по ней и осматриваться с помощью клавиатуры, а затем попросить модель изменить погоду или добавить новый объект. Google показывает, как текстовая команда меняет сцену на ходу: создаваемый мир продолжает развиваться с учётом нового условия.

Вместе с изображением Genie 4 генерирует звуковое окружение, музыку и диалоги. На опубликованных демонстрациях персонажи могут говорить и реагировать на происходящее. Это полезно для понимания замысла модели: звук здесь часть создаваемой сцены, а не отдельная дорожка, которую обязательно нужно подбирать после генерации.

Google называет Genie 4 моделью мира. Так называют системы, которые строят среду и пытаются показать, как она меняется при действиях пользователя или других событиях. Возможность управлять сценой уже была в Genie 3; у четвёртой версии к этому добавилась встроенная генерация звука. Подробности и примеры Google собрала в анонсе Genie 4.

Чем интерактивный мир отличается от ролика

У готового видео есть фиксированная последовательность кадров: после создания можно пересмотреть ролик, но его содержимое само не изменится от нажатия клавиши. В демонстрации Genie 4 сцена строится во время взаимодействия. Мы задаём направление движения или новую инструкцию, а модель продолжает симуляцию с учётом этого ввода.

За цельностью происходящего следят и модели семейства Gemini. По объяснению Google, Gemini помогает интерпретировать команды в контексте текущей сцены и планировать развитие событий. Это не означает, что каждый предмет внутри мира устроен как отдельный объект в обычном игровом движке: читателю важнее результат - возможность менять сцену и видеть ответ на свои действия.

Допустим, для раскадровки нужен кадр с дождём вместо солнечной погоды. В обычной работе с видеогенератором пришлось бы заново подготовить запрос и создать вариант ролика. Задумка Genie 4 - дать возможность внести такое изменение прямо в процессе исследования сцены. Насколько точно это будет работать в разных задачах, пока можно оценивать только по представленным Google примерам.

Где модель пока ошибается

Виртуальный мир ещё не всегда сохраняет детали при долгом взаимодействии. Google предупреждает: объекты и изображение могут меняться или «плыть», особенно если долго двигаться по сцене либо несколько раз давать сложные команды. Точность физики, пространственного расположения, звука и надписей тоже остаётся предметом работы.

Для автора проекта это практическое ограничение. Если в сцене важны конкретный предмет, его положение и последовательность действий, результат придётся внимательно проверять. Демонстрация правдоподобного движения сама по себе не доказывает, что модель одинаково точно обработает любой сложный сценарий.

Кому доступна Genie 4

На момент подготовки заметки Genie 4 работает как исследовательская версия для доверенных тестировщиков. Google планирует расширить доступ через Project Genie для подписчиков Google AI Ultra, а также для партнёров раннего доступа к Gemini API и Google AI Studio. Точную дату такого расширения и отдельную цену Genie 4 компания в анонсе не указала.

На странице анонса можно записаться в список ожидания. Наличие доступа к другим моделям Gemini или к прежним версиям Project Genie само по себе не означает, что Genie 4 уже доступна конкретному пользователю. Собственных тестов Genie 4 мы для этой заметки не проводили.

Что это значит для вас

Для тех, кто придумывает видео или игровые сцены, такой формат может пригодиться на этапе поиска идеи: посмотреть на окружение, изменить погоду и попробовать другой ракурс до подготовки финального материала. Google также рассматривает симуляции как среду для исследований ИИ-агентов и роботов, но это направление разработки, а не обещание готового инструмента для всех.

Если вам сейчас нужен именно готовый ролик, а не интерактивная симуляция, посмотрите доступные видеомодели или наш гайд по созданию видео нейросетью. Это другой рабочий процесс: вы создаёте видео по запросу и затем оцениваете получившийся клип.

Источники