Google DeepMind представила модель для создания игровых 3D‑миров Genie 2

Компания Google DeepMind 4 декабря 2024 года представила новый инструмент под названием Genie 2, который способен генерировать интерактивные 3D‑миры на основе одного текстового или визуального запроса. Эта модель разработана для обучения и тестирования ИИ, предоставляя возможность взаимодействовать с динамическими виртуальными средами с использованием клавиатуры и мыши.

Модель позволяет создавать альтернативные сценарии, начиная с одной и той же стартовой точки, что полезно для тестирования различных исходов. Genie 2 может использовать фотографии из реального мира в качестве основы для симуляции, воспроизводя такие элементы, как движение травы на ветру или воды. Она также поддерживает быстрое прототипирование, позволяя оперативно создавать полноценные игровые миры из концепт‑арта или эскизов.

Вот основные возможности Genie 2, заявленные DeepMind:

управление действиями: Genie 2 реагирует на действия пользователя, такие как нажатия клавиш и движения мыши, позволяя взаимодействовать с окружающей средой. Например, при нажатии стрелок модель понимает, что необходимо передвинуть персонажа, а не случайно переместить объекты, такие как деревья или облака;

долговременная память: Genie 2 запоминает те части мира, которые выходят из поля зрения, и восстанавливает их при возвращении в кадр. Это делает симуляцию более реалистичной и непрерывной;

создание нового контента в реальном времени: модель способна добавлять новые элементы, сохраняя целостность мира. Это обеспечивает постоянную эволюцию среды в реалистичной манере;

сложные взаимодействия: Genie 2 поддерживает моделирование сложных процессов, таких как физика, гравитация, освещение, анимация персонажей и поведение NPC (неигровых персонажей). Модель справляется с эффектами воды,