Microsoft выпускает игровую демоверсию Quake II, созданнную AI в реальном времени

Компания Microsoft представила исследовательский проект, который генерирует и запускает Quake II полностью в рамках модели искусственного интеллекта, создавая игровую версию игры в реальном времени.

Модель, называемая WHAMM (World and Human Action MaskGIT Model), является частью Copilot Labs от Microsoft и предназначена для изучения возможностей и границ генеративного ИИ в интерактивных медиа. Она основана на более ранней версии WHAM-1.6B , которая была обучена на игре Bleeding Edge. Эта модель обрабатывала только один кадр в секунду.

WHAMM значительно повышает производительность, генерируя более десяти кадров в секунду — достаточно для поддержки интерактивности в реальном времени внутри самой модели. И WHAMM, и WHAM-1.6B являются частью семейства моделей Microsoft «Muse», которое фокусируется на генеративных инструментах ИИ для разработки игр.

Одной из ключевых инноваций WHAMM является ее способность обучаться на гораздо меньшем количестве данных. В то время как WHAM-1.6B обучался на семи годах игрового процесса, WHAMM потребовалась всего одна неделя игрового процесса Quake II, собранная с одного уровня. Набор данных, записанный профессиональными тестерами, предлагал целевые и высококачественные примеры, которые позволили модели эффективно изучать игровое поведение.

WHAMM также принимает другую техническую стратегию. Вместо использования авторегрессионного метода, применяемого в WHAM-1.6B, где токены изображений генерируются по одному, WHAMM реализует стратегию MaskGIT . Этот подход позволяет модели генерировать все токены изображений параллельно в течение нескольких итераций. В результате скорость генерации значительно возросла, а выходное разрешение удвоилось, улучшившись с 300 × 180 пикселей до 640 × 360 пикселей.

Архитек