Muse от Microsoft: искусственный интеллект, обученный на данных игровых сессий

Исследователи Microsoft достигли того, что раньше казалось недостижимым: они научили искусственный интеллект понимать и взаимодействовать с трехмерными пространствами так, как это делают люди. Прорыв был достигнут с помощью модели под названием Muse, которая способна воспринимать и создавать сложные игровые сцены, соблюдая физические законы и корректное поведение персонажей.

Модель Muse, как описано в статье журнала Nature, обучалась на данных игрового процесса, накопленных за семь лет игры Bleeding Edge от Xbox. В отличие от традиционных AI-моделей, которые работают с текстами или изображениями, Muse формирует “практическое понимание” того, как объекты и персонажи взаимодействуют в 3D-пространстве с течением времени.

«Архитектура модели не привязана к какой-либо конкретной игре. Единственное, что нужно — это доступ к соответствующему набору данных. Мы разработали модель так, чтобы она могла работать с самыми универсальными данными — визуальной информацией и действиями игроков», — говорит Катя Хофманн, старший менеджер по исследованиям в Microsoft.

Это позволяет Muse создавать связные игровые сцены продолжительностью до двух минут, что является большим достижением в области долгосрочного взаимодействия в 3D-мире. Система способна на основе одной секунды игрового видео предсказать сложные сценарии, которые соответствуют физическим законам игры и поведению персонажей.

Однако у Muse есть ограничения. «Разрешение изображения фиксировано на уровне 300×180 пикселей», — объясняет Хофманн. «Существует компромисс между размером модели и скоростью её работы: самые большие и точные модели работают медленнее».

Разработка Muse активно поддерживалась игровыми студиями. Исследователи Microsoft опросили 27 разработчиков игр по всему миру,