Новая нейросеть создает 3D-модели людей с помощью камеры смартфона: как это выглядит

Технология призвана ускорить создание фильмов и видеоигр, ускоряя рендеринг. Специалисты из Университета Корнелла разработали искусственный интеллект под названием NeuMan, который создает трехмерную модель человека при помощи камеры от iPhone. Они разместили свои наработки с открытым кодом на ресурсе GitHub.

Исследователи занялись проблемой фотореалистичного рендеринга, который занимает много времени и требует от машины высокой производительности. Они создали нейросеть, которой достаточно предоставить видео, снятое на камеру смартфона (команда использовала iPhone). Готовые модели можно использовать для создания сцен в роликах или дополненной реальности, придавая им различные позы и внешний вид.

По словам исследователей, они обучили две модели ИИ: одна занимается созданием модели, а другая — созданием сцены. Для обучения NeuMan использовали методы оценки грубой геометрии — приблизительная оценка позволяют создать деформирующее поле из пространства наблюдения в каноническое пространство, и результат рендеринга не зависит от изначальной позы прообраза. Айтишники продемонстрировали результаты в нескольких роликах.

Они оставили оригинальный фон, но заставили трехмерные модели выполнять различные действия, которых не совершали актеры, например, перепрыгивать препятствия, делать колесо, кувыркаться, танцевать. Люди в роликах не идеальны, можно заметить "замыленные" детали, однако первые работы нейросети выглядят многообещающие — она может значительно ускорить создание фильмов или видеоигр. Ранее нейросеть Midjourneyсоздала клип на песню "Все идет по плану" группы "Гражданская оборона".