A$AP Rocky выпустил клип Helicopter с применением Dynamic Gaussian Splatting

Американский рэпер A$AP Rocky выпустил музыкальное видео на песню Helicopter, в котором почти каждое выступление было снято и отрисовано с применением Dynamic Gaussian Splatting — технологии 3D Gaussian Splatting (3DGS) для реконструкции и рендеринга динамических сцен в реальном времени.

Гауссов сплэтинг позволяет быстро отсканировать существующую сцену и после короткого обучения отрендерить её с высокой точностью. Сцена для Gaussian splatting — это массив точек, каждая из которых обладает четырьмя параметрами. Для вывода на экран точки представляются в виде эллипсоидов. Учитывается их положение (глубина) и прозрачность.

По словам команды, режиссёр Дэн Стрейт подошел к проекту в июле с четкой творческой целью запечатлеть исполнение движений таким образом, чтобы обеспечить радикальную свободу в постпродакшене. Использование традиционных методов съёмки и визуальных эффектов было бы либо непрактичным, либо непомерно дорогим.

Супервайзер по компьютерной графике проекта в Grin Machine Крис Ратледж рассказал, что годами следил за технологиями объёмной съёмки, будучи очарованным новыми методами, позволяющими создавать визуальные эффекты, которые раньше были просто невозможны. Два года назад он начал предлагать эту идею режиссерам из своего круга, включая Дэна. Эстетика Dynamic Gaussian Splatting сильно опирается на кинетическое движение: столкновения танцоров, тела, зависшие в воздухе, хаотичные сцены драк и взаимодействие исполнителей с реквизитом и многое другое. Каждый удар, бросок, подтягивание и падение были физически исполнены и запечатлены в 3D. Также и каждая человеческая фигура в видео, включая самого рэпера, была записана объёмным способом с использованием системы Evercoast. 

Основные съёмки Helicopter проходили в августе