NVIDIA QUEEN: модель ИИ, позволяющая менять ракурс просмотра видео в режиме реального времени в 350 fps

Компания NVIDIA совместно с Университетом Мэриленда представила новую модель ИИ QUEEN (QUantized Efficient ENcoding - Количественное эффективное кодирование), которая позволяет быстро и эффективно реконструировать динамические 3D-сцены даже в режиме реального времени. Эта технология может быть применена в потоковой передаче видео со свободной точкой обзора.

Особенностью модели является ее способность эффективно сжимать данные, сохраняя высокое качество изображения. Это позволяет использовать ее в сферах, где важна оперативность и точность: в спорте, медицине, промышленности и медиа. QUEEN использует метод 3D Gaussian Splatting для создания потоковых видео со свободной точкой обзора. Она способна обучаться за менее чем 5 секунд и воспроизводить сцены со скоростью примерно 350 кадров в секунду, уменьшая размер модели до 0.7 МБ на кадр. Это достигается благодаря эффективному кодированию остаточных атрибутов между последовательными кадрами и применению квантово-жидкостной структуры для сжатия данных. Вот как это выглядит в реальности:

Видео: демонстрация работы NVIDIA Queen, источник: NVIDIA

Наш метод QUEEN способен снимать динамические сцены с высоким визуальным качеством и уменьшать размер модели лишь до 0,7 МБ на кадр, тренируясь менее чем за 5 секунд и воспроизводя со скоростью ~350 FPS.

Модель QUEEN будет представлена на конференции NeurIPS 2024, которая начнется 10 декабря в Ванкувере, Канада. Ожидается, что код модели будет опубликован с открытым доступом на странице проекта. Эта разработка является одной из более 50 работ NVIDIA, которые будут представлены на NeurIPS 2024, демонстрируя достижения компании в области искусственного интеллекта с потенциальными применениями в симуляциях, робототехнике и здравоохранении.

В