Дым, отражения и порталы: Adobe TransPixar выводит AI VFX на новый уровень

Команда из Adobe Research и Гонконгского университета науки и технологий разработала систему искусственного интеллекта, которая может изменить подход к созданию визуальных эффектов для фильмов, игр и интерактивных медиа.

Технология под названием TransPixar добавляет в видео, созданные искусственным интеллектом, важную функцию: возможность создавать прозрачные элементы, такие как дым, отражения и эфемерные эффекты, которые естественным образом вписываются в сцены. Современные инструменты для создания видео с помощью AI обычно могут генерировать только цельные изображения, что является значительным техническим достижением.

“Альфа-каналы имеют решающее значение для создания визуальных эффектов, позволяя прозрачным элементам, таким как дым и отражения, плавно вписываться в сцены”, - сказал Ицзюнь Ли, руководитель проекта Adobe Research и один из авторов статьи. “Однако создание видео RGBA, которое включает альфа-каналы для прозрачности, остается сложной задачей из-за ограниченных наборов данных и сложности адаптации существующих моделей”.

Этот прорыв произошёл в критический момент, когда спрос на визуальные эффекты продолжает расти в индустрии развлечений, рекламы и игр. Традиционная работа с визуальными эффектами часто требует от художников кропотливой ручной работы для создания убедительных прозрачных эффектов.

Основная способность TransPixar - сохранять высокое качество при работе с очень ограниченными обучающими данными. Исследователи добились этого, разработав новый подход, который расширяет существующие модели искусственного интеллекта для видео, а не создаёт их с нуля.

«Мы вводим новые токены для генерации альфа-канала, повторно инициализируем их позиционные вложения и добавляем вложения с нулевой инициализацией, чтобы