Технология StoryMem от ByteDance: модели для генерации видео с памятью

Команда из ByteDance и Наньянского технологического университета разработала систему, которая обеспечивает согласованность видео, сгенерированных искусственным интеллектом, в разных сценах. Этот подход сохраняет ключевые кадры из ранее сгенерированных сцен и использует их в качестве ориентиров для новых.

Современные видеомодели на основе ИИ, такие как Sora, Kling и Veo, демонстрируют впечатляющие результаты для отдельных видеороликов длительностью в несколько секунд. Однако объединение нескольких сцен в связный сюжет выявляет фундаментальную проблему: персонажи меняют свой внешний вид от сцены к сцене, окружение выглядит непоследовательно, а визуальные детали смещаются.

По словам исследователей, предыдущие решения столкнулись с дилеммой. Обработка всех сцен вместе в одной модели приводит к резкому увеличению вычислительных затрат. Генерация каждой сцены отдельно и их последующее объединение приводит к потере согласованности между разделами.

Система StoryMem использует третий подход. Она сохраняет выбранные ключевые кадры в банке памяти во время генерации и ссылается на них для каждой новой сцены. Это позволяет модели иметь представление о том, как выглядели персонажи и окружение ранее в сюжете.

Вместо хранения каждого сгенерированного кадра алгоритм выбирает визуально значимые изображения, анализируя их содержимое и определяя семантически различные кадры. Второй фильтр проверяет техническое качество и отбрасывает размытые или зашумленные изображения.

В банке памяти используется гибридная система. Ранние ключевые изображения остаются в качестве долговременных ссылок, в то время как более поздние изображения сменяются в скользящем окне. Это позволяет контролировать размер памяти, не теряя при этом важную визуальную информацию