Технический отчет мультимодальной Qwen2.5-VL: прорыв в анализе документов и управлении интерфейсами

Привет, Хабр! Вчера команда Qwen (Alibaba) представила долгожданный техрепорт визуальной языковой модели (VLM) Qwen2.5-VL. Новую модель улучшили в задачах компьютерного зрения, локализации объектов, анализа документов и понимания видео длительностью до часа. В этой статье мы разберем ключевые технические инновации, архитектурные особенности и экспериментальные результаты модели, а также взглянем на интересные детали, упомянутые в официальном отчете.

Qwen2.5-VL демонстрирует высокую точность определения локализации объектов – будь то данные из документов, диаграмм, графиков или таблиц.

Модель использует динамическое разрешение изображений и абсолютное временное кодирование, что позволяет ей адаптироваться к входам различного масштаба и длительности.

Одной из революционных возможностей является анализ видео с точностью до секунд, даже для видео длительностью до часа.

Помимо статических задач, модель способна выполнять интерактивное взаимодействие с интерфейсами компьютеров и мобильных устройств, демонстрируя элементы агентности в прикладных задачах.

Одной из центральных новаций является window attention в визуальном энкодере. Благодаря этому механизму вычислительные затраты значительно снижаются, что особенно важно при обработке изображений с высоким разрешением. При этом архитектура ViT (Vision Transformer) обучается с нуля, что позволяет максимально адаптировать модель под задачи мульти-модального понимания.

Помимо этого, вводится адаптивное сжатие пространственных патчей – вместо прямой передачи сырых патчей, авторы группируют их по 4 штуки и пропускают через двухслойный MLP. Этот прием позволяет гибко изменять длину последовательности признаков и существенно снижать нагрузку на последующие блоки модели.

Для работы с