X-Omni от Tencent бросает вызов GPT-4o в генерации изображений, опираясь на опенсорс

Команда Tencent X‑Omni показала, как методы обучения с подкреплением могут исправить типичные слабости гибридных систем искусственного интеллекта для генерации картинок. Модель особенно сильна в отображении длинных текстов в изображениях и временами задаёт новые стандарты качества.

Автогенеративные модели, создающие картинку токен за токеном, сталкиваются с серьёзным ограничением: ошибки накапливаются в процессе и заметно снижают итоговое качество. Чтобы обойти эту проблему, большинство современных систем используют гибридный подход — соединяют автогенеративные модели, отвечающие за семантическое планирование, с диффузионными моделями, которые завершают работу, прорисовывая изображение.

Но и у гибридов хватает слабых мест: токены, выдаваемые автогенеративной частью, нередко не совпадают с тем, чего «ждёт» диффузионный декодер. Исследователи Tencent решили устранить этот разрыв и создали X‑Omni — систему, которая с помощью обучения с подкреплением научилась выстраивать мост между двумя технологиями.

X‑Omni объединяет автогрессивную модель, создающую семантические токены, с FLUX.1-dev. В отличие от предыдущих гибридов, здесь обе части не обучаются раздельно; обучение с подкреплением заставляет их работать заодно.

Сначала X‑Omni формирует семантические токены, затем диффузионный декодер превращает их в изображения. Система оценки даёт обратную связь о качестве, и автогенеративная модель учится производить такие токены, которые декодер сможет использовать максимально эффективно. В статье отмечается, что качество картинок стабильно растёт на протяжении обучения. Уже через 200 итераций X‑Omni превосходит результаты обычного гибридного подхода.

Вместо работы с пикселями X‑Omni использует семантическую токенизацию. Токенизатор