Midjourney разработали новый подход для улучшения креативности текстов LLM

Исследователи из Midjorney и Нью-Йоркского университета разработали новый подход, который может помочь языковым моделям генерировать более разнообразные креативные тексты без существенного ущерба качеству.

В недавно опубликованной статье команда вводит «метрики отклонения» в процесс обучения AI. Метод работает путем измерения того, насколько отличается каждый сгенерированный текст от других, созданных для той же подсказки. Эти различия вычисляются с использованием встроенных текстов и их парного косинусного расстояния — по сути, давая системе математический способ понимания вариации текста.

Первоначальное тестирование выглядит многообещающим. Модели, использующие этот новый метод обучения, сгенерировали на 23 процента более разнообразные тексты, при этом показатели качества снизились всего на пять процентов, согласно системе вознаграждений Reddit.

Тестовый случай показывает, как это работает на практике. Когда давали подсказку, стандартная модель GPT-4o в основном придерживалась историй о нервных новых правителях. Модифицированная модель Llama-3.1-8B, несмотря на меньшие размеры, производила все, от темных фэнтезийных историй о медвежьих принцах до сверхъестественных историй, происходящих под водой.

Тестировщики подтвердили эти результаты, заявив, что тексты показали больше разнообразия при сохранении качества. Однако исследователи тестировали только старый GPT-4o, а не новый GPT-4.5, который производит более естественно звучащий текст, но стоит дороже.

Исследователи сосредоточились на двух типах разнообразия: семантическом (разное содержание и сюжеты историй) и стилистическом (письмо, которое звучит так, как будто его написали разные авторы). Они разработали отдельные версии для каждого типа, но обнаружили, что лучше всего