Midjourney научился генерировать одинаковых персонажей

Один из главных недостатков генераторов изображений — невозможность создавать одинаковых персонажей в разных позах и локациях. Это сильно ограничивает использование нейросетей в разработке игр, создании комиксов и т.п. И вот Midjourney, наконец, услышал стоны миллионов пользователей и внедрил возможность воссоздавать одинаковых персонажей в новых генерациях.

Большинство нейросетей, создающих изображения по описанию, основаны на «диффузионных моделях», аналогичных или напрямую использующих алгоритмы генерации изображений Stable Diffusion (модель с открытым исходным кодом от Stability AI). Они работают очень грубо: берут текст пользователя и пытаются собрать изображение попиксельно, выбирая элементы, соответствующие введённой подсказке.

Как и в случае с большими языковыми моделями (LLM), такими как ChatGPT от OpenAI или новый Command-R от Cohere, проблема всех генераторов изображений заключается в том, что ИИ генерирует что-то новое для каждого отдельного запроса, даже если подсказка повторяется или используются одни и те же ключевые слова.

Это здорово, если вам нужно создать совершенно новые изображения. Но что, если вы создаете раскадровку фильма, игры, графического романа, комикса, в котором один и тот же персонаж должен появляться в разных сценах, обстановке, с разными выражениями лица и реквизитом?

Именно этот сценарий до сих пор было очень сложно реализовать с помощью генеративного ИИ. Midjourney пытается это исправить, представив новый тег «-cref» , который пользователи могут добавлять в конец своих текстовых подсказок. В этом случае Midjourney будет пытаться создавать картинки с одинаковым лицом, телосложением и даже одеждой, беря их из URL-адреса, который пользователь вставляет после указанного тега.

По мере развития и