Adobe Firefly — новое поколение генеративного ИИ, которое будет использоваться в Photoshop, After Effects и Premiere Pro

Программное обеспечение Adobe для редактирования фото/видео уже давно полагается на помощь машинного интеллекта Sensei AI, а ныне компания представляет следующее поколение ИИ-функций — генеративные модели Firefly, создающие шрифты, изображения, аудио, видео и 3D-модели.

«Генеративный искусственный интеллект — это следующий шаг в эволюции креативности и производительности, который превращает общение художника с компьютером в нечто более естественное, интуитивно понятное и мощное», — сказал Дэвид Вадвани, президент Adobe Digital Media Business.

Firefly имеет мультимодальный характер и может создавать аудио, видео, иллюстрации и 3D-модели по текстовым подсказкам. Первая модель, которая доступна уже сейчас и пока может генерировать только изображения и шрифты, обучена на «сотнях миллионов» изображений из каталога фотографий Adobe Stock и других материалов общего пользования, что практически гарантирует, что ее использование не приведет к судебным тяжбам (как в случае из StableDiffusion и Getty).

Интерфейс системы имеет окошко чата для текстовых подсказок с подборкой сгенерированных фрагментов. Как только пользователь введет текст, система продемонстрирует с десяток первоначальных предложений. Далее можно менять стили и эффекты изображения или редактировать подсказку до тех пор, пока система не выдаст то, что нужно.

Качество полученных изображений – почти фотореалистичное, хотя на демонстрациях не видно рук, поэтому подсчитать количество пальцев на руках не удалось – а это проблема, с которой часто сталкивались пользователи других генеративных нейросетей.

Adobe рассматривает внедрение возможности добавлять собственные портфолио в базу данных для обучения модели, что позволит художникам воспроизводить продукт с собственным