Роботизированная альтернатива DALL-E. Исследователи создали ИИ-машину, вручную рисующую картины на основе текстовых, аудио и визуальных подсказок

Инженеры из группы Bot Intelligence Group (BIG) Университета Карнеги-Меллона создали робота, очень похожего на нейросеть DALL-E. Он так же с легкостью создает рисунки, полагаясь на подсказки — однако не выдает мгновенное цифровое изображение, а создает его вручную.

Роботу FRIDA (Framework and Robotics Initiative for Developing Arts), названному в честь мексиканской художницы Фриды Кало, потребуется немного контекстной информации и около часа времени, чтобы создать изображение. Кроме текстовых подсказок, робот реагирует на визуальные изображения: например, чтобы вдохновить ИИ, исследователи загрузили фото бюста Илона Маска и произнесли «ребенок плачет». Вот что создал робот:

Some of our new work on the FRIDA project: Robot Synesthesia, painting from sound and emotion inputs.https://t.co/LrqyGigg5J pic.twitter.com/ouswMrMdyh

— FRIDA Robot Painter (@FridaRobot) February 12, 2023

Исследователи экспериментировали и с другими типами подсказок, например, дали роботу послушать песню Dancing Queen от Abba.

Однако FRIDA вряд ли можно воспринимать как настоящего художника, поскольку робот не имеет способности к креативности.

«FRIDA – это роботизированная система рисования, но FRIDA – не художник. Она не генерирует идеи, это система, с которой автор может сотрудничать. Художник может указать для FRIDA высокие цели, а робот сможет их реализовать», – говорит студент и ведущий инженер Университета Карнеги-Меллона Питер Шалденбранд.

Алгоритмы работы не отличаются от используемых в ChatGPT и DALL-E 2. Это генеративная состязательная сеть (GAN), созданная для рисования картин и улучшения результата на основе оценок ее производительности. Теоретически с каждой картиной FRIDA должна лучше интерпретировать подсказку и делать лучший