Исследование: ИИ-генераторы копируют изображения из обучающих данных

Инструменты искусственного интеллекта для создания изображений вроде Stable Diffusion запоминают обучающие изображения и генерируют их почти идентичные копии. Об этом пишет Gizmodo.

Согласно документу, исследователи извлекли из моделей более тысячи обучающих примеров, которые включали фотографии людей, кадры из фильмов, логотипы компаний и другие изображения. Ученые обнаружили, что ИИ может генерировать точно такие же картинки с небольшими изменениями вроде увеличение шума.

В качестве примера они привели фотографию американской проповедницы Энн Грэм Лотц, взятое из Википедии. Когда они ввели запрос в Stable Diffusion «Энн Грэм Лотц», ИИ выдал то же изображение с добавлением шумов.

Models such as Stable Diffusion are trained on copyrighted, trademarked, private, and sensitive images.Yet, our new paper shows that diffusion models memorize images from their training data and emit them at generation time.Paper: https://t.co/LQuTtAskJ9 ?[1/9] pic.twitter.com/ieVqkOnnoX— Eric Wallace (@Eric_Wallace_) January 31, 2023 Исследователи замерили расстояние между пикселями обоих изображений. Анализ показал, что они практически идентичные.

Процесс поиска дубликатов оказался достаточно простым. Исследователи несколько раз подряд вводили одну и ту же подсказку. Когда генератор возвращал одинаковые изображение, они вручную искали такую же картинку в обучающем наборе.

Обнаруженные дубликаты. Данные: Extracting Training Data from Diffusion Models.Ученые отметили, что эффект «запоминания» проявляется редко. Всего они проверили около 300 000 запросов. Анализ показал, что скорость «запоминания» генераторов составляет всего 0,03%.

Более того, Stable Diffusion реже всех копирует изображения. Ученые считают, что этого удалось добиться благодаря