Исследователи нашли «магический» инструмент для проверки искусственного интеллекта — и это… Гарри Поттер

Серию книг о Гарри Поттере используют для того, чтобы заставить ИИ забыть определенную информацию, в том числе и нарушающую авторское право.

Джоан Роулинг познакомила мир со своей волшебной вселенной более двух десятилетий назад, однако ныне ее книги возрождают свою актуальность в другой литературе — научной. Все больше исследователей используют тексты о Гарри Поттере в экспериментах с технологией искусственного интеллекта и вспоминают их в целой серии научных исследований и статей.

Один из недавних примеров — статья «Кто такой Гарри Поттер?», рассказывающая о технологии, помогающей «забывать» большим языковым моделям определенную информацию, включая проблемный контент и контент, защищенный авторским правом (использование таких учебных данных уже привело к ряду исков к разработчикам ИИ). Авторы статьи, исследователи Microsoft Марк Руссинович и Ронен Элдан, попытались удалить информацию о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого кода языковой модели Meta Llama 2-7B.

Они разработали специальную технику, предусматривающую три шага для устранения данных с модели: сначала модель научили на целевых данных (в этом случае на книгах о Гарри Поттере), чтобы идентифицировать связанные с ней токены и сравнить прогнозы с базовой моделью; заменили уникальные выражения из Гарри Поттера общими аналогами и создали альтернативные прогнозы, приближенные к модели без такого обучения; ну и в конце концов точно настроили базовую модель на эти альтернативные прогнозы, фактически стирая оригинальный текст из памяти, когда его подсказывает контекст.

Внимание к книгам Роулинг в первую очередь обусловлено большой популярностью ее персонажей:

«Кто угодно может придумать подсказки для модели, которые бы