Нейросети поверили в историю про выдуманную болезнь

Исследовательница из Гётеборгского университета в Швеции Альмира Тунстрём придумала кожное заболевание под названием биксонимания, а затем загрузила два фальшивых исследования о нём на сервер препринтов в начале 2024 года. Она затеяла этот необычный эксперимент, чтобы проверить, смогут ли большие языковые модели отличить дезинформацию, либо же выдадут её за авторитетные медицинские рекомендации.

Тунстрём описала биксониманию как заболевание, при котором от долгого сидения за монитором болят и чешутся глаза, а веки могут порозоветь. 15 марта 2024 года она опубликовала на сайте Medium два поста в блоге о болезни. 26 апреля и 6 мая того же года вышли два препринта в академической социальной сети SciProfiles. Главным автором был вымышленный исследователь по имени Лазлив Изгубленович, чья фотография была создана с помощью ИИ.

Тунстрём говорит, что она обучает своих студентов тому, как системы ИИ формируют «знания», и показывает им, как база данных Common Crawl влияет на их результаты. Она также демонстрирует студентам, как внедрение подсказки, чтобы вывести чат-боты за пределы защитных механизмов, позволяет манипулировать результатом.

При публикации препринтов Тунстрём добавила множество подсказок, чтобы предупредить читателей о подделке работы. Так, Изгубленович работает в несуществующем учреждении под названием «Университет Астерия Горизонт» в вымышленном городе Нова-Сити в Калифорнии. В благодарностях одной из статей выражается признательность «профессору Марии Бом из Академии Звёздного флота за её доброту и щедрость в предоставлении своих знаний и лаборатории на борту USS Enterprise». В обеих статьях говорится, что они были профинансированы «Фондом профессора Сайдшоу Боба за его работу в области продвинутых трюков и являются