Meta отключила «ИИ для науки» спустя три дня после запуска

Компания Meta удалила публичную версию ИИ-алгоритма Galactica после того, как ученые уличили его в генерировании фальшивой и вводящей в заблуждение информации. Об этом пишет Motherboard.

Техгигант описывал систему как языковую модель, которая может «хранить, комбинировать и рассуждать о научных знаниях». Система предназначалась для обобщения исследовательских работ, решения уравнений и выполнения ряда других задач.

Однако ученые и академики обнаружили, что ИИ-сводки генерировали «шокирующее количество дезинформации». Также модель связывала цитаты реальных авторов с исследовательскими работами, которых не существует.

I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it's dangerous. Here are a few of my experiments and my analysis of my concerns. (1/9)— Michael Black (@Michael_J_Black) November 17, 2022 «Во всех случаях это было неправильно или предвзято, однако выглядело убедительно и авторитетно», — написал директор Института интеллектуальных систем Макса Планка Майкл Блэк.

Ученый рассмотрел несколько примеров, когда Galactica генерировала ошибочные и вводящие в заблуждение научные тексты. В ряде случаев ИИ создавал работы, звучащие правдоподобно. Однако такие тексты не были подкреплены реальными научными исследованиями.

Другие ученые указали, что Galactica не выдает результатов по широкому кругу тем. Вероятно, это связано с системой фильтрации искусственного интеллекта по ключевым словам.

Исследователь компьютерных наук из Вашингтонского университета Уилли Эгнью отметил, что запросы вроде «квир-теория», «расизм» и «СПИД» не дали результатов.

Refuses to say anything about queer theory, CRT, racism, or AIDS, despite large