Сотрудники крупных ИИ-компаний запустили проект Poison Fountain, чтобы навредить обучению нейросетей

Если некоторые радикальные критики ИИ предлагают взрывать дата‑центры, то новая инициатива подходит к вопросу тоньше, но не менее разрушительно.

Проект с говорящим названием Poison Fountain предлагает владельцам сайтов кормить веб‑скрейперов, собирающих данные для обучения ИИ, специально сконструированными «отравленными» наборами данных. Цель — саботировать работу языковых моделей, превратив многомиллиардные разработки в неадекватные системы.

Как сообщает The Register, проект стартовал на прошлой неделе. Что делает ситуацию особенной, так это происхождение его участников: по данным источника издания, они являются сотрудниками крупных американских ИИ‑компаний. «Ситуация обостряется так, как общественность в целом не осознаёт», — предупреждает инсайдер.

На сайте проекта изложена его философия: «Мы согласны с Джеффри Хинтоном: машинный интеллект представляет угрозу для человеческого вида. В ответ на эту угрозу мы хотим нанести ущерб системам машинного интеллекта». Хинтон, один из «крестных отцов» современного ИИ, действительно стал одним из самых громких критиков индустрии, которую помог создать.

Успех современного ИИ зиждется не только на архитектуре моделей, но и на осознании того, что для их обучения нужны огромные массивы данных, которые раньше считалось невозможным собрать. Интернет стал для этого идеальной золотой жилой. Однако многие считают практику скрейпинга неэтичной и незаконной, что вылилось в множество судебных исков о нарушении авторских прав.

Здесь и кроется уязвимость: ИИ настолько хорош, насколько хороши данные, на которых он обучен. Испортьте данные — и вы испортите ИИ. Ранее подобный подход уже использовался, например, в инструменте Nightshade, который позволял художникам незаметно «отравлять»