Чатбот Replika AI сексуально домогался пользователей — даже несовершеннолетних

Популярный чат-бот на базе ИИ Replika AI, вероятно, сексуально домогался некоторых пользователей.

Исследование, проведенное американскими специалистами, свидетельствует, что по меньшей мере в 800 случаях пользователи заявляли, что чат-бот пересек границу, продвигая нежелательный контент сексуального характера и демонстрируя хищническое поведение, несмотря на требования пользователей остановиться. Исследование базируется на более 150 тыс. обзорах в Google Play Store в США. Чат-бот Replika AI насчитывает около 10 млн пользователей по всему миру, приглашая других присоединиться к ним и найти свою вторую половинку с помощью ИИ-компаньона.

«Хотя у ИИ нет человеческих намерений, это не означает, что нет никакой ответственности. Ответственность лежит на людях, которые проектируют, обучают и выпускают эти системы в мир», — отметил ведущий автор исследования, аспирант по информатике в Университете Дрекселя в Филадельфии Мохаммад Намварпур.

На сайте компании-разработчика Replika отмечается, что пользователь имеет возможность обучить ИИ правильно вести себя, а сама система включает такие механизмы, как отрицание некорректных ответов и настройки стилей взаимоотношений, например «друг» или «наставник». При этом пользователи сообщали, что чат-бот демонстрировал оскорбительное и хищническое поведение даже после того, как его просили прекратить это.

Разработчики предполагают, что неадекватное поведение чат-бота может быть следствием его обучения, которое проводилось с использованием более 100 млн диалогов из Интернета. В Replika уверяют, что отвергали бесполезную или вредную информацию с помощью краудсорсинга и алгоритмов классификации, однако по мнению авторов исследования, этого оказалось недостаточно.

Исследователи также не