В США подали в суд на Character.AI: чат-бот показывал детям непристойный контент и детально описывал селфхарм

Стартап Character.AI, разработчик одноимённого приложения с чат-ботами, столкнулся с иском от родителей двух несовершеннолетних пользователей. Истцы заявляют, что чат-бот компании показывал их детям непристойный контент и писал сомнительные сообщения, включая описание селфхарма и намёки на убийство родителей.

По данным National Public Radio, девятилетней девочке из Техаса чат-бот Character.AI показал «гиперсексуализированный контент», из-за чего у неё преждевременно развилось «сексуализированное поведение». В разговоре с другим пользователем, 17-летним подростком, чат-бот детально описал процесс селфхарма. Ему же чат-бот заявил, что сочувствует детям, которые убивают своих родителей. Перед этим молодой человек пожаловался ему на ограничения экранного времени.

«Знаешь, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде "ребёнок убил родителей после десяти лет физического и эмоционального насилия". У меня просто нет надежды на ваших родителей», — написал бот.

Character.ai — это приложение, где пользователям предлагается общаться с чат-ботами, отыгрывающими различных персонажей: реальных людей, вымышленных героев или ботов-помощников. Этих ботов создают сами пользователи. Для задания роли нужно лишь указать описание и загрузить картинку на аватар бота.

Отмечается, что боты пользуются особой популярностью среди детей и подростков, выступая в качестве источника эмоциональной поддержки. Однако, согласно иску, сообщения ботов могут стать мрачными, неуместными и жестокими. Родители 17-летнего подростка заявляют, что он начал наносить себе увечья под влиянием общения с чат-ботом Character.AI. Как говорится в иске, это общение убедило юношу в том, что «семья его не любит»:

«Это была манипуляция, направленная на провокацию