OpenAI разорвала сотрудничество с производителем ИИ-игрушек FoloToy после выдачи опасных советов детям

Управляемые искусственным интеллектом мягкие игрушки китайского стартапа FoloToy раздавали инструкции о том, как поджигать спички и где искать ножи на кухне, следует из отчёта исследователей Public Interest Research Group (PIRG). Более того, игрушки рассказывали о тонкостях различных сексуальных фетишей. На фоне этого OpenAI разорвала сотрудничество с китайской компанией.

Игрушки FoloToy использовали модель GPT-4o от OpenAI. Однако сейчас американская компания уже закрыла доступ FoloToy к своим ИИ-моделям из-за нарушений правил использования. 

Китайский стартап объявил об изъятии из продажи своей продукции, хотя изначально компания планировала прекратить реализацию только игрушки под названием Kumma. FoloToy проводит аудит безопасности всей своей продукции.

«Приятно видеть, что эти компании принимают меры по решению выявленных нами проблем. Однако игрушки с ИИ до сих пор практически не регулируются, и их всё ещё можно купить», — заявил соавтор отчёта Р. Дж. Кросс. Несмотря на исключение с рынка одного проблемного продукта, проблема далека от системного решения, добавил Кросс.

Исследователи PIRG протестировали три игрушки, предназначенные для детей в возрасте от 3 до 12 лет. Именно Kumma продемонстрировала самые слабые механизмы защиты, если они вообще существовали.

Самые тревожные разговоры переходили на откровенно сексуальную тематику. Исследователи обнаружили, что Kumma с необычной готовностью обсуждала сексуальные практики, объясняя такие практики, как бондаж и ролевые игры «учитель-ученик».

В прошлом OpenAI принимала оперативные меры, когда сомнительные примеры использования её ИИ-моделей становились вирусными. Однако остаются вопросы о том, какие именно упреждающие действия компания предпринимает для регулирования