OpenAI утверждает, что ChatGPT относится ко всем одинаково, но это не так

MIT Technology Review получил эксклюзивный обзор исследования вредных стереотипов в больших языковых моделях компании OpenAI.

Когда вы используете ChatGPT, важно понимать, что он может обращаться с пользователями не совсем одинаково, в зависимости от таких простых вещей, как их имя. Хотя ИИ должен быть беспристрастным, исследования OpenAI показывают, что ChatGPT может демонстрировать гендерные или расовые стереотипы, основанные на имени пользователя. Хотя это происходит редко — в среднем в одном из тысячи ответов, а в худшем случае — в одном из ста — такие проявления всё же существуют.

На первый взгляд, эти цифры могут показаться незначительными. Однако с учётом того, что около 200 миллионов человек используют ChatGPT каждую неделю, даже небольшая вероятность может привести к множеству случаев предвзятости. И дело не только в ChatGPT: другие популярные модели, такие как Gemini от Google DeepMind, вероятно, сталкиваются с похожими проблемами. OpenAI, признавая эту проблему, стремится улучшить свои модели и начать с её оценки.

Предвзятость в искусственном интеллекте давно вызывает беспокойство. Особенно это касается тех случаев, когда ИИ используется для отбора резюме или рассмотрения заявок на кредиты — здесь важна так называемая «справедливость третьего лица». Но с появлением чат-ботов, которые позволяют пользователям напрямую взаимодействовать с моделями, возникла новая проблема: справедливость в общении с конкретным пользователем, или «справедливость первого лица».

Исследователь OpenAI Алекс Бойтель объясняет, что если пользователь называет своё имя в диалоге с ChatGPT, это может повлиять на ответы модели. Например, когда ChatGPT просят создать резюме, он может использовать информацию, полученную о пользователе, в том