Модель ИИ Claude 3 от Anthropic опередила GPT-4 в рейтинге Chatbot Arena

Большая языковая модель Claude 3 Opus от компании Anthropic впервые превзошла GPT-4 от OpenAI на Chatbot Arena — популярном краудсорсинговом рейтинге, используемом исследователями для оценки возможностей языковых моделей ИИ.

Независимый исследователь Саймон Уиллисон (Simon Willison) отметил, что это первый случай, когда лучшие доступные модели, такие как Opus для сложных задач и Haiku для эффективности, принадлежат поставщику, отличному от OpenAI.

Chatbot Arena управляется организацией Large Model Systems Organization (LMSYS ORG) и основана на субъективных оценках пользователей, сравнивающих выходные данные различных языковых моделей. Этот подход помогает преодолеть трудности в объективной оценке производительности чат-ботов с ИИ.

Успех Claude 3 свидетельствует о растущей конкуренции в сфере языковых моделей ИИ. Некоторые пользователи уже заменили ChatGPT на Claude 3 в своих рабочих процессах, что может повлиять на долю рынка OpenAI.

Тем не менее ожидается, что OpenAI выпустит новую крупную модель, преемницу GPT-4 Turbo, в течение этого года, возможно, летом. Это, вероятно, приведет к дальнейшим изменениям в рейтингах Chatbot Arena в ближайшие месяцы и годы.

Исследователи подчеркивают важность разнообразия ведущих поставщиков в этой области, поскольку оно способствует развитию технологий языковых моделей ИИ и повышению их производительности.

Источник: Ars Technica