Яндекс представил третье поколение больших языковых моделей YandexGPT

Сегодня мы анонсируем линейку нейросетей YandexGPT 3. Первая из них — YandexGPT 3 Pro — уже доступна по API на сайте Yandex Cloud, в том числе в бесплатном демо-режиме. Кроме того, теперь вы сможете дообучить новую нейросеть самостоятельно.

Нейросети нового поколения лучше работают со сложными запросами и точнее следуют заданному формату ответов, благодаря чему будут особенно полезны при решении реальных задач пользователей и компаний. 

В ближайшее время нейросети YandexGPT 3 появятся и в сервисах Яндекса для широкой аудитории.

Для оценки качества работы YandexGPT 3 Pro мы провели несколько тестов. Во-первых, оценили модель на локализованной версии международного бенчмарка MMLU. Во-вторых, протестировали модель методом Side-by-Side на реальных запросах пользователей и компаний. В-третьих, создали свой русскоязычный тест на базе бенчмарка IFEval для оценки соответствия ответа заданному в запросе формату. Теперь чуть подробнее о каждом.

Для оценки качества работы новой нейросети мы создали YaMMLU_ru — русскоязычную версию открытого международного бенчмарка MMLU. Для этого мы перевели оригинальные задания на русский язык с помощью Яндекс Переводчика. Затем эксперты перепроверили тексты, исправили ошибки, а также локализовали запросы (например, привели единицы измерений в соответствие с российскими стандартами). Такая версия позволяет лучше учесть локальный контекст и специфику сформулированных на русском языке запросов.

Также мы применили метод SBS для того, чтобы оценить, как новая модель справляется с генерацией идей, обобщением информации, задачами классификации, созданием контента и другими востребованными у пользователей и компаний запросами.

Количество ситуаций, когда модель не дает ответ на вопрос пользователя, уменьшилось