YandexGPT заняла первое место в англо‑русском переводе среди нейросетей по результатам бенчмарка DiBiMT

«Яндекс Переводчик» с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT, сообщили в пресс‑службе «Яндекса» информационной службе Хабра. Как объяснили разработчики, внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обойти таких лидеров, как Google Translate, ChatGPT и DeepL.

Бенчмарк DiBiMT представляет собой эталонный тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, кроме «Яндекс Переводчика» с YandexGPT, приняли участие 22 системы перевода, например, GPT-4, Gemma 2 9B, Llama-3 8B и другие.

Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — словами, одинаковыми по написанию, но имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей был сформирован публичный рейтинг.

ML Brand Director «Яндекса»

«Яндекс Переводчик занимает первое место по качеству англо-русского перевода второй год подряд. Однако рынок стремительно меняется. Развитие искусственного интеллекта открыло перед игроками новые возможности, и многие крупные компании внедрили в свои продукты большие языковые модели. Яндекс в прошлом году сделал это одним из первых, что позволило не только сохранить лидерские позиции, но и, что важнее, добиться кратного роста качества работы