Яндекс представил новую версию машинного перевода, обученную с помощью YandexGPT

Мы впервые применили большую языковую модель YandexGPT для подготовки эталонных примеров текстов, на которых затем обучили нейросеть в Яндекс Переводчике. Это позволило сервису точнее понимать контекст, распознавать фразеологизмы и ориентироваться в профессиональной лексике.

Переводчик стал качественнее справляться с длинными и сложными текстами. Благодаря дообучению он лучше определяет взаимосвязи внутри предложений и между ними. Кроме того, выросло качество перевода статей узконаправленной тематики. Например, сервис теперь поймёт по контексту, что речь идёт о языке программирования или фондовом индексе, и оставит их названия без перевода.

Яндекс использует технологию машинного перевода на основе нейросетей с 2018 года: есть даже статья на Хабре в нашем блоге. Нейросеть в Переводчике обучается на парах текстов — оригиналах и их переводе на другой язык. Так она учится видеть взаимосвязи между ними и подражать им. Причём это очень быстрая, легковесная нейросеть: это позволяет ей справляться с большим количеством пользовательских запросов в реальном времени.

Большая языковая модель YandexGPT требует больше ресурсов, работает медленнее, но зато способна генерировать сложные, лексически и стилистически разнообразные тексты, в том числе со специфической терминологией. Поэтому мы применили её для создания эталонных примеров, чтобы расширить датасет и повысить его качество. Так более лёгкая нейросеть в Переводчике, обученная на новом датасете, не потеряла в скорости, но стала умнее.

Для генерации эталонных обучающих примеров мы разработали специализированную модель семейства YandexGPT, адаптировав её под задачи перевода. Сначала модель на этапе предобучения (pretraining) проанализировала множество текстов на английском и русском