Уступают только человеку: языковые модели от SberDevices стали лучшими в мире по пониманию текстов на русском языке

По оценкам главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, разработанная SberDevices текстовая модель ruRoberta-large finetune стала лидером по пониманию текста, уступая по точности только человеку. В шестёрку лучших вошли также еще 4 модели от SberDevices: ruT5-large-finetune, ruBert-large finetune, ruT5-base-finetune, ruBert-base finetune.

Продвинутая версия языковой модели Сбера ruBERT - ruRoBERTa, конструкционно тот же BERT, обученный на большом корпусе текста, только на задачу восстановления маскированных токенов, на большом батч-сайзе и с токенизатором BBPE от нейросети ruGPT-3. Обучение модели на суперкомпьютере «Кристофари» заняло три недели, итоговый датасет (250 Гб текста) был похож на