10 лет эволюции нейросетей в Яндекс Поиске: от поиска похожих картинок до мультимодальности в Нейро

В декабре 2014 года в новой версии Поиска по загруженной картинке мы впервые применили нейронные сети. После этого Яндекс стал гораздо лучше искать семантически близкие изображения. Это было применение свёрточных нейронных сетей, которые впервые двумя годами ранее продемонстрировали своё преимущество перед другими методами машинного обучения.

Справедливости ради стоит заметить, что это было не первое использование нейросетей в Яндексе. В 2012 году с помощью очень простой нейронной сети Яндекс предсказывал ситуацию с пробками, а в 2013 году использовал нейросети в распознавании речи в продукте SpeechKit.

Но вернёмся к поиску.

Следующим важным событием стало применение в 2015 году нейросетей для улучшения поиска по картинкам по текстовым запросам. До этого фактором определения релевантности картинки запросу была не сама картинка, а окружающий её текст на сайте. А новая модель оценивала релевантность запросу непосредственно самой картинки, помещая и картинку, и текст в одно общее мультимодальное семантическое пространство.

В 2016 году в поисковом алгоритме «Палех» наши разработчики впервые применили нейросети для ранжирования сайтов. DSSM‑подобная модель, разработанная в компании, использовалась для оценки семантической (смысловой) близости заголовков веб‑страниц и запросов пользователей. В 2017 в обновлении «Королёв» нейросеть применили уже не только к заголовкам, но и к текстам страниц. Поиск стал лучше отвечать на длинном хвосте уникальных запросов, для ранжирования ответов на которые другой информации было просто недостаточно.

В 2020 для ранжирования сайтов мы впервые применили тяжёлую нейронную сеть YATI (Yet Another Transformer with Improvements). Это действительно был «ещё один трансформер», архитектурно похожий