Европейские учёные ускорили обучение ИИ-рекомендаций в 60 раз с помощью российского датасета Yambda

Исследователи из Амстердамского университета представили метод, который ускоряет обучение современных рекомендательных систем в десятки раз без потери качества. Наиболее впечатляющие результаты были достигнуты благодаря тестированию на российском датасете Yambda. Ускорение составило почти 60 раз. Об этом информационной службе Хабра сообщила пресс-служба «Яндекса».

Yambda является одним из крупнейших в мире публичных наборов данных. Он включает почти 5 млрд обезличенных событий из «Яндекс Музыки». «Яндекс» выложил датасет в открытый доступ в 2025 году. Набор данных стал важным инструментом для тестирования ИИ-рекомендаций на реальных промышленных масштабах.

Работа посвящена улучшению модели Seater. Это система рекомендаций, которая применяется для подбора товаров, музыки и другого контента в онлайн-сервисах. В отличие от традиционных алгоритмов, выбирающих объекты из готового списка, Seater организует все товары или треки в иерархический каталог. Он похож на дерево «папок» на компьютере. Похожие объекты оказываются в соседних «папках». Это позволяет системе быстрее и точнее выдавать рекомендации.

Главной проблемой этого подхода была медленная подготовка такого «дерева-каталога» перед обучением модели. При масштабах в сотни тысяч позиций этот этап занимал до 20% всего времени обучения. В реальных продуктах это мешало часто обновлять рекомендации и быстро реагировать на изменения пользовательских предпочтений.

Чтобы устранить это ограничение, учёные предложили два более быстрых способа подготовки данных. Первый делает ставку на максимальную скорость и распределяет объекты по «папкам» без тщательной подгонки. Второй сочетает быстрый начальный этап с более точной доработкой внутри небольших групп.

Новые методы проверили на