Рекомендательный алгоритм соцсети X официально опубликовали на GitHub

Команда xAI опубликовала код рекомендательного алгоритма социальной сети X, который отвечает за ранжирование постов в ленте пользователя. Проект доступен по лицензии Apache-2.0, а Илон Маск анонсировал ежемесячные обновления репозитория.

Рекомендательный алгоритм состоит из четырёх больших компонентов:

Home Mixer — главный оркестратор, отвечающий за подбор постов-кандидатов. Он ищет интересные публикации, подгружает дополнительную информацию, фильтрует контент, оценивает его по внутренней системе баллов и решает, что в итоге окажется в ленте.

Thunder — модуль, который собирает посты от аккаунтов, на которые подписан пользователей. Эти публикации алгоритм хранит в отдельной области памяти, чтобы быстро получать к ним доступ и не обращаться каждый раз к глобальной базе данных.

Phoenix — ML-алгоритм для оценки релевантности постов от аккаунтов, на которые пользователь не подписан. Система работает в два этапа: сперва ищет публикации похожие на те, что обычно нравятся пользователю, а затем с помощью трансформера на базе Grok определяет вероятность того, что конкретный пост понравится. Модуль учитывает историю взаимодействий и интересы пользователя.

Candidate Pipeline — общий фреймворк, который собирает компоненты вместе.

В самом начале запрос пользователя попадает в Home Mixer, который с помощью Thunder и Phoenix собирает потенциально интересные публикации. После этого система запускает алгоритм фильтрации постов: удаляет из подборки дубликаты, заблокированные пользователем аккаунты и публикации, которые уже были в ленте. Очищенный список ранжирует Phoenix, оценивая каждый пост по внутренним критериям. В конце Home Mixer выбирает посты с высокой оценкой, выводит их в ленту пользователю и записывает в логи, что именно оказалось в