Microsoft представила модель rStar-Math для математических рассуждений и решения задач

Группа исследователей математики и ИИ в Microsoft Asia спроектировала и разработала небольшую языковую модель (SLM) под названием rStar-Math, которую можно использовать для решения математических задач. Группа опубликовала статью на сервере препринтов arXiv, где описываются технология и математика, лежащие в основе нового инструмента, а также итоги его тестов.

SLM, которые, как следует из их названия, меньше и, следовательно, гораздо менее ресурсоёмки. Некоторые из них даже могут работать локально на устройстве. Один из основных способов, которым исследователи ИИ наилучшим образом используют SLM, — это сужение фокуса и ответы на вопросы в конкретной сфере. В Microsoft сосредоточили свои усилия не только на решении математических задач, но и на обучении SLM тому, как рассуждать о решении проблемы.

Разрабатывая свою модель, исследователи заложили в неё возможность использования более крупными. Вероятно, новые LLM будут представлять собой именно объединение многих SLM. Примечательно, что объявление Microsoft появилось вскоре после дебюта её SLM Phi-4, которая также служит для решения математических задач.

Исследователи отмечают, что rStar-Math работает иначе, чем Phi-4, используя поиск по дереву Монте-Карло — метод рассуждения, разработанный для имитации того, как люди решают проблемы пошагово. Они поясняют, что, используя такой подход, SLM может разбить проблему на более мелкие части, чтобы выяснить, как решить её. Исследователи подчёркивают, что rStar-Math выводит свой мыслительный процесс как в коде Python, так и на естественном языке.

rStar-Math включает три инновации: новый метод синтеза данных CoT с дополненным кодом, который выполняет обширные развёртывания с помощью поиска по дереву Монте-Карло для генерации пошаговых