Исследователи обнаружили, что больше не нужна тонна данных, чтобы обучить LLM выполнению логических задач

Согласно новому исследованию, проведенному исследователями Шанхайского университета Цзяо Тун, большие языковые модели (LLM) могут выполнять сложные задачи рассуждения, не полагаясь на большие наборы данных. Результаты исследования демонстрируют, что при использовании ограниченного количества тщательно отобранных образцов можно подготовить специалиста в области юриспруденции к выполнению задач, которые, как предполагалось, требуют огромного количества учебных материалов.

Такая эффективность обусловлена знаниями, которые современные большие языковые модели получают на этапе предварительного обучения. Благодаря новым методам обучения, которые становятся более эффективными с точки зрения использования данных и вычислений, предприятия смогут создавать индивидуальные модели, не прибегая к ресурсам крупных лабораторий AI.

В своем исследовании исследователи оспаривают предположение о том, что нужны большие объемы данных для обучения LLM выполнению задач на рассуждение. Они вводят концепцию «меньше значит больше» (LIMO). Их работа основывается на предыдущих исследованиях, которые показали, что LLM могут быть приведены в соответствие с предпочтениями человека на нескольких примерах.

В своих экспериментах они продемонстрировали, что могут создать набор данных LIMO для сложных задач, связанных с математическими рассуждениями, с помощью нескольких сотен обучающих примеров. Модель LLM, обученная на этом наборе данных, смогла создавать сложные цепочки рассуждений (CoT), которые позволяли ей выполнять задачи с очень высокой вероятностью успеха.

Например, модель Qwen2.5-32B-Instruct, доработанная на 817 обучающих примерах, выбранных на основе LIMO, достигла 57,1% точности на сложном наборе тестов AIME и 94,8% на MATH, превзойдя модели,