Microsoft выпустила Phi-4 — семейство компактных рассуждающих языковых моделей с открытым исходным кодом

Microsoft представила семейство компактных рассуждающих языковых моделей Phi-4.  Продвинутая версия в некоторых бенчмарках превосходит DeepSeek-R1, GPT o1 и Claude-3.7-Sonnet. Код моделей и веса доступны на Hugging Face.

В релиз вошли три языковые модели, которые разработали на основе базовой версии Phi-4:

Phi-4-reasoning — рассуждающая языковая модель с контекстным окном в 32 тыс. токенов и 14 млрд параметров. Её обучили на датасете из «высококачественных» веб-данных и сгенерированных в GPT o3 промптах. 

Phi-4-reasoning-plus — дообученная версия Phi-4-reasoning с сопоставимым количеством параметров и размером контекстного окна. Модель генерирует более точные ответы.

Phi-4-mini-reasoning — небольшая рассуждающая модель, обученная на синтетических математических данных, которые сгенерировали с помощью Deepseek-R1. Размер модели всего 3,8 млрд параметров, что позволяет запускать её даже на мобильных устройствах. Например, Phi-4-mini-reasoning может стать персональным чат-ботом для изучения математики.

В качестве аппаратной платформы для файн-тюнинга версий reasoning и reasoning-plus использовали кластер из 32 видеоускорителей Nvidia H100 с 80 ГБ. Модель mini-reasoning обучали на 128 ускорителях. Сам процесс обучения занял около двух дней для каждой нейросети.

Microsoft протестировала семейство моделей Phi-4 в различных бенчмарках, включая математические. В тестах AIME 24 и 25 Phi-4-reasoning-plus с 14 млрд параметров оказывается производительнее DeepSeek-R1 с 617 млрд параметров и MoE-архитектурой. Также модель сопоставима с o3-mini, но сильно уступает Gemini-2.5-Pro.

В бенчмарках ArenaHard, HumanEvalPlus, MMLUPro, Kitab, Toxigen Discriminative и PhiBench 2.21 модели reasoning и reasoning-plus превосходят GTP-4o, но практически