Новая модель Alibaba с открытым исходным кодом QwQ-32B: конкурент DeepSeek?

Qwen Team , подразделение китайского гиганта электронной коммерции Alibaba , разрабатывающее растущее семейство моделей большого языка (LLM) Qwen с открытым исходным кодом, представило QwQ-32B — новую модель рассуждений с 32 миллиардами параметров, предназначенную для повышения производительности при решении сложных задач с помощью обучения с подкреплением (RL).

Модель доступна как open-weight на Hugging Face и ModelScope по лицензии Apache 2.0. Это означает, что она доступна для коммерческого и исследовательского использования, поэтому предприятия могут немедленно использовать ее для питания своих продуктов и приложений (даже тех, за использование которых они взимают плату с клиентов).

Напомним, предыдущая модель - QwQ была впервые представлена Alibaba в ноябре 2024 года как модель рассуждений с открытым исходным кодом, призванная конкурировать с o1-preview от OpenAI.

Первоначальная версия QwQ, выпущенная еще в ноябре 2024 года (называемая просто «QwQ»), также имела 32 миллиарда параметров и длину контекста в 32 000 токенов. Alibaba подчеркнула свою способность превосходить o1-preview в математических бенчмарках, таких как AIME и MATH, а также в задачах на научное рассуждение, таких как GPQA.

Несмотря на свои сильные стороны, ранние итерации QwQ боролись с такими бенчмарками программирования, как LiveCodeBench, где модели OpenAI сохраняли преимущество. Кроме того, как и многие новые модели рассуждений, QwQ столкнулся с такими проблемами, как смешивание языков и периодические циклические рассуждения.

Однако решение Alibaba выпустить модель под лицензией Apache 2.0 гарантировало разработчикам и предприятиям возможность свободно адаптировать и коммерциализировать ее, что отличало ее от проприетарных альтернатив, таких как o1 от