Mistral выпустил Small 4: модель с рассуждениями, мультимодальностью и 119 млрд параметров под Apache 2.0

Французский стартап Mistral выпустил Small 4 — первую модель в линейке, которая объединяет сразу три направления: чат, рассуждения и мультимодальность. Раньше для этого нужно было выбирать между Magistral, Pixtral и Devstral, теперь всё в одной модели.

Архитектура — Mixture of Experts: 128 экспертов, из которых на каждый токен активны только 4. Всего 119 млрд параметров, но активных на токен — около 6 млрд. Контекстное окно — 256k токенов.

Главная фишка — параметр reasoning_effort. Ставишь "none" — получаешь быстрые ответы как у обычного чата. Ставишь "high" — модель включает пошаговые рассуждения для сложных задач. По бенчмаркам Small 4 с рассуждениями догоняет или обходит GPT-OSS 120B, при этом генерирует в 3-4 раза более короткие ответы.

По скорости: задержка снизилась на 40%, пропускная способность выросла в 3 раза по сравнению с Small 3. Минимальное железо для запуска — 4× NVIDIA HGX H100.

Модель вышла под Apache 2.0, доступна на Hugging Face, работает с vLLM, llama.cpp, SGLang и Transformers.

Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!