Cerebras ускорила 1 трлн модель kimi K2.6 до тысяча т/sec

Недавно компания производитель чипов Cerebras добавила топовую открытую трилионную модель Kimi k2.6, на свою платформу.

В сравнении со другими компаниями - это невероятный апгрейд скорости. По сути теперь доступна флагманская скорость для флагманской нейросетевой модели.

К сожалению сейчас доступна только enterprise клиентам. Для остальных же доступна тоже интересная модель glm-4.7.

Давайте разберемся, что происходит с Kimi K2.6. Эта модель сейчас — настоящий король open-weight для кодинга и агентов.

Она просто разрывает бенчмарки: на SWE-Bench Pro выбила 58.6%, обойдя Claude Opus 4.6 и встав вровень с GPT-5.4. А на тестах для агентов (типа Humanity's Last Exam или DeepSearchQA) — вообще лидер.

Разработчики уже вовсю юзают её как бесплатную альтернативу закрытым топам. Особенно для кода: K2.6 прям чувствует, как делать чистый фронтенд, и стала топовой для генерации full-stack приложений. В версии 2.6 она пошла дальше — теперь это полноценный full-stack воркфлоу: аутентификация, базы данных, длинные цепочки действий агентов.

У Cerebras есть свой движок (Wafer-Scale Engine), который заточен под масштаб. Кластер CS-3 можно настроить так, что он будет тащить модели с триллионами параметров — и для обучения, и для инференса. Они вылизали софт до блеска, чтобы обслуживать ее.

Хитрость в том, как они хранят модель: Kimi K2.6 лежит в оригинальных 4-битных весах, но все вычисления идут в 16-битной плавающей точкой. Так и точность сохраняется, и памяти меньше жрёт. Веса размазаны по нескольким чипам, а активации стримятся между ними. Связь между слоями идёт прямо по сети на движке — у него пропускная способность в 200+ раз выше, чем у NVLink на NVL72. Плюс кастомные ядра и спекулятивный декодинг — в итоге MoE-модель на триллион