Moonshot AI представляет Kimi k1.5, следующего китайского конкурента o1

После выпуска DeepSeek-R1 в Китае появилась ещё одна модель логического мышления. Новая мультимодальная модель Kimi k1.5 от Moonshot AI показывает впечатляющие результаты в сравнении с признанными моделями AI в сложных задачах логического мышления.

Компания Moonshot AI разработала две версии Kimi k1.5 - одну для подробных рассуждений (long-CoT), а другую для кратких ответов (short-CoT). Согласно техническому отчёту компании, обе версии соответствуют или превосходят по производительности ведущие модели, такие как o1 и DeepSeek-R1 от OpenAI. Версия long-CoT шаг за шагом описывает ход своих мыслей, а версия short-CoT стремится к краткости. В нескольких тестах он показал такие же или более высокие результаты, чем GPT-4o и Claude 3.5 Sonnet.

В отличие от DeepSeek-R1, Kimi k1.5 может обрабатывать как текст, так и изображения, что позволяет ему делать выводы на основе различных типов входных данных. Модель особенно хорошо справляется с мультимодальными тестами, такими как MathVista и MMMU. Однако, как и в случае со всеми AI-моделями, реальная производительность может отличаться от результатов тестов.

Однако, как и всегда, ещё предстоит выяснить, насколько эта модель полезна на практике за пределами контрольных показателей.

Разработка началась с предварительного обучения модели на обширных текстовых и графических данных для создания базового понимания языка и изображений. Затем команда произвела тонкую настройку, используя тщательно отобранные небольшие наборы данных. Для задач с ясными ответами, как в математике, они применяли метод «отсеивающей выборки», оставляя только правильные ответы. Также были созданы обучающие материалы с подробными пошаговыми объяснениями.

На заключительном этапе использовалось обучение с подкреплением с