1 миллион долларов получит тот, кто научит ИИ решать математические задачи

Недавно на известной площадке для ML-соревнований Kaggle был запущен конкурс AI Mathematical Olympiad. Его участники пытаются научить модели искусственного интеллекта решать задачи по математике, записанные в формате LaTeX, на уровне человека. Сложность задач соответствует уровню международной математической олимпиады для учеников старших классов International Mathematical Olympiad (IMO). Оттуда же позаимствовано и название соревнования.

В конкурсе принимают участие уже более 800 человек и 750 команд. Суммарный призовой фонд составляет $1,048,576 и будет распределен между пятью победителями. Организатором выступает одноименный фонд AIMO Prize, бюджет которого составляет $10,000,000. Он был учрежден, чтобы стимулировать открытую разработку ИИ-моделей, которые способны математически рассуждать на уровне человека.

Предоставленные участниками решения тестируются на 110 уникальных задачах. Чтобы избежать так называемой test-train утечки данных, они были придуманы экспертами специально для соревнования и сейчас засекречены. В решениях участникам разрешено использовать открытые предобученные LLM. В разделе Code уже можно увидеть подходы, основанные на следующих моделях:

DeepSeekMath. Лидирующая по количеству использований в соревновании и к тому же самая свежая модель, заточенная специально под математические задачи. Разработана исследователями из китайской лаборатории DeepSeek в начале 2024 года. Модель достигает поразительного результата в 51.7%на бенчмарке MATH, не уступая уровню сильнейших закрытых Gemini-Ultra и GPT-4.

Кроме того, из статьи о DeepSeekMath можно подчеркнуть множество светлых идей по сбору данных, методам файнтюнинга и обучению с подкреплением, которые могут оказаться очень полезными в борьбе за миллион