Новый тест HLE выявил слабые места AI: 90% задач остаются нерешенными

Международная исследовательская группа разработала новый бенчмарк, который выявляет текущие ограничения LLM. Даже самые продвинутые модели не справляются с 90 процентами задач — на данный момент.

Тест под названием «Последний экзамен человечества» (HLE) включает 3000 вопросов по более чем 100 специализированным областям, 42 процента из которых посвящены математике. В его разработке приняли участие около 1000 экспертов из 500 учреждений в 50 странах.

Исследователи начали с 70 000 вопросов и представили их ведущим моделям AI. Из них 13 000 вопросов оказались слишком сложными для систем AI. Затем эти вопросы были доработаны и рассмотрены экспертами-людьми, которым платили от 500 до 5 000 долларов за высококачественный вклад. 3 000 вопросов попали в набор данных.

Результаты не лестные. Даже самые сложные модели AI с трудом справляются с этим бенчмарком. GPT-4o решает правильно только 3,3 процента задач, в то время как o1 от OpenAI достигает 9,1 процента, а Gemini — 6,2 процента. Сложность теста отчасти обусловлена ​​его дизайном, поскольку в финальную версию были включены только вопросы, которые изначально ставили эти модели AI в тупик.

Ведущие модели ИИ имеют низкие показатели точности — ниже 10%, а ошибки калибровки постоянно превышают 80%. DeepSeek-R1 , протестированный только на тексте, достигает самой высокой точности — 9,4%. Gemini Thinking имеет самую высокую ошибку калибровки — 93,9%.  Одной из наиболее тревожных находок является то, насколько плохо системы AI оценивают свои собственные возможности. Модели демонстрируют экстремальную самоуверенность, при этом ошибки калибровки превышают 80 процентов, что означает, что они обычно очень уверены в своих неправильных ответах. Этот разрыв между уверенностью и точностью делает