Анализ показывает, что совершенствование «рассуждающих» моделей ИИ может вскоре замедлиться

Анализ, проведённый Epoch AI, некоммерческим исследовательским институтом в области ИИ, показывает, что индустрия ИИ, возможно, не сможет добиться значительного повышения производительности моделей ИИ, основанных на рассуждениях, в течение длительного времени. Согласно результатам исследования, уже в течение года прогресс в области моделей, основанных на рассуждениях, может замедлиться.

Модели логического мышления, такие как o3 от OpenAI, в последние месяцы значительно улучшили результаты в тестах ИИ, особенно в тестах, измеряющих математические и программистские навыки. Модели могут применять больше вычислительных ресурсов для решения задач, что повышает их производительность, но при этом выполнение задач занимает больше времени, чем у обычных моделей.

Модели логического вывода разрабатываются путём сначала обучения обычной модели на огромном количестве данных, а затем применения метода, называемого обучением с подкреплением, который эффективно даёт модели «обратную связь» о её решениях сложных задач.

По данным Epoch, на данный момент передовые лаборатории ИИ, такие как OpenAI, не использовали огромное количество вычислительных мощностей на этапе обучения модели рассуждений с помощью подкрепления.

Ситуация меняется. Компания OpenAI заявила, что для обучения o3 она задействовала примерно в 10 раз больше вычислительных ресурсов, чем для обучения своего предшественника, o1, и Epoch предполагает, что большая часть этих вычислительных ресурсов была направлена на обучение с подкреплением. А исследователь OpenAI Дэн Робертс недавно сообщил, что в будущих планах компании обучение с подкреплением будет занимать гораздо больше вычислительных ресурсов, даже больше, чем при первоначальном обучении модели.

Но, согласно Epoch, существует