Совершенствование моделей интеллектуального ИИ может замедлиться

Анализ Epoch AI, некоммерческого исследовательского института ИИ, показывает, что индустрия ИИ, возможно, не сможет получить значительного прироста производительности от моделей ИИ, которые, как правило, думают посредством рассуждений гораздо дольше. Согласно выводам отчета, прогресс от моделей рассуждений может замедлять в течение года.

Модели рассуждений, такие как OpenAI-х o3, привели к значительному улучшению результатов тестов ИИ за последние месяцы, особенно в тестах, измеряющих навыки математики и программирования. Модели могут применять больше вычислений для решения задач, что может повысить их производительность, но недостатком является то, что им требуется больше времени, чем обычным моделям, для выполнения задачи.

Модели рассуждений разрабатываются путем обучения традиционной модели на большом объеме данных, а затем применения метода, называемого обучением с подкреплением, который фактически дает модели «обратную связь» относительно ее решений сложных проблем.

По данным Epoch, до сих пор передовые лаборатории искусственного интеллекта, такие как OpenAI, не применяли огромные вычислительные мощности на этапе обучения с подкреплением в моделях рассуждений.

Это меняется. OpenAI заявила, что использовала примерно в 10 раз больше вычислений для обучения o3, чем ее предшественник o1, и Epoch предполагает, что большая часть этих вычислений была посвящена обучению с подкреплением. А исследователь OpenAI Дэн Робертс недавно сказал, что планы компании на будущее включают в себя приоритет обучения с подкреплением, чтобы использовать гораздо больше вычислительной мощности, даже больше, чем для первоначального обучения модели.

Однако все еще существует верхний предел того, какой объем вычислений может быть применен к