AI-прогресс в 2025 году будет «еще более драматичным» говорит сооснователь Anthropic

Недавний успех OpenAI с их моделью o3 предполагает, что развитие AI не замедляется - напротив, оно может набирать скорость, согласно словам сооснователя Anthropic Джека Кларка. В своем информационном бюллетене "Import AI" Кларк опровергает утверждения о том, что развитие AI достигает своих пределов. "Все, кто говорил вам, что прогресс замедляется или что масштабирование упирается в стену, ошибаются," пишет он.

Кларк указывает на новую модель o3 от OpenAI как доказательство того, что еще много пространства для роста, но через другой подход. Вместо того чтобы просто увеличивать размеры моделей, o3 использует обучение с подкреплением и дополнительную вычислительную мощность во время работы.

Кларк утверждает, что эта способность думать вслух, во время выполнения, открывает совершенно новые возможности для масштабирования. Он ожидает, что эта тенденция наберет обороты в 2025 году, когда компании начнут комбинировать традиционные подходы, такие как более крупные базовые модели, с новыми способами использования вычислительных мощностей как во время обучения, так и в процессе вывода. Это отражает то, что OpenAI заявила, когда впервые представила свою серию o-моделей.

Кларк считает, что большинство людей не готовы к тому, насколько быстро все изменится. "Я думаю, что практически никто не учитывает, насколько резким будет прогресс отсюда," предупреждает он.

Однако он указывает на вычислительные затраты как на основную проблему. Самая продвинутая версия o3 требует в 170 раз больше вычислительной мощности, чем ее базовая версия, которая уже использует больше ресурсов, чем o1 - а o1 сам по себе требует больше мощности, чем GPT-4o.

Эти новые системы делают предсказание затрат гораздо сложнее, объясняет Кларк. В прошлом расходы были