OpenAI утверждает, что модели AI масштабируются по-новому — но растут и затраты

В прошлом месяце основатели и инвесторы в области AI сообщили, что мы вступили во вторую эру законов масштабирования, отмечая, что устоявшиеся методы улучшения моделей AI показывают уменьшение отдачи. Один из перспективных новых методов, который, как они предполагают, может сохранить достижения, — это масштабирование во время тестирования, что, по-видимому, лежит в основе производительности модели OpenAI o3, но у этого есть свои недостатки.

Большая часть мира AI восприняла анонс модели OpenAI o3 как доказательство того, что прогресс в масштабировании AI не "уперся в стену". Модель o3 показывает хорошие результаты в тестах, значительно превосходя все остальные модели в тесте общей способности ARC-AGI и набрав 25% на сложном математическом тесте, на котором ни одна другая модель AI не набрала более 2%.

Даже до выпуска o3 мир AI уже убежден, что произошло что-то значительное. Соавтор серии моделей o OpenAI, Ноам Браун, отметил в пятницу, что стартап объявляет о впечатляющих достижениях o3 всего через три месяца после объявления о o1 — относительно короткий срок для такого скачка в производительности.

"У нас есть все основания полагать, что эта траектория будет продолжаться", — написал Браун в твиттере.

Соучредитель Anthropic Джек Кларк написал в блоге в понедельник, что o3 является доказательством того, что прогресс в AI будет быстрее в 2025 году, чем в 2024 году. Имейте в виду, что это выгодно Anthropic — особенно его способности привлекать капитал — предполагать, что законы масштабирования AI продолжаются, даже если Кларк делает комплимент конкуренту.

В следующем году, по словам Кларка, мир AI объединит методы масштабирования во время тестирования и традиционные методы масштабирования предварительной подготовки, чтобы извлечь