Вышла ChatGPT o3-Pro — самая мощная (и дорогая) модель OpenAI

OpenAI начала раскатку модели ChatGPT o3-Pro — как и в случае с o1-Pro, она доступна только пользователям 200-долларовой подписки ChatGPT Pro и подписки Team. Цены в API составляют 80 долларов за миллион входящих токенов и 20 долларов — за миллион исходящих. В будущем модель добавят в подписки Edu и Enterprise, а вот до 20-долларовой Plus она вряд ли доберется.

На данный момент доступны только официальные бенчмарки OpenAI, которые показывают превосходство над моделями o3 и o1-Pro. Сравнение с конкурентами в бенчмарки OpenAI традиционно не включили.

Из первого бенчмарка видно, что в слепом тестировании пользователи предпочитали ответы o3-Pro, а не o3.

Модель показала лучшие результаты в бенчмарках AIME 2024 (математические задачи олимпиадного уровня), GPQA Diamond (задачи на знание физики) и Codeforces (программирование).

Отмечу, что OpenAI сравнила o3-Pro и обычной o3 при средних настройках длины рассуждений, хотя модели можно выставить и высокие — представитель компании Айдан Маклафлин пояснил это тем, что именно medium-настройки включены в приложении ChatGPT. Очевидно, что в ближайшие часы появятся независимые тесты, из которых более точно будет видна производительность модели.

Также появились первые обзоры моделей от пользователей, получивших ранний доступ. Дизайнер и продуктовый специалист из Сан-Франциско Бен Хилак отмечает, что o3-Pro лучше работает тогда, когда у нее есть много контекста: в одном из примеров он с коллегой загрузил материалы со всех последних встреч по планированию в компании Raindrop - и o3-Pro вернулась с очень детальным анализом и планом действий, который включал в себя метрики, дедлайны и список задач, которые стоит поставить в приоритет. Также Бен отмечает еще одну интересную особенность модели —