Система o3 от OpenAI достигла уровня человека в тесте на общий интеллект. Что это значит?

Новая модель AI только что достигла результатов на уровне человека в тесте, разработанном для измерения «общего интеллекта». 20 декабря система o3 от OpenAI набрала 85% в тесте ARC-AGI, что значительно выше предыдущего лучшего результата AI в 55% и на уровне среднего результата человека. Она также показала хорошие результаты в очень сложном тесте по математике. Создание искусственного общего интеллекта, или AGI, является заявленной целью всех крупных исследовательских лабораторий AI. На первый взгляд, OpenAI, по-видимому, сделала значительный шаг к этой цели. Хотя скептицизм остается, многие исследователи и разработчики AI считают, что что-то изменилось. Для многих перспектива AGI теперь кажется более реальной, срочной и ближе, чем ожидалось.

Правы ли они? Обобщение и интеллект Чтобы понять, что означает результат o3, нужно понять, что такое тест ARC-AGI. В технических терминах, это тест на «эффективность выборки» системы AI в адаптации к чему-то новому — сколько примеров новой ситуации системе нужно увидеть, чтобы понять, как она работает. Система AI, такая как ChatGPT (GPT-4), не очень эффективна в плане выборки. Она была обучена на миллионах примеров человеческого текста, создавая вероятностные «правила» о том, какие комбинации слов наиболее вероятны. Результат довольно хорош в обычных задачах. Он плох в редких задачах, потому что у него меньше данных об этих задачах.

Пока AI-системы не смогут учиться на небольшом количестве примеров и адаптироваться с большей эффективностью выборки, они будут использоваться только для очень повторяющихся задач и задач, где допустимы редкие ошибки. Способность точно решать ранее неизвестные или новые задачи из ограниченного количества данных известна как способность обобщать. Это