Франсуа Шоле является соучредителем некоммерческой организации по разработке бенчмарков для AGI

Бывший инженер Google и влиятельный исследователь в области искусственного интеллекта Франсуа Шолле стал соучредителем некоммерческой организации, которая помогает разрабатывать тесты для проверки искусственного интеллекта на «человеческом уровне».

Некоммерческую организацию ARC Prize Foundation возглавит Грег Камрадт, бывший технический директор Salesforce и основатель студии по разработке AI-продуктов Leverage. Камрадт станет президентом и членом правления.

“Мы превращаемся ... в настоящий некоммерческий фонд, который будет выступать в качестве полезной полярной звезды в области AGI, - написал Шолле в посте на веб-сайте некоммерческой организации.  - Мы пытаемся стимулировать прогресс, способствуя сокращению базовых человеческих возможностей”.

Фонд ARC Prize расширит ARC-AGI - тест, разработанный Шолле, для оценки того, может ли система AI эффективно приобретать новые навыки, выходящие за рамки данных, на которых она обучалась. Он состоит из задач, похожих на головоломки, в которых AI должен сгенерировать правильную «ответную» сетку из набора квадратов разных цветов. Задачи были разработаны таким образом, чтобы заставить AI адаптироваться к новым задачам, с которыми он раньше не сталкивался.

В 2019 году Шолле представил ARC-AGI, что расшифровывается как «Абстрактный и логический корпус для искусственного общего интеллекта». Многие системы искусственного интеллекта могут успешно сдавать математические олимпиады и находить потенциальные решения задач для аспирантов. Но до этого года самый эффективный AI мог решить лишь чуть менее трети задач из ARC-AGI.

«В отличие от большинства передовых тестов AI, мы не пытаемся измерить риск, связанный с AI, с помощью сверхчеловеческих экзаменационных вопросов, - написал Шолле в своём