OpenAI обучила модели o1 и o3 «следовать» политике безопасности компании

В пятницу OpenAI представила новое поколение моделей искусственного интеллекта под названием o3, утверждая, что они превосходят предыдущие версии, такие как o1, и любые другие модели, выпущенные ранее. Эти улучшения достигнуты благодаря увеличению вычислительных мощностей при тестировании, о чем активно писали в прошлом месяце. OpenAI также использовала новую парадигму безопасности для обучения своих моделей серии "o".

В тот же день OpenAI опубликовала исследование о "совещательном согласовании", описывающее новый метод обеспечения соответствия моделей AI ценностям их создателей. Этот подход был применен к моделям o1 и o3, чтобы они учитывали политику безопасности OpenAI во время обработки запросов после нажатия пользователем клавиши ввода.

Согласно исследованию, этот метод повысил соответствие модели o1 принципам безопасности компании, снижая частоту ответов на "небезопасные" запросы и улучшая реакцию на безопасные вопросы. В условиях роста популярности и возможностей AI-моделей исследования безопасности становятся все более актуальными, хотя и вызывают споры: Дэвид Сакс, Илон Маск и Марк Андреессен считают некоторые меры безопасности AI "цензурой", подчеркивая их субъективный характер.

Хотя модели серии "o" вдохновлены человеческим мышлением, они не мыслят как люди. Тем не менее, OpenAI использует термины "рассуждение" и "обдумывание", чтобы описать их процессы. Модели o1 и o3 решают задачи написания и кодирования, предсказывая следующий символ в предложении.

Простыми словами, после нажатия пользователем клавиши ввода в ChatGPT, модели OpenAI тратят от нескольких секунд до нескольких минут на дополнительные вопросы. Модель разбивает проблему на этапы, что OpenAI называет "цепочкой размышлений", и затем выдает ответ.

Главное