Новейшие модели искусственного интеллекта OpenAI имеют новую защиту от биорисков

OpenAI сообщает, что развернула новую систему для мониторинга своих последних моделей рассуждений AI, o3 и o4-mini, на предмет подсказок, связанных с биологическими и химическими угрозами. Система направлена ​​на то, чтобы не допустить, чтобы модели предлагали советы, которые могли бы научить кого-то выполнять потенциально опасные атаки, согласно отчету по безопасности OpenAI.

Компания заявляет, что O3 и o4-mini представляют собой значительное увеличение возможностей по сравнению с предыдущими моделями OpenAI, и, таким образом, представляют новые риски в руках злоумышленников. Согласно внутренним бенчмаркам OpenAI, o3 более искусен в ответах на вопросы, связанные с созданием определенных типов биологических угроз, в частности. По этой причине — и для снижения других рисков — OpenAI создала новую систему мониторинга, которую компания описывает как «монитор рассуждений, ориентированный на безопасность».

Монитор, специально обученный рассуждать о политиках OpenAI в отношении контента, работает поверх o3 и o4-mini. Он разработан для выявления подсказок, связанных с биологическим и химическим риском, и инструктирует модели отказаться давать советы по этим темам.

Чтобы установить базовый уровень, OpenAI заставила красных команд потратить около 1000 часов на то, чтобы пометить «небезопасные» разговоры, связанные с биорисками, от o3 и o4-mini. Во время теста, в котором OpenAI имитировала «логику блокировки» своего монитора безопасности, модели отказались отвечать на рискованные подсказки в 98,7% случаев, согласно OpenAI.

OpenAI признает, что ее тест не учитывал людей, которые могут попробовать новые подсказки после того, как их заблокировал монитор, поэтому компания заявляет, что продолжит частично полагаться на человеческий