Тестирование безопасности под давлением, поскольку OpenAI ускоряет разработку AI

OpenAI значительно сократила период тестирования безопасности для своих новейших языковых моделей.В то время как GPT-4 прошел шесть месяцев тестирования, у тестировщиков теперь есть всего несколько дней, чтобы оценить новую модель "o3". Люди, вовлеченные в процесс, сообщают о менее тщательном тестировании и недостаточных ресурсах, согласно отчету Financial Times.

Сокращение сроков происходит по мере того, как модели становятся более мощными и потенциально опасными, особенно в отношении неправильного использования в биологических или связанных с безопасностью целях. Источники говорят, что OpenAI хочет ускорить выпуски, чтобы не отставать от конкурентов, таких как Meta, Google и xAI.

Ранее OpenAI обязалась проводить специализированные тесты для проверки потенциального нецелевого использования, например, разработки биологического оружия. Эти процедуры требуют значительных ресурсов: пользовательских наборов данных, тонкой настройки и внешних экспертов. Однако Financial Times сообщает, что такое тестирование проводилось только на старых, менее эффективных моделях. Остается неясным, как новые модели, такие как o1 или o3-mini, будут работать в аналогичных условиях.

В отчете о безопасности o3-mini компания OpenAI упоминает только, что GPT-4o может решать конкретную биологическую задачу после тонкой настройки, но не приводит никаких результатов для более новых моделей.

Другая проблема касается тестирования «контрольных точек» — промежуточных версий моделей, которые продолжают разрабатываться. Бывший технический сотрудник называет это плохой практикой, хотя OpenAI утверждает, что эти контрольные точки почти идентичны окончательным моделям.

OpenAI указывает на повышение эффективности за счет автоматизированных процедур тестирования.