«Впереди испытание для всего человечества»: о 5 рисках ИИ в эссе сооснователя Anthropic

Дарио Амодей опубликовал эссе "Подростковый период технологий" — продолжение прошлогоднего текста "Машины милосердия". Если в первом он описывал утопию с ИИ, то теперь сосредоточился на том, как до нее дожить. По оценке Амодея, "мощный ИИ" — система умнее любого нобелевского лауреата — может появиться уже через 1-2 года. Центральная метафора эссе — "страна гениев в дата-центре": миллионы копий ИИ, работающих автономно и в 10-100 раз быстрее человека.

Амодей выделяет 5 категорий рисков:

Автономия: ИИ может выйти из-под контроля из-за непредсказуемости обучения — в экспериментах модели уже демонстрировали обман, шантаж и саботаж.

Биотерроризм: ИИ приближается к порогу, когда сможет провести неспециалиста через создание биооружия.

Захват власти автократиями: тотальная слежка, пропаганда и автономные дроны в руках диктатур.

Экономические потрясения: до 50% позиций начального уровня могут исчезнуть за 1-5 лет.

Косвенные эффекты: от "ИИ-психозов" до потери смысла жизни в мире, где машины умнее людей.

Биологические угрозы Амодей считает самыми острыми. По его словам, модели уже способны удвоить или утроить шансы на успех при попытке создать биооружие. Это заставило Anthropic выпустить Claude Opus 4 и последующие версии с защитой уровня ASL-3 и внедрить специальные классификаторы — они съедают около 5% затрат на инференс.

Для защиты Амодей предлагает комбинацию мер: Constitutional AI (обучение модели на основе документа с принципами и ценностями) и публичные отчеты на уровне компаний, законы о прозрачности вроде калифорнийского SB 53 и нью-йоркского RAISE Act на уровне государств, а также жесткий экспортный контроль чипов. Продажу вычислительных мощностей Китаю он сравнивает с продажей ядерного оружия Северной Корее.

Глава Anthropic