145-страничный доклад DeepMind о безопасности AGI: о чем?

В среду компания Google DeepMind опубликовала исчерпывающую статью о своем подходе к безопасности AGI, который можно приблизительно определить как искусственный интеллект, способный выполнить любую задачу, которую может выполнить человек.

AGI — это немного спорная тема в области AI, скептики предполагают, что это не более чем несбыточная мечта. Другие, включая крупные лаборатории AI, такие как Anthropic, предупреждают, что это не за горами, и может привести к катастрофическим последствиям, если не будут приняты меры по внедрению соответствующих мер безопасности.

145-страничный документ DeepMind, соавтором которого является соучредитель DeepMind Шейн Легг, предсказывает, что AGI может появиться к 2030 году и что это может привести к тому, что авторы называют «серьезным вредом». В статье не дается конкретного определения этого явления, но приводится алармистский пример «экзистенциальных рисков», которые «навсегда уничтожат человечество».

«Мы ожидаем разработки исключительного AGI до конца текущего десятилетия», — пишут авторы. «Исключительный AGI — это система, которая имеет возможности, соответствующие по крайней мере 99-му процентилю квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как изучение новых навыков».

Сразу же в статье сравнивается подход DeepMind к снижению рисков AGI с подходами Anthropic и OpenAI. Anthropic, как утверждается, уделяет меньше внимания «надежному обучению, мониторингу и безопасности», в то время как OpenAI чрезмерно оптимистично настроена по поводу «автоматизации» формы исследования безопасности AI, известной как исследование выравнивания.

В статье также ставится под сомнение жизнеспособность сверхразумного AI — AI, который может выполнять работу