Anthropic запускает институт изучения угроз от ИИ

Anthropic объявила о запуске The Anthropic Institute — исследовательского подразделения, которое будет изучать влияние мощного ИИ на экономику, безопасность и правовую систему. Возглавил институт сооснователь компании Джек Кларк, получивший новую должность — Head of Public Benefit (глава по общественной пользе).

Институт объединяет три существующие команды Anthropic: красную команду (Frontier Red Team), которая тестирует пределы возможностей моделей, группу изучения социальных эффектов и команду экономических исследований. Помимо этого подразделение займется прогнозированием развития ИИ и анализом его взаимодействия с правовой системой. Компания подчеркивает, что у института есть уникальное преимущество — доступ к данным, которыми располагают только разработчики передовых моделей.

В команду уже вошли Мэтт Ботвиник, бывший старший директор по исследованиям в Google DeepMind и профессор Принстона, — он возглавит направление ИИ и права. Антон Коринек, профессор экономики Университета Виргинии, займется исследованием того, как ИИ может изменить саму природу экономической деятельности. Зои Хитциг, ранее изучавшая социально-экономические последствия ИИ в OpenAI, свяжет экономические исследования с разработкой моделей.

Запуск института Anthropic объясняет убеждением, что прогресс ИИ ускоряется и носит компаундный характер: каждое улучшение усиливает следующее. По мнению компании, чрезвычайно мощный ИИ, о котором Дарио Амодеи писал в эссе "Машины милосердия", появится значительно раньше, чем ожидает большинство. Параллельно Anthropic расширяет команду публичной политики и весной открывает первый офис в Вашингтоне.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.