ИИ, нажми на тормоза

Anthropic хочет, чтобы компании, занимающиеся разработкой ИИ, рассмотрели возможность попридержать скорость развития

В новом предложении по политике Anthropic утверждает, что ведущим лабораториям разработки ИИ, возможно, потребуется координированная и проверяемая приостановка ускорения, если возможности ИИ начнут развиваться быстрее, чем общество сможет безопасно это управлять. Примечательно, что это заявление Anthropic сделано в свете недавней официальной подачи документов на IPO и его огромной рыночной оценки.

Anthropic urges AI labs to pause development, warns humans risk losing control

Ladybird прекратила приём публичных pull requests после «вайб-кодовой волны»

Ladybird теперь не будет принимать публичные pull requests, заявив, что ИИ разрушил старую модель доверия в открытом коде (OSS), в которой существенное изменение кода подразумевало значительные человеческие усилия и ответственность. Это очередной крупный проект, который «придерживает скорость» приёма PR из-за волны агентного ИИ.

Changing How We Develop Ladybird

Microsoft обновляет свою таксономию сбоев агентов в свете реальных атаках

Microsoft’s AI Red Team обновил свою таксономию сбоев агентов после года работы, добавив семь категорий: компрометация агентной цепочки поставки, перехват цели, эскалация доверия между агентами, визуальные атаки при использовании компьютера, загрязнение контекста сессии, злоупотребление MCP/плагинами и раскрытие возможностей.

Updating the taxonomy of failure modes in agentic AI systems: What a year of red teaming taught us

Исследователи предупреждают: агентные черви переходят от теории к PoC

Исследователи из Университета Торонто, Vector Institute, ServiceNow и Кембриджа создали proof-of-concept адаптивного ИИ-worm, который