ИИ-агенты — новый повод для беспокойства?

По мнению экспертов Infosecurity Europe, агентный ИИ и инструменты ИИ, которые подключаются друг к другу без человеческого контроля, представляют собой растущие риски безопасности.

ИИ-агенты работают с высокой степенью автономности. Агентная система может выбирать модель, которую она использует, передавать данные или результаты другому инструменту и даже принимать решение без одобрения человека. Они работают быстрее, чем системы предыдущего поколения, основанные на больших языковых моделях, поскольку не нуждаются в том, чтобы человек давал им инструкции. Также они могут обучаться на ходу, адаптируя используемые ими модели и подсказки.

Трудности могут возникнуть в том случае, когда организации объединяют компоненты ИИ, такие как генеративные инструменты или чат-боты, без дополнительных проверок или позволяют агентам принимать автономные решения. Это уже происходит в IT, в таких областях, как написание кода и настройка систем. Риск становится выше, если развёртывание ИИ в организациях продвигается быстрее, чем средства контроля безопасности.

Согласно исследованию консалтинговой компании Ernst & Young, только 31% организаций заявляет, что их внедрение ИИ полностью зрелое. Кроме того, EY обнаружила, что управление нейросетями в компаниях преимущественно отстаёт от инноваций в этой сфере. В первую очередь это касается агентного ИИ, который может увеличить риски, уже выявленные организациями с помощью LLM. Агентные системы подвержены всем тем же рискам, включая быстрое введение, отравление, предвзятость и неточности.

Однако ситуация может стать серьёзнее, когда один агент передаёт неточные или предвзятые данные другому. Даже довольно низкий уровень ошибок, в несколько процентных пунктов или меньше, может стать значительной