Автономная система ИИ-агентов атаковала Hugging Face: защититься помогла LLM

Hugging Face раскрыли подробности недавнего инцидента безопасности. По заявлению компании, это первый случай, когда атака на ее инфраструктуру была целиком проведена автономной системой ИИ-агентов — от первоначального проникновения до последующего развития атаки.

По данным Hugging Face, злоумышленникам удалось получить несанкционированный доступ к ограниченному набору внутренних датасетов и нескольким учетным данным, используемым внутренними сервисами. При этом компания не обнаружила признаков компрометации публичных моделей, датасетов, Spaces, а также цепочки поставок ПО — опубликованные контейнерные образы и пакеты были проверены и признаны безопасными. Оценка возможного влияния на данные партнеров и клиентов продолжается.

Начальной точкой атаки стал пайплайн обработки датасетов. Вредоносный датасет использовал сразу два пути выполнения кода — загрузчик с удаленным выполнением кода и инъекцию шаблона в конфигурации датасета. Это позволило выполнить произвольный код на рабочем узле обработки данных, после чего атакующий получил доступ на уровне узла, извлек облачные и кластерные учетные данные и в течение выходных перемещался между несколькими внутренними кластерами.

По словам компании, атаку осуществлял автономный агентный фреймворк, выполнивший десятки тысяч автоматизированных действий в сети краткоживущих изолированных окружений с самоперемещающейся инфраструктурой командного управления, развернутой на публичных сервисах. Hugging Face отмечает, что этот сценарий соответствует давно обсуждаемой в отрасли концепции «агентного злоумышленника» (agentic attacker), когда ИИ самостоятельно планирует и выполняет сложную многоэтапную атаку. При этом компания подчеркивает, что не смогла определить, какая именно языковая модель