Cisco выпустила «ДНК-тест» для нейросетей: как Model Provenance Kit ищет скелеты в коде

Представьте, что вы загружаете модель из открытого репозитория так же легко, как когда-то музыку с торрентов. Проблема в том, что вместе с «умной» нейросетью в корпоративную инфраструктуру может прилететь неприятный сюрприз: от скрытых уязвимостей до намеренно «отравленных» весов. Компания Cisco решила, что хватит играть в эту лотерею, и презентовала Model Provenance Kit — инструмент с открытым кодом для проверки «родословной» искусственного интеллекта.

Сегодня на платформах вроде Hugging Face доступны миллионы моделей. Разработчики их копируют, дообучают, объединяют и вновь выкладывают в сеть. В этом хаосе практически невозможно отслеживать, где заканчивается оригинальный код и начинаются сомнительные модификации. Без четкого понимания происхождения модели любой сбой или манипуляция данными становятся неразрешимой загадкой для аудита.

Главный риск использования сторонних моделей — это отсутствие прозрачности. Если модель имеет скрытые смещения в обучающих данных, она может выдавать ошибочные результаты в реальных сценариях, что для корпоративного сектора критично. Более того, злоумышленники могут специально модифицировать весы модели так, чтобы она срабатывала как бэкдор при определенных условиях. Model Provenance Kit призван создать формализованный подход к отслеживанию таких изменений.

Инструмент реализован на языке Python и предлагает CLI-интерфейс для создания уникального «отпечатка» модели. Вместо того чтобы верить на слово документации, система анализирует совокупность технических сигналов:

Система работает в двух основных режимах, которые позволяют закрыть вопросы аутентичности. Режим compare предназначен для прямого сопоставления двух моделей. Это полезно, когда нужно понять, действительно ли перед вами прямой