Британский стартап Mindgard: щит от AI-рисков для бизнеса

Искусственный интеллект создает дилемму для компаний: если его не внедрять, можно упустить шанс на повышение эффективности и другие преимущества; но неправильное внедренный AI может создать значительные риски для бизнеса и клиентов. Здесь на помощь приходят новые стартапы по обеспечению безопасности искусственного интеллекта, которые обращают внимание на такие угрозы, как джейлбрейк и уязвимости при эксплуатации.

Подобно израильскому стартапу Noma и американским конкурентам Hidden Layer и Protect AI британский университетский спин-офф Mindgard является одним из них. Генеральный директор и технический директор Mindgard, профессор Питер Гарраган, обращает внимание на то, что AI остается программным обеспечением, следовательно, ему присущи все известные киберриски. Однако темная природа и случайное поведение нейронных сетей требуют нового подхода к безопасности.

Mindgard использует динамическое тестирование безопасности AI-приложений (DAST-AI), чтобы выявлять уязвимости, заметные только в процессе работы. Это включает в себя непрерывное и автоматизированное «красное» тестирование, чтобы моделировать атаки, используя библиотеку угроз Mindgard, например, проверяя устойчивость классификаторов изображений к враждебным данным.

Технология Mindgard основана на опыте Гаррагана, специализирующегося на безопасности AI. Эта сфера стремительно развивается — когда Гарраган начинал, ChatGPT еще не существовал, но он предвидел угрозы для NLP и моделей изображений. Стандарты LLM и угрозы продолжают меняться, и Гарраган уверен, что сотрудничество с Университетом Ланкастера позволит компании идти в ногу со временем. Mindgard получит права на интеллектуальную собственность 18 исследователей-докторантов в ближайшие годы, что является уникальной