Cloudflare заманивает ботов-скрейперов в «лабиринт ИИ»

Cloudflare, одна из крупнейших в мире компаний, занимающихся инфраструктурой Интернета, было объявлено AI Labyrinth — новый инструмент для борьбы с поисковыми системами, которые сканируют веб-сайты без разрешения в поисках данных для обучения ИИ. В сообщении в блоге компания сообщает, что когда она обнаруживает «ненадлежащее поведение бота», бесплатный инструмент заманивает поисковые системы ссылками на искусственные интеллектуальные страницы-приманки, которые «замедляют, сбивают с толку и тратят ресурсы» тех, кто действует недобросовестно.

Веб-сайты давно используют подход системы чести robots.txt, текстового файла, который предоставляет или запрещает разрешение краулерам, но в игнорировании которого обвиняются компании ИИ, даже такие известные, как Anthropic и Perplexity AI. Cloudflare пишет, что видит более 50 миллиардов запросов веб-краулеров в день, и хотя у него есть инструменты для обнаружения и блокировки вредоносных запросов, это часто побуждает злоумышленников менять тактику в «бесконечной гонке вооружений».

Cloudflare утверждает, что вместо того, чтобы блокировать ботов, Labyrinth AI дает отпор, заставляя их обрабатывать данные, которые не имеют ничего общего с реальными данными конкретного веб-сайта. Компания утверждает, что она также функционирует как «приманка следующего поколения», привлекая сканеры ИИ, которые следуют по ссылкам на поддельные страницы все глубже и глубже, в то время как обычный человек этого не сделает. Это упрощает отпечатки вредоносных ботов для списка злоумышленников Cloudflare, а также обнаружение «новых шаблонов и сигнатур ботов», которые он не смог бы обнаружить иначе. Согласно отчету, эти ссылки не должны быть видны посетителям.