Cloudflare планирует запустить новый инструмент, который позволит бороться с ИИ-ботами

В понедельник компания Cloudflare объявила о планах запустить в следующем году маркетплейс, на котором владельцы сайтов смогут продавать провайдерам ИИ-моделей доступ к сканированию контента их сайтов. Создание подобного рынка является последним шагом в реализации масштабного плана генерального директора Cloudflare Мэтью Принса по предоставлению владельцам сайтов контроля над тем, как и когда ИИ-боты занимаются скрейпингом сайтов.

В качестве первого шага в рамках нового плана Cloudflare запустила бесплатные инструменты наблюдения для клиентов под названием AI Audit. Владельцы сайтов получат приборную панель для просмотра аналитики о том, почему, когда и как часто модели искусственного интеллекта просматривают их сайты в поисках информации. Cloudflare также позволит клиентам блокировать ИИ-ботов на своих сайтах одним нажатием кнопки. Владельцы сайтов могут блокировать все веб-скреперы с помощью AI Audit или допускать определенные веб-скреперы, если у них есть договоренности или если они считают, что их скрепинг выгоден.

Демонстрация AI Audit показала, как владельцы сайтов могут использовать этот инструмент, который способен увидеть, откуда приходит каждый скрепер, посещающий сайт, и предлагает выборочные окна, чтобы увидеть, сколько раз скреперы из OpenAI, Meta, Amazon и других ИИ-компаний посещают ваш сайт.

Cloudflare пытается решить проблему, нависшую над индустрией ИИ: как небольшие сайты смогут быть актуальными в эпоху ИИ, если вместо них люди будут заходить на ChatGPT. Сегодня поставщики моделей ИИ перебирают тысячи мелких сайтов в поисках информации, которая используется в их LLM. Хотя некоторые крупные сайты заключили сделки с OpenAI на лицензирование контента, большинство сайтов ничего не получают, но их контент все