Cloudflare заставит ИИ-компании платить за контент издателей

Компания Cloudflare установила для индустрии ИИ новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например Google Search, от тех, которые используются для ИИ-агентов и обучения. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах, содержащих рекламу.

Это означает, что краулеры, которые сочетают поиск, использование в качестве агента и обучение, будут по умолчанию заблокированы для сканирования таких сайтов, если владелец не изменит настройки. Эти изменения настроек по умолчанию будут применяться к новым клиентам Cloudflare, новым сайтам, созданным существующими клиентами, и всем существующим бесплатным клиентам, заявляет компания.

Шаг может повлиять на то, как поставщики моделей ИИ смогут получать доступ к веб-контенту для целей обучения и для работы своих агентских сервисов.

Cloudflare отмечает, что большинство владельцев веб-сайтов хотят, чтобы их контент был доступен через поиск, а часто и через сервисы ИИ, но при этом они также хотят защиты от бесплатной передачи своей интеллектуальной собственности.

Cloudflare специально указывает на «крупнейшую в мире поисковую систему», утверждая, что у неё есть доступ примерно к «в два раза большему объёму информации», чем у других компаний, занимающихся ИИ, потому что поисковый гигант затрудняет поиск пользователей без использования их ресурсов для искусственного интеллекта.

Google ранее опровергала это обобщение, отмечая, что предоставляет бота под названием Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и продуктов и услуг ИИ, таких как Gemini Apps и Vertex API. Его использование не влияет на отображение сайта в