Cloudflare поставила Google ультиматум: раздели поисковый бот и ИИ-краулер — или будешь заблокирован

Cloudflare, через инфраструктуру которой проходит около 20% мирового веб-трафика, объявила, что с 15 сентября 2026 года краулеры, собирающие данные для обучения ИИ, и боты ИИ-агентов будут блокироваться по умолчанию на всех страницах с рекламой. Под удар попадают и "гибридные" краулеры, которые совмещают несколько функций сразу: если сайт запрещает сбор данных для обучения, то Googlebot, Applebot и BingBot будут заблокированы целиком — даже там, где поисковые боты разрешены. По сути это ультиматум: Google и другим гигантам предлагают разделить своих ботов на отдельные — для поиска и для ИИ.

Технически это работает так: Cloudflare разделила всех ИИ-ботов на три категории — Search (поисковая индексация), Agent (ИИ-агенты, которые заходят на сайты вместо пользователя) и Training (сбор данных для обучения моделей). Владельцы сайтов, включая клиентов бесплатного тарифа, могут настраивать доступ для каждой категории отдельно. Новые настройки по умолчанию коснутся новых клиентов Cloudflare, новых сайтов существующих клиентов и всех бесплатных аккаунтов. Логика привязки к рекламе простая: баннер на странице — признак того, что она сделана для живых людей, а значит, ботам, перехватывающим человеческое внимание, там не место.

Главный адресат претензий — Google, хотя напрямую в блоге компанию называют "крупнейшим в мире поисковиком". Googlebot одновременно индексирует страницы для поиска и собирает данные для обучения ИИ, и сайты не решаются его блокировать из страха выпасть из выдачи. В результате, по оценке Cloudflare, у Google примерно вдвое больше данных для ИИ, чем у любого конкурента. Формально у Google есть отдельный механизм отказа от обучения — бот Google-Extended, но в Cloudflare считают его недостаточным.

Компания