Microsoft попросила издателей не блокировать ботов с ИИ

Microsoft попросила издателей и розничных продавцов позволить парсить их сайты. Об этом рассказал вице-президент по продуктам для издателей в Microsoft AI Нихил Колар в рамках мероприятия Programmatic AI, проводимого Ad Exchanger.

Колар считает, что издатели и розничные продавцы должны создавать контент, который может напрямую обращаться к ИИ-ботам, а следовательно, к большим языковым моделям, генерирующим новые формы трафика. В этом случае издателям и продавцам не нужно бороться с растущим потоком поисковых систем на основе ИИ и инструментов, управляемых агентным ИИ.

Владельцам сайтов следует обновить свои файлы robots.txt, чтобы избежать ограничений для краулеров, поскольку запреты могут снизить видимость ресурса для поисковиков на базе ИИ, добавил Колар.

По его словам, сейчас четыре из пяти сайтов блокируют трафик от ботов и ИИ-краулеров. В результате контент или товары становятся недоступны для ИИ-агентов, а сайты оказываются отрезанными от поисковой выдачи и рекомендаций.

В стремлении убедить издателей открыть доступ к сайтам для ИИ-краулеров прослеживается корыстный мотив Microsoft, пишет Ad Exchanger. У американской корпорации есть собственные ИИ-модели и поисковики на базе чат-ботов, поэтому ей нужны данные от издателей для оптимизации выдачи.

Microsoft хочется, чтобы издатели получали справедливую плату за свои данные, продолжил Колар, указывая на Publisher Content Marketplace как на признак добросовестности. 

Об этой инициативе компания объявила в феврале этого года. Publisher Content Marketplace упрощает заключение лицензионных соглашений между издателями и разработчиками ИИ. Сначала Microsoft предполагала, что издатели будут монетизировать свой контент и данные, предоставляя их в пользование Copilot. Однако с тех