Cloudflare купила разработчика преобразователя неструктурированных данных Human Native

Cloudflare приобрела Human Native. Компания разработала технологию, которая использует неструктурированный контент от обычных издателей, авторов и медиа-компаний и преобразует его в понятный для ИИ.

Вместо того чтобы заниматься веб-скрейпингом, Human Native преобразует контент в организованный, который могут лицензировать разработчики ИИ.

Отмечается, что один из клиентов компании даже отказался от своего обучающего контента после тестирования данных Human Native и обнаружил, что это помогло создать более совершенный ИИ. 

Cloudflare рассматривает эту сделку как поворотный момент для всего интернета. В течение последнего года провайдер предоставлял владельцам сайтов возможность управлять поведением ботов. Так, AI Crawl Control позволяет издателям выбирать, какие сканеры должны проходить проверку, а какие — оставаться в резерве. Также вышел инструмент Pay Per Crawl, который позволит владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.

Благодаря инструментам Human Native Cloudflare может выйти за рамки простого предотвращения нежелательного доступа и начать формировать сам процесс обмена данными. Это часть растущей концепции AI Index, в рамках которой разработчики подписываются на структурированные обновления вместо того, чтобы отправлять миллионы ботов на одни и те же URL-адреса. Сайты могут публиковать изменения в режиме реального времени, а компании, занимающиеся ИИ, получат аккуратные, легальные и правильно подготовленные каналы данных вместо случайных данных. Такая структура также позволяет устанавливать цены,