Википедия борется с прожорливыми ботами ИИ

С января 2024 года Wikimedia пережила 50-процентный спад недавнее увеличение в полосе пропускания, используемой для загрузки мультимедийного контента, говорится в обновленном отчете фонда. Но это не потому, что у людей-читателей внезапно появился ненасытный аппетит к потреблению Википедия. статьи, просмотр видео или загрузка файлов с Commons. Нет, всплеск использования происходит из-за поисковых роботов или автоматизированных программ, которые сканируют изображения, видео, статьи и другие файлы Wikipedia с открытой лицензией для обучения генеративных моделей искусственного интеллекта.

Этот внезапный рост трафика от ботов может замедлить доступ к страницам и ресурсам Wikimedia, особенно во время громких событий. Например, когда в декабре скончался Джимми Картер, возросший интерес людей к видео его президентских дебатов с Рональдом Рейганом привел к тому, что страницы стали медленно загружаться у некоторых пользователей. Wikimedia способна справляться с всплесками трафика от читателей во время таких событий, и просмотр пользователями видео Картера не должен был вызвать никаких проблем. Однако «объем трафика, генерируемого ботами-скрейперами, беспрецедентен и создает растущие риски и издержки», — заявила Wikimedia.

Фонд объяснил, что люди-читатели склонны искать конкретные и часто похожие темы. Например, многие люди ищут одно и то же, когда это в тренде. Wikimedia создает кэш часто запрашиваемого контента в ближайшем к пользователю центре обработки данных, что позволяет ему обслуживать контент быстрее. Однако статьи и контент, к которым долгое время не обращались, приходится загружать из основного центра обработки данных, что потребляет больше ресурсов и, следовательно, обходится Wikimedia дороже. Поскольку роботы с