Разработчик показал, как в Nginx можно просто защитить свой экземпляр Forgejo от веб-краулеров с ИИ

Разработчик Ян Эспозито представил простой пример стратегии защиты в Nginx своего экземпляра открытой платформы совместной разработки Forgejo от веб-краулеров с ИИ. При этом обеспечивается должный уровень обслуживания платформы Forgejo для обычных пользователей.

«Желательно выполнить замену строки Yogsototh_opens_the_door на ваше собственное имя Cookie. Главное преимущество в том, что это практически незаметно для пользователей моего веб‑сайта по сравнению с другими решениями, такими как Anubis», — пояснил Эспозито.

«Не так давно я начал размещать свой код на Forgejo. Проект Forgejo придерживается принципов независимого управления и подконтрольности сообществу. На использование Forgejo перешёл Git‑хостинг Codeberg.org..»

Единственная проблема, с которой я столкнулся, заключалась в том, что однажды я обнаружил, что вся моя нода вышла из строя. Сначала я не стал разбираться и просто перезапустил ноду.

Но вскоре, через несколько часов, она снова перестал работать. Причина оказалась очевидна: тысячи запросов, которые просматривали каждый коммит, создавали чрезмерную нагрузку на систему. Кому могло быть так интересно использовать веб‑API для просмотра каждого коммита вместо того, чтобы… ну, вы понимаете, клонировать репозиторий локально и изучать его? Быстро, да, как и многие из вас, я обнаружил, что множество веб‑краулеров, не соблюдающих robots.txt, сканируют мой экземпляр Forgejo до тех пор, пока он не выйдет из строя.

Поэтому у меня не было выбора, и я сначала применил радикальный подход и полностью заблокировал свой веб‑сайт, кроме себя. Но, эй, зачем нужен публичный Forge, если не для того, чтобы люди могли время от времени заглядывать на него?

Затем я установил Anubis, но он мне не подошел. Он слишком ресурсоемкий для моих