«Чувствительные материалы». Как СМИ скрывают от поисковиков свои старые тексты
Благодаря современным технологиям стало возможно хранить массивы данных в режиме онлайн. Для доступа к старым материалам СМИ теперь не нужно идти в библиотеку — они всегда под рукой, стоит только набрать интересующий запрос в поисковике и перейти по ссылке. Правда, как показало небольшое исследование «МБХ медиа», далеко не все статьи и не всех изданий индексируются поисковыми системами.
Люди и роботы
В корневом каталоге каждого сайта есть текстовый файл под названием «robots.txt» — это касается и СМИ. Как правило, с помощью этого файла можно исключить контент из результатов выкладки поисковиков, таких как Google и «Яндекс». Информация, которая содержится в «robots.txt», содержит рекомендации о том, какие страницы сайта стоит сканировать
Читать на newsland.com

