Мета-тег robots, в отличие от title, description и keywords, созданных для описания страницы, предназначен для управления сканерами поисковых систем. Он сообщает им стоит ли индексировать страницу, и разрешено ли переходить по её ссылкам.
Зачастую, сканеры поисковиков нужно контролировать, иначе они проиндексируют служебную информацию и дублирующий контент — это не лучшим образом влияет на позиции и присутствие сайта в поисковой выдаче.
В HTML-документе мета-тег robots располагается между тегами «head».
На следующем рисунке показано, как может выглядеть синтаксис этого мета-тега.
Обычно, его используют для запрета индексации страницы с дублирующим контентом, или платного раздела сайта.
Как создать мета-тег robots
Выберете страницу сайта, которую нужно скрыть от ПС. Затем откройте её любым редактором, например, Блокнотом, или Notepad++. Найдите тег «head» и поместите в него одно из вышеперечисленных правил, которое вам подходит больше всего. Далее сохраните изменённый файл, и перезалейте его на сервере.
Для большей наглядности смотрите следующее изображение.
На рисунке показано правило, запрещающее сканерам ПС индексировать содержание страницы, и переходить по её ссылкам.
Можно выставить ограничения для одного конкретного робота ПС, записав вместо robots соответствующее значение, для Google — «Googlebot», Яндекса — «Yandex».