Мета тег robots

Мета-тег robots, в отличие от title, description и keywords, созданных для описания страницы, предназначен для управления сканерами поисковых систем, сообщая им о том, стоит ли индексировать страницу, и разрешено ли переходить по её ссылкам.


Зачастую, сканеры поисковиков нужно контролировать, иначе они проиндексируют служебную информацию и дублирующий контент — это не лучшим образом влияет на позиции и присутствие сайта в поисковой выдаче.

мета тег robots

В HTML-документе мета-тег «роботс» располагается между тегами «head».

Синтаксис этого мета-тега может выглядеть так:

  • <meta name=»robots» content=»all»/> — разрешена индексация страницы и ссылок.
  • <meta name=»robots» content=»index, follow»/> — как и предыдущий вариант.
  • <meta name=»robots» content=»noindex»/> — нельзя индексировать страницу.
  • <meta name=»robots» content=»nofollow»/> — запрещена индексация ссылок.
  • <meta name=»robots» content=»none»/> — запрещена индексация страницы и её ссылок.
  • <meta name=»robots» content=»noindex, nofollow»/> — аналогично предыдущему варианту.
  • <meta name=»robots» content=»noindex, follow»/> — нельзя индексировать содержимое страницы, но можно переходить по её ссылкам.
  • <meta name=»robots» content=»noarchive»/> — нельзя кэшировать страницу, и ссылаться на её сохранённую копию в поисковой выдаче.

Обычно, этот мета-тег используют для запрета индексации страницы с дублирующим контентом, или платного раздела сайта.

Сегодня, данный способ управления поисковыми сканерами используется нечасто, поскольку, для этих целей более эффективен robots.txt. Бывают случаи, когда хостинг ставит ограничения, и этот файл попросту невозможно добавить на сервер, тогда мета-тег как нельзя кстати.

Как создать мета-тег robots?


Выберете страницу сайта, которую необходимо скрыть от ПС. Затем откройте её любым редактором, например, Блокнотом, или Notepad++. Найдите тег «head» и поместите в него одно из вышеперечисленных правил, которое вам подходит больше всего. Далее сохраните изменённый файл, и перезалейте его на сервере.

Для большей наглядности смотрите следующее изображение.

исходный код

На рисунке показано правило, запрещающее сканерам ПС индексировать содержание страницы, и переходить по её ссылкам.

Так же, можно выставить ограничения для одного конкретного робота ПС, записав вместо robots соответствующее значение, например, для Google — «Googlebot», Яндекса — «Yandex».

Читайте также:

Добавить комментарий

Имя (обязательно)