Как создать файл Robots.txt для сайта

Robots.txt — файл, помещаемый в корневую директорию сайта. C его помощью происходит управление поисковыми роботами, заходящими на сайт. Как и любые программы, сканеры поисковых систем подчиняются определенным инструкциям. Иногда нужно сделать так, чтобы поисковики не индексировали некоторые участки сайта, или, наоборот, проиндексировали определенные страницы.

Подробнее

Мета-тег robots что это такое

Мета-тег robots, в отличие от title, description и keywords, созданных для описания страницы, предназначен для управления сканерами поисковых систем. Он сообщает им стоит ли индексировать страницу, и разрешено ли переходить по её ссылкам.

Подробнее

Как заполнять правильно мета-тег Keywords для сайта

Мета-тег keywords содержит ключевые слова. Поисковые системы не придают ему особого значения. В прошлом вебмастера злоупотребляли им, вписывая ключевые слова, не имеющие отношение к содержанию веб-страницы, с целью влияния на результаты поисковой выдачи.

Подробнее