Правильный Robots.txt

Robots.txt – файл, помещаемый в корневую директорию сайта. C его помощью происходит управление поисковыми роботами, заходящими на сайт. Как и любые программы, сканеры поисковых систем подчиняются определенным инструкциям. Иногда нужно сделать так, чтобы поисковики не индексировали некоторые участки сайта, или, наоборот, проиндексировали определенные страницы.

Как создать Sitemap XML

В этом файле содержится перечень страниц, открытых для индексации. Он помогает поисковым системам лучше сканировать веб-проекты. Сделать его можно самому или генератором.

Что такое ссылка?

Это запись, указывающая на другой элемент того же или другого документа. Ссылки бывают внутренними (ссылающимися на тот же документ) и внешними (ведущими на другие документы). Так же, внутренней называют ссылку в пределах одного сайта, а внешней – ссылающуюся на другие веб-ресурсы.

Валидатор W3C

Валидатор W3C показывает степень соответствия html-кода техническим спецификациям. Веб-страницы без существенных ошибок легко сканируется поисковиками и правильно отображаются браузерами.

Мета тег robots

Мета-тег robots, в отличие от title, description и keywords, созданных для описания страницы, предназначен для управления сканерами поисковых систем. Он сообщает им стоит ли индексировать страницу, и разрешено ли переходить по её ссылкам.

Как заполнять Keywords

Мета-тег keywords содержит ключевые слова. Поисковые системы не придают ему особого значения. В прошлом вебмастера злоупотребляли им, вписывая ключевые слова, не имеющие отношение к содержанию веб-страницы, с целью влияния на результаты поисковой выдачи.

Cтруктура URL

Что такое URL? Это стандартизированный способ записи адреса в Интернете. Он обозначает путь к странице/файлу на сайте/сервере.