Robots.txt – файл, помещаемый в корневую директорию сайта. C его помощью происходит управление поисковыми роботами, заходящими на сайт. Как и любые программы, сканеры поисковых систем подчиняются определенным инструкциям. Иногда нужно сделать так, чтобы поисковики не индексировали некоторые участки сайта, или, наоборот, проиндексировали определенные страницы.
Продвижение сайтов
В этом файле содержится перечень страниц, открытых для индексации. Он помогает поисковым системам лучше сканировать веб-проекты. Сделать его можно самому или генератором.
Атрибут nofollow и тег noindex используются для управления поисковыми системами, запрещая им индексировать определенные участки страницы.
Это запись, указывающая на другой элемент того же или другого документа. Ссылки бывают внутренними (ссылающимися на тот же документ) и внешними (ведущими на другие документы). Так же, внутренней называют ссылку в пределах одного сайта, а внешней – ссылающуюся на другие веб-ресурсы.
Валидатор W3C показывает степень соответствия html-кода техническим спецификациям. Веб-страницы без существенных ошибок легко сканируется поисковиками и правильно отображаются браузерами.
Кроме заголовков H1 – H6, есть и другие теги форматирования текста. К ним относятся: STRONG и B — полужирное начертание, EM и I – курсив, U – подчеркивание.
Используются для выделения важного текста на веб-странице. Помещенные в эти теги фразы говорят про их значимость, в той или иной степени.
Мета-тег robots, в отличие от title, description и keywords, созданных для описания страницы, предназначен для управления сканерами поисковых систем. Он сообщает им стоит ли индексировать страницу, и разрешено ли переходить по её ссылкам.
Мета-тег keywords содержит ключевые слова. Поисковые системы не придают ему особого значения. В прошлом вебмастера злоупотребляли им, вписывая ключевые слова, не имеющие отношение к содержанию веб-страницы, с целью влияния на результаты поисковой выдачи.
Что такое URL? Это стандартизированный способ записи адреса в Интернете. Он обозначает путь к странице/файлу на сайте/сервере.