Управление индексацией сайта (3.04.2018)

Всем привет! Пора приступить к управлению индексацией сайта.

Закрытие страниц от индексации

Запрет индексирования страниц результатов поиска

Прежде всего, это закрытие некоторых страниц от индексации. Например, запрет индексирования страниц результатов поиска. Если на моём сайте вы бы ввели до написания данной статьи в окне поиска словосочетание «искусственный интеллект», то генерирует следующую страницу (см. рис. 1).

Обратите внимание, что генерируется страница с уникальным URL-адресом. Если на сайте сделать не один, а много поисковых запросов, то сгенерируется множество страниц. А так как основным идентификатором web-страницы в глазах поисковой системы является URL, то получим множество уникальных, но бесполезных страниц с точки зрения поисковой системы. И если поисковая система зайдёт на такой сайт и проиндексирует все эти страницы ... Всё дело в том, что поисковая система оценивает наш сайт по соотношению качественных и некачественных страниц. И если, например, на сайте 100 качественных и 500 некачественных страниц, то поисковая система может посчитать сайт не очень качественным.

Таким образом эти страницы не очень полезны для индексации.

Дублированный контент

Следующим примером страниц, которые бесполезны для поисковой системы является страница с выдачей результатов поиска по существующей информации на сайте. Например, если строке поиска на моём сайте ввести запрос «электронный бизнес», то мы получим результат, представленный на рис.2

На данном сайте уже есть страница «Электронный бизнес» и страница на рис.2 по сути дублирует её. Эта страница не несёт в себе какой-то новой полезной информации. Эта страница дублирует уже существующее содержание. Такая страница тоже не полезна поисковой системе и мы должны скрыть её от поисковых ботов.

Инструменты управления индексацией сайта

Файл robots.txt

Первым инструментом для управления индексацией сайта является файл robots.txt — это текстовый файл,  в который сообщает поисковому боту какие директории необходимо индексировать, а какие нет. WordPress автоматически создаёт стандартный файл robots.txt (см. рис.3).

Он говорит, что не надо индексировать папку wp-admin за исключением файла admin-ajax.php. Нам же необходимо сделать так, чтобы индексировались страницы и записи. Кстати, кодировка файла должна быть utf-8.

Необходимо правильно настроить файл robots.txt для wordpress. Пример правильного файла представлен на рис.4.

Скачать правильный файл robots txt для wordpress

Так же важное значение в управлении индексацией сайта имеет канонический url и разметка страниц пагинации

К началу лабораторной работы по seo-оптимизации

Кол-во просмотров: 3219

Метки: seo оптимизация сайта, лабораторная работа по wordpress