Настройка индексации WordPress сайта поисковыми системами

Сайт OnWordpress.ru продается

Оптимальная цена 300 000 рублей

Подробнее
Индексация сайта поисковыми системами

Индексация WordPress сайта крайне важна для успешного продвижения в поисковых системах. От того, насколько хорошо проиндексирован ваш сайт, может зависеть его посещаемость. Поэтому очень важно правильно настроить индексацию WordPress сайта.

Как настроить и ускорить индексацию сайта

Настроить индексацию WordPress сайта не сложно. Для этого нужно выполнить следующие действия:

  1. создать файл robots.txt - очень важно! В этом файле определяются те разделы, которые можно индексировать поисковым система, и те, которые запрещаются для индексирования;
  2. создать xml карту сайта - sitemap.xml - не менее важный шаг. Карта сайта содержит в себе ссылки на все нужные страницы вашего сайта, и тем самым ускоряет полное индексирование WordPress сайта.
  3. определить главное зеркало сайта - это нужно для того, чтобы сайт индексировался только по одному адресу. Например www.site.ru и site.ru - это два абсолютно разных сайта в глазах поисковых систем.

Эти процедуры обязательны. Если вы пропустите хотя бы один шаг, ваш сайт, скорее всего, будет индексироваться неправильно или не будет индексироваться вовсе.

Файл robots.txt  для wordpress

И так, для сайтов на wordpress мы рекомендуем использовать следующий файл robots.txt. В этом файле вы можете запретить или разрешить индексировать определенные разделы сайта, что направляет поискового робота только в нужные места. Вы можете узнать о настройки файла robots.txt для WordPress более подробно. Ниже вы увидите содержимое стандартного файла robots.txt для wordpress:

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /*?
Disallow: /*.gz
Host: www.domen.ru

User-agent: *
Disallow: /cgi-bin/
Disallow: /*.gz
Disallow: /tag/
Disallow: /trackback/
Disallow: /comment/
Disallow: /rss/

Sitemap: http://www.domen.ru/sitemap.xml

В файле robots.txt также следует указать путь до файла sitemap.xml  и основное зеркало сайта.

Карта сайта - sitemap.xml

Далее необходимо создать карту сайта для wordpress - файл sitemap.xml. Создать XML карту сайта очень легко с помощью специального wordpress плагина Google XML Sitemaps. Очень удобный плагин, легко настраивается под потребности любого сайта. Если у вас блог, то стандартные настройки вполне вам подойдут, и настраивать ничего не потребуется.

Карта сайта отображается в формате .xml и чаще всего доступна по адресу www.yourdomen.ru/sitemap.xml или www.yourdomen.ru/sitemap.xml.gz.

В карте сайта содержатся все ссылки вашего сайта, по которым робот Яндекса легко может определить структуру сайта и перемещаться, индексируя ваш сайт. Желательно добавить карту сайта в панели Яндекс.Вебмастер, на вкладке настройки индексирования сайта. Для этого нужно указать полный путь до карты сайта в единственное поле ввода на странице. Также, я обычно добавляю карту сайта в файл robots.txt:

Sitemap: http://www.domen.ru/sitemap.xml

Главное зеркало сайта

Для определения главного зеркала сайта, достаточно выбрать его на вкладке настройки индексирования. Также стоит указать главное зеркало в файле robots.txt следующим образом:

Host: www.domen.ru

После это рекомендуем сделать 301 редирект с не главного зеркала на главное зеркало сайта. Это обычно делается в файле .htaccess вот так:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^domen.ru
RewriteRule (.*) http://www.domen.ru/$1 [R=301,L]

Мифы про индексацию сайта

Хотелось бы немного добавить, также из личного опыта. Я заметил, что поисковый робот Яндекса начинает чаще заглядывать на мои блоги, как только я начинаю чаще писать в них свежие записи. Вероятно, есть какой-то алгоритм, отслеживающий периодичность написания постов, и тем самым поисковый робот адаптируется под ваш конкретный сайт или блог. Возможно это я сам придумал, не воспринимайте буквально :)

Еще заметил, что сайт в последующем лучше индексируется, если при первой индексации было предоставлено «много» контента. Понятие «много»  – относительно, но чем больше, тем лучше. А те сайты, на которых при первичной индексации было немного контента - индексировались хуже, даже при том условии, что позже контент добавлялся и обновлялся.

Подробнее про индексацию сайта поисковыми системами

Яндекс, как поисковая система, кажется мне наиболее привлекательной. К тому же, Яндекс имеет удобный интерфейс для веб мастеров. Поэтому я настраиваю индексацию своих сайтов именно под эту поисковую систему.

Для того чтобы ваш сайт на wordpress начал индексироваться, необходимо разрешить доступ поисковым системам к сайту, это делается в панели администратора на вкладке «Параметры - Приватность». Далее следует добавить сайт в очередь на индексацию. Далее, как говорит сам Яндекс, нужно ждать около двух недель, в течение которых поисковый робот проиндексирует ваш сайт. Этого времени вполне достаточно, чтобы наполнить сайт уникальным контентом. Но я считаю, что разрешать индексацию сайта нужно только после того, как сайт будет полностью наполнен информацией.

Чтобы сайт лучше индексировался, его нужно оптимизировать. Как минимум, он должен иметь хорошую навигацию и внутреннюю перелинковку, то есть должно быть достаточное количество внутренних ссылок для наиболее полного сканирования сайта. Соответственно, чем больше внутренних ссылок будет на вашем сайте, тем лучше он будет индексироваться поисковыми системами.

Чтобы анализировать индексацию своего сайта, вам нужно добавить его в список своих сайтов на странице Яндекс.Вебмастер.

Расскажите друзьям
Нравится блог? - Читайте ВКонтакте
Ответим на Ваши вопросы в комментариях