Видимость сайта - это количество запросов находящихся в топе поисковых систем по отношению к общему количеству запросов. Чем больше видимость сайта по всем релевантным тематике запросам, тем более сильный рост позиций можно получить.

SEO энциклопедия
11 Сентябрь

Правильно управляем поисковыми роботами при индексации

Автор: Westblogger, 2012 год. 146

Правильный индексВсем приветик. Сегодня мне бы хотелось поговорить на такую тему, как правильная индексация или иными словами о том, как правильно управлять поисковыми роботами индексаторами.

Что я имею ввиду под правильной индексацией и вообще в чем может быть проблема. Если с поисковой системой Яндекс дела обстоят не так критично в плане индексации, поскольку хватает правильно составленного роботса.тхт, то Гугл пожирает буквально все на своем пути и зачастую количество страничек в индексе этой поисковой системы значительно превышает число страниц в базе Яндекса, даже не смотря на тот же самый файлик роботс.тхт

Недавно я выяснил в чем проблема, правда выяснил я это скорее не недавно, а достаточно давно, но одна маленькая мелочь испортила всю картину. Поясню поподробней: оказывается важность файла Роботс.тхт для Гугла очень маленькая и директивы прописанные там, имеют для него чисто рекомендательный характер. Из-за этого, даже если страничка запрещена в роботсе, совершенно не факт что она не появится в индексе, что и свидетельствует индексация моего блога этой системой – в индексе появляются все новые и новые странички с пагинацией, которые запрещены не только в роботсе, но и мета тегом robots noindex.

Причина такого поведения гугла проста – даже если страница запрещена к индексации в файле роботс тхт, но если на нее паук где-то в интернете находит ссылку, то он все равно возьмет такую страничку в индекс, несмотря ни на какие запреты (есть мнение что не только ссылка может загнать ту или иную страничку в индекс). Решением проблемы (как написано в руководстве Гугл для вебмастеров) выступает мета тег robots, с прописанным свойством noindex.

Но каково же было мое удивление, когда я прописав эту директиву примерно год назад не увидел ровным счетом никакого эффекта – дубли страничек, теги, пагинация, фид лента как была в индексе Гугла, так в нем и находится по сей день, более того, в индексе регулярно появляются новые странички с пагинацией, что не удивительно, ведь я ссылаюсь на эти странички с блога.

Сегодня я понял, что эффекта не было потому что свою роль сыграл неисправленный файл Роботс.тхт, которые формально все же запрещает Гуглопауку заходит на запрещенную страничку, а значит и читать код. Именно поэтому ПС Гугл так и не смог исключить странички где прописан тег robots – он его просто не прочел из-за роботса.

В данный момент надеюсь, что через некоторое время Гугл все же выкинет лишние странички из индекса (через месяц-два, может и больше) так как сейчас я все поправил и вроде как наконец разобрался как эффективно управлять поисковым роботом при индексации моего блога.

Ну и в конце концов, если вы планируете сдавать на права, то вам просто необходимо знание всех правил дорожного движение в самой последней редакции - 2012 года. Скачать ПДД 2012 архивом вы сможете на сайте Steer http://steer.ru/node/18804.

Связанные по заголовку статьи:

Почитайте также похожие посты:

  1. В индекс без ссылок, robots’a и xml карты сайта Вы всегда заботитесь о том, есть ли у вашего сайта...
  2. Удалить дубли в WordPress с помощью Robots.txt Всем привет. Сегодня я бы хотел рассмотреть довольно важный вопрос,...
  3. Создание Robots.txt для сайта Я думаю любой вебмастер стремится к тому, чтобы поисковые системы...
  4. Заметки западаного блога №18 Нуу, Яндекс, нуу, погоди! В общем, у меня никак по другому не получилось назвать...
  5. Меры по улучшению индексации блога Всем приветик. В последнее время я наблюдаю неприятную картину на...


Категория: Оптимизация - Комментариев (0)
»

Комментариев нет.

Оставить комментарий

Наверх


30.01.09 - 23.11.2017 © West Blogger. All rights reserved.