Всем привет. Сегодня я бы хотел рассмотреть довольно важный вопрос, касаемый удаления дублей в WordPress с помощью Robots.txt, которые в большинстве случаев могут привести сайт к АГСу Яндекса (и такое случается) Хоть на первый взгляд кажется, что Wordpress довольно простой движек, но он генерирует довольно много страничек, которые являются 100% дубликатами.

Когда у вас возникает такое желание: удалить дубли в WordPress, вы в первую очередь должны познакомится с такими методами удаления лишнего мусора, как: Robots.txt, meta name=”robots”, link rel=”canonical” После ознакомления с этими способами борьбы с нежелательными страничками, которые поисковики могут вполне скушать и не подавится, вы сможете очень легко отчистить блог от дублей.

Теперь о том как удалить дубли в Wordpress с помощью Robots.txt. Дубликатами в Wordpress являются категории, метки, архивы по месяцам, архивы по авторам, странички создаваемые поисковой формой блога, страницы пагинации, страницы ленты RSS, специальные урлы, создаваемые для комментариев.

Сразу добавлю, что в интернете я встречал рекомендации закрывать все возможные дубли в WordPress. Но по-моему мнению, нужно оставить роботам представление о структуре вашего сайта, поэтому от себя рекомендую оставить либо категории, либо метки, либо архивы по месяцам.

Итак на примере Url’ов моего блога, имеющих вид /?p=1 и т.п., вам потребуется указать и закрыть в роботс вот такие части:

1. /?cat= – вид урлов катеорий (они же рубрики, разделы)
2. /?tag= – вид урлов меток (они же тэги)
3. /?paged= – страницы пагинации (те странички, которые ограничивают отображение постов до определенного количества на странице)
4. /?m= – вид урлов архивов
5. /?author= – вид урлов авторов (оказывается даже я упустил это из виду, и добавил нужную директиву в robots.txt совсем недавно)
6. /?feed= – страницы RSS ленты из вашего фида
7. /?s= – такой тип урлов генерируется поиском вашего блога

Отмечу, что это вид урлов, которые стоят в движке Wordpress по умолчанию, т.е. если вы изменяли вид отображения url в админке, то придется указывать и закрывать по аналогии с вышенаписанным. Если вы не знаете, какой конкретно вид имеют урлы, просто включите все виджеты с метками, архивами, категориями, прокликайте по ссылкам авторов, комментариев, пагинации и посмотрите как они выглядят. (пример робота смотрите здесь westblog.ru/robots.txt)

Еще раз скажу, что по-моему мнению категории или метки лучше открыть для индексации. (смотря какие из них наиболее полно и хорошо сортируют материалы на сайте)

Кроме того, если вы любите общаться, и что называется прикипели к Аське, то скачать бесплатно аську на телефон nokia вы сможете на сайте MobiIcq. Самые свежие обновления, актуальная информация, адаптация к другим различным платформам ждут вас.

Связанные по заголовку статьи:

• 11.09.2012 -- Правильно управляем поисковыми роботами при индексации (0)
• 26.08.2012 -- Дубли страниц – что это? (5)
• 21.09.2011 -- Преимущества CMS WordPress (1)

Почитайте также похожие посты:

1. Работаем с тэгами в Wordpress и создаем внутреннюю перелинковку в блоге Всем привет. Сегодня хочется поговорить о том, как же все...
2. Меняем плагин All in one SEO Pack на Platinum SEO Pack Ну думаю те кто работает с wordpress’om знаком с плагином...
3. Создаем файлы Robots.txt и sitemap.xml у сайта В этом посте пожалуй расширю тему создания сайта, и расскажу...
4. Как привлечь трафик на сайт Этот пост будет написан скорее для новичков, которые только только...
5. Негативные факторы в глазах поисковиков Этим постом я заканчиваю цикл статей по факторам ранжирования Яндекса....