Удалить дубли в Wordpress с помощью Robots.txt
Автор: Westblogger, 2011 год.Всем привет. Сегодня я бы хотел рассмотреть довольно важный вопрос, касаемый удаления дублей в WordPress с помощью Robots.txt, которые в большинстве случаев могут привести сайт к АГСу Яндекса (и такое случается) Хоть на первый взгляд кажется, что Wordpress довольно простой движек, но он генерирует довольно много страничек, которые являются 100% дубликатами.
Когда у вас возникает такое желание: удалить дубли в WordPress, вы в первую очередь должны познакомится с такими методами удаления лишнего мусора, как: Robots.txt, meta name=”robots”, link rel=”canonical” После ознакомления с этими способами борьбы с нежелательными страничками, которые поисковики могут вполне скушать и не подавится, вы сможете очень легко отчистить блог от дублей.
Теперь о том как удалить дубли в Wordpress с помощью Robots.txt. Дубликатами в Wordpress являются категории, метки, архивы по месяцам, архивы по авторам, странички создаваемые поисковой формой блога, страницы пагинации, страницы ленты RSS, специальные урлы, создаваемые для комментариев.
Сразу добавлю, что в интернете я встречал рекомендации закрывать все возможные дубли в WordPress. Но по-моему мнению, нужно оставить роботам представление о структуре вашего сайта, поэтому от себя рекомендую оставить либо категории, либо метки, либо архивы по месяцам.
Итак на примере Url’ов моего блога, имеющих вид /?p=1 и т.п., вам потребуется указать и закрыть в роботс вот такие части:
- /?cat= – вид урлов катеорий (они же рубрики, разделы)
- /?tag= – вид урлов меток (они же тэги)
- /?paged= – страницы пагинации (те странички, которые ограничивают отображение постов до определенного количества на странице)
- /?m= – вид урлов архивов
- /?author= – вид урлов авторов (оказывается даже я упустил это из виду, и добавил нужную директиву в robots.txt совсем недавно)
- /?feed= – страницы RSS ленты из вашего фида
- /?s= – такой тип урлов генерируется поиском вашего блога
Отмечу, что это вид урлов, которые стоят в движке Wordpress по умолчанию, т.е. если вы изменяли вид отображения url в админке, то придется указывать и закрывать по аналогии с вышенаписанным. Если вы не знаете, какой конкретно вид имеют урлы, просто включите все виджеты с метками, архивами, категориями, прокликайте по ссылкам авторов, комментариев, пагинации и посмотрите как они выглядят. (пример робота смотрите здесь westblog.ru/robots.txt)
Еще раз скажу, что по-моему мнению категории или метки лучше открыть для индексации. (смотря какие из них наиболее полно и хорошо сортируют материалы на сайте)
Кроме того, если вы любите общаться, и что называется прикипели к Аське, то скачать бесплатно аську на телефон nokia вы сможете на сайте MobiIcq. Самые свежие обновления, актуальная информация, адаптация к другим различным платформам ждут вас.
Почитайте также похожие посты:
- Работаем с тэгами в Wordpress и создаем внутреннюю перелинковку в блоге Всем привет. Сегодня хочется поговорить о том, как же все...
- Меняем плагин All in one SEO Pack на Platinum SEO Pack Ну думаю те кто работает с wordpress’om знаком с плагином...
- Создаем файлы Robots.txt и sitemap.xml у сайта В этом посте пожалуй расширю тему создания сайта, и расскажу...
- Как привлечь трафик на сайт Этот пост будет написан скорее для новичков, которые только только...
- Негативные факторы в глазах поисковиков Этим постом я заканчиваю цикл статей по факторам ранжирования Яндекса....
Уважаемые специалисты!
Возникла необходимость поменять шрифт, который стоит по-умолчанию в textarea, в котором набирается текст для поста. В WP 2.7 — это Georgia, а нужно поставить Tahoma.
Кто-нибудь может подсказать, как такое можно сотворить? Заранее благодарен.
Комментарий от stas — 16.01.2012 @ 08:06 (мск)
Смотрите CSS. Там есть параметры, которые нужно поменять.
Комментарий от West Blogger — 20.01.2012 @ 11:08 (мск)
А вы не подскажете: я частенько вношу правки в свои статьи и каждый раз вижу, что внизу ( там где Ревизия)появляется запись о новой копии статьи ( в режиме Автосохранения). В результате , на сайте скапливается очень много дублей статей. А как от них избавиться? Буду благодарна за подсказку
У меня Wordpress.
Комментарий от Арина — 12.01.2013 @ 00:50 (мск)
Арина, с смотрю вы уже сами разобрались
Комментарий от West Blogger — 29.01.2014 @ 19:17 (мск)