CheckTrust - сервис отбора качественных доноров для ссылочного продвижения. Наверное один из лучших в своем роде + огромный BlackList некачественных доноров.

SEO сервисы
10 Август

Создаем файлы Robots.txt и sitemap.xml у сайта

Автор: Westblogger, 2010 год. 554

Создаем Robots.txt и sitemap.xmlВ этом посте пожалуй расширю тему создания сайта, и расскажу про то, как сделать Robots.txt и Sitemap.xml файлы, чтобы поисковики корректно индексировали то что нужно, а не все подряд, и не брали в выдачу всякий мусор, типа страниц админ части, или дублей урлов и т.п. Также sitemap у сайта может способствовать более быстрому индексированию.

Итак, сначало выясним что из себя представляет файл Robots.txt Это текстовый документ (с расширением .txt) который можно создать в обычном блокноте. Он содержит в себе набор различных указаний или директив для пауков и поисковых роботов поисковых систем. С помощью них можно, например, запретить индексирование для Яндекса какой либо части сайта.

Указание для конкретного поискового робота задается так:

1)Для Яндекса:    User-agent: Yandex

2)Для Google:    User-agent: Googlebot

3)Для всех:    User-agent: *  (примечание * - означает все, для всех или для всего остального)

Следующими строчками будут сами указания запретов, причем запреты делаются по какой либо повторяющийся части url у сайта. Например на моем блоге повторяющаяся часть урл у постов это /?p=32 И чтобы запретить индексирование всех постов на моем блоге, нужно прописать в следующей строчке:

Disallow: /?p=*

Помните я писал что звездочка имеет смысл "все"? Вот таким образом мы запретили все числовые порядковые номера постов.

Или другой пример, нам нужно запретить к индексированию всю админскую часть в wordpress блоге. Прописываем:

Disallow: /wp-admin/

Так как все урлы в админ части содержат /wp-admin/, что то типа http://westblog/wp-admin/post.php

В конце нашего с вами файла прописываем директивы :

Host: westblog.ru

Это как раз указывает на то, что роботам поисковиков считать основным доменом, westblog.ru или www.westblog.ru

И последнее:

Sitemap: http://westblog.ru/sitemap.xml

Здесь указывается путь к файлу, который называется sitemap или в переводе "карта сайта". Он поможет наиболее быстро проиндексировать ваш сайт поисковым роботам. Этот файл может иметь .html формат иначе видимая карта сайта и .xml формат, его можно назвать скорее невидимой картой. Если давать более простое определение sitemap, то его можно назвать обычной страницей (страничками) которые содержат только внутренние ссылки на все. Эти ссылки имеют атрибуты, которые указывают насколько часто нужно поисковым системам переиндексировывать (кхе) эти странички.

Создать для блога на wordpress карту сайта проще легкого, просто качайте плагин под названием XML-sitemap. Для обычного сайта, карту можно создать при помощи различных сервисов. (просто вбейте в поисковике "создать карту сайта онлайн" или если вы хотите разместить ее где-нибудь, чтобы и посетители смогли ее видеть, то "создать html карту сайта"

Ну и пример sitemap.xml моего блога, смотрите здесь: http://westblog/sitemap.xml и пример robots смотрите здесь http://westblog.ru/Robots.txt

Кстати все эти файлы нужно помещать в корень каталога на вашем хостинге. (причем для sitemap это необязательно, но желательно)

Обратите также внимание и передайте друзьям, через социальные сети (типа одноклассников), что самые последние новинки музыки вы сможете скачать на сайте http://music.connect.ua/, там всегда имеются свежие поступления рока, попсы, электро, клаба и всего остального.

Связанные по заголовку статьи:

Почитайте также похожие посты:

  1. Создание блога. (Введение) Посидев маленько и подумав, я понял, что не один я...
  2. Как поставить редирект у домена с или без www Все здавствуйте. Сегодня вызнал еще одну причину почему гугл меня...
  3. Работа над блогом Итак, блог ожидает индексации поисковиков. Посмотрим как помогут sitemap.xml и...
  4. Создание логотипа Немного отвлекусь от тем манимейкинга и SEO, и расскажу о...
  5. Парсинг. Шерстим интернет :) Для начала отвечу на вопрос, что же значит слово парсинг....


Категория: Создаем блог - Комментариев (6)
6 Комментариев »
  1. Статья познавательная. Прочитал с удовольствием. Спасибо

    Комментарий от vitalik  —  11.08.2010 @ 13:38 (мск)


  2. какой то текст не связный

    Комментарий от Moogutilara  —  11.08.2010 @ 14:31 (мск)


  3. Настолько же не связный, насколько ваш коммент не спамный ;)

    Комментарий от West Blogger  —  12.08.2010 @ 07:13 (мск)


  4. Не за что, читайте и комментируйте есчо :)

    Комментарий от West Blogger  —  12.08.2010 @ 07:16 (мск)


  5. Подскажите проверенные сервисы для генерации Sitemap?

    Комментарий от UserD  —  28.08.2010 @ 21:23 (мск)


  6. Проверенных куча, достаочно ывбить в яндекс или гугл Создать sitemap

    Комментарий от West Blogger  —  30.08.2010 @ 11:47 (мск)


Оставить комментарий

Наверх


30.01.09 - 22.09.2017 © West Blogger. All rights reserved.