Корректный robots.txt для WordPress, Joomla, uCoz

Добавить комментарий

Robots.txt — текстовый файл, расположенный в корневом каталоге вашего сайта, содержащий инструкции, указывающие поисковым машинам (Google, Yandex), какие именно части ресурса индексировать, а какие нет. Поисковый робот, зашедший на Ваш сайт в первую очередь ищет эти самые инструкции, т.е. файл robots.txt, поэтому каждый уважающий себя вэб-мастер должен иметь его у себя на сайте. Так же данный файл указывает поисковым системам, где расположен файл карты сайта (sitemap.xml).

Robots.txt для WordPress

Итак, наша цель — прописать корректные параметры в robots.txt для Вашего ресурса

WordPress

Создаем одноименный файл, копируем в него следующее:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yoursite.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yoursite.ru/sitemap.xml

Естественно, вместо yoursite вписываем свой домен.

Joomla

Стандартный robots.txt для Joomla содержит следующие строки:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

uCoz

Ваш сайт на uCoz индексируется правильно, если в robots.txt прописано:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Теперь поисковые машины будут индексировать Ваш сайт правильно. По Вашему усмотрению, можете вносить в изменения в данный файл

Добавить комментарий