Как составить правильный robots.txt для WordPress

Все вебмастера рано или поздно узнают про robots.txt. Robots.txt — файл, который позволит избежать попадания сайта в бан за дублирование контента, ускорит индексацию сайта, поможет поисковикам “понять” и “полюбить”  сайт.

Ниже приведён правильный robots.txt для WordPress. Он полностью соответствует требованиям как WordPress, так и поисковых систем.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: vicomp72.ru
Sitemap:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: vicomp72.ru

Sitemap: 

В этом листинге нужно заменить vicomp72.ru на имя Вашего домена. Правильный Robots.txt нужно загружать в корневую папку (там где находятся файлы сайта). Имея правильный robots.txt, вы автоматически уменьшаете риски на негативное отношение со стороны яндекса и google.