Все вебмастера рано или поздно узнают про robots.txt. Robots.txt — файл, который позволит избежать попадания сайта в бан за дублирование контента, ускорит индексацию сайта, поможет поисковикам “понять” и “полюбить” сайт.
Ниже приведён правильный robots.txt для WordPress. Он полностью соответствует требованиям как WordPress, так и поисковых систем.
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /feed Disallow: */feed Disallow: /*?* Disallow: /*? Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /search/*/feed Disallow: /search/*/* Disallow: /tag/ Allow: /wp-content/uploads/ Host: vicomp72.ru Sitemap: User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: vicomp72.ru Sitemap:
В этом листинге нужно заменить vicomp72.ru на имя Вашего домена. Правильный Robots.txt нужно загружать в корневую папку (там где находятся файлы сайта). Имея правильный robots.txt, вы автоматически уменьшаете риски на негативное отношение со стороны яндекса и google.
