Для чего нужен файл robots.txt?
Файл robots.txt должен находится в корне Вашего сайта. Он необходим для ограничения индексации страниц которые не должны попадать в индекс, например Вы сами запретили к индексации некоторых страниц сайта, но как правило на сайте имеется множество папок и файлов которые не надо индексировать, например это могут быть папки администрирования, файлы содержащие персональные данные, логины и пароли…
Например строка «Disallow: /wp-admin/» запрещает поисковому роботу индексировать папку wp-admin и все файлы находящиеся в ней.
Вот мой файл robots.txt
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: www.rcl-radio.ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments
В нем вы можете заметь строчку Host: домен.ru на адрес своего сайта.
Host: www.rcl-radio.ru
После того как Вы создали новый сайт, его необходимо зарегистрировать его в поисковых системах. Вам понадобится два файла, это robots.txt и XML Sitemaps. После того как Вы указали адрес robots.txt он будет проверен поисковой системой, так же Вы можете провести анализ файла robots.txt. Для примера можно проверить будет ли индексироваться та или иная страница сайта (Яндекс-вебмастер):
Загрузка...