DL Robots.txt — плагин для создания динамического файла robots.txt

Что такое файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

При помощи плагина DL Robots.txt Вы можете задать задать оптимальные настройки для файла robots.txt для поисковых машин Yandex и Google (все значения в поле будут перезаписаны) или использовать свои настройки. Файл robots.txt формируется динамически с помощью WordPress.  Если у Вас уже имеет файл robots.txt в корне Вашего сайта, то скопируйте его содержимое в окно настроек плагина, сохраните изменения и удалите файл robots.txt.

Файл robots.txt

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: *&print
Host: www.Ваш_домен.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: *&print

Оптимальные настройки robots.txt сгенерированные плагином:

Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-content/
Disallow: /tag/
Disallow: /category/
Disallow: /archive/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Для установки плагина DL Robots.txt  войдите в «Админ-панель WordPress» > «Плагины» > «Добавить новый». В поле «Поиск» введите выражение «DL Robots.txt» и нажмите «Enter».

Скриншоты