Как выглядит правильный файл robots.txt для WordPress. Предлагаю посмотреть логику создания файла роботс и примеры с использованием отсеков для разных пауков.
Обычно файл создается очень легко в текстовом редакторе или обычном блокноте виндовс. Этот вариант подойдет всем, кто имеет доступ к файлам сервера. Но бывают и другие услуги хостеров, когда к сайту у вас есть только доступ через админку.
В таком случае используйте замечательный плагин вордпресс. Он незаменим, если доступ к блогу только через админ панель.
Плагин для создания файла robots в wordpress — KB Robots.txt
Процесс создания быстр и легок, не рекомендуется использовать, если ваш блог находится не в корневой папке, а в подпапке.
Скачать плагин по ссылке: https://wordpress.org/extend/plugins/kb-robotstxt/
После установки плагина, нужно всего лишь заполнить форму необходимым текстом. Что же нужно писать? Прочитайте общие сведения о том, как создать robots на страницах сайта.
Как выглядит файл robots.txt для WordPress?
Для вордпресс нужно написать следующее:
|
User-agent: * |
Что означает данный файл робот?
Все, что вписано после Disallow: #запретит индексацию поисковиками страниц, системных папок, rss feed-ов, тегов, поисковых результатов.
Allow: #здесь указываем путь до папки с мультимедийными файлами.
Sitemap: #укажем путь карты сайта.
Пример полного правильного роботса для разных пауков с настроенным чпу — название постов:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */comments
Disallow: /index.php?s=
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
User-agent: Yandex
Crawl-delay: 5
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */comments
Disallow: /index.php?s=
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Host: site.ru
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google
Disallow:
Allow: /*
Sitemap: https://site.ru/sitemap.xml
О файле роботс и его настройках в различных cms.
Файл robots.txt — создание, значение директив.
Правильный robots txt для joomla — настройка роботса для джумлы.
Что такое зеркало сайта? — использование файла роботс для указания главного зеркала.
Полезные статьи и уроки для тех, кто изучает движок вордпресс:
Блог WordPress, где найдете сравнение форумов поддержки для различных движков. А также о процессе создания бесплатного блога.
Как установить плагин WordPress Описание процесса установки по шагам для начинающих.
Как создать блог на wordpress с собственным доменным именем. Статья о том, как легко и очень быстро сделать блог на движке вордпресс с выбранным доменом.
Обзор сайта с самыми красивыми шаблонами для вордпресс. Этот ресурс заслуживает внимания, на нем очень красивые темы вордпресс.
Джентельменский набор плагинов вордпресс — перечень плагинов, необходимый для начала работы блога на вордпресс.
