Файл robots.txt — это один из первых файлов, который поисковые системы читают при сканировании вашего сайта. Правильная настройка этого файла помогает управлять индексацией страниц, защищать важные разделы сайта от попадания в индекс и повышать SEO-показатели. В статье подробно разберём, как грамотно составить и подключить robots.txt для WordPress с учётом актуальных рекомендаций и типичных ошибок.
Что такое robots.txt и зачем он нужен в WordPress
robots.txt — это текстовый файл, который размещается в корне сайта и содержит инструкции для поисковых роботов: какие страницы можно индексировать, а какие — нет. Для WordPress этот файл особенно важен, так как CMS генерирует много страниц и динамического контента, часть которого не должна попадать в индекс, например, административная панель, страницы авторизации, служебные URL.
Без правильно настроенного robots.txt поисковые системы могут тратить ресурсы на сканирование ненужных страниц, что снижает эффективность индексации и может привести к попаданию в индекс дублированного или нежелательного контента.
Кроме того, robots.txt помогает защитить сайт от излишнего сканирования, что важно при высоких нагрузках и использовании кеширующих плагинов, таких как Clearfy Pro, которые оптимизируют работу сайта и снижают нагрузку на сервер.
Основные правила и структура файла robots.txt для WordPress
Стандартный файл robots.txt состоит из блоков, в каждом из которых указывается пользовательский агент (robot user-agent) и правила доступа (allow/disallow). Пример базового файла для WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpurok.ru/sitemap.xml
Разберём основные директивы:
User-agent: *— применяет правила ко всем поисковым роботам.Disallow: /wp-admin/— запрещает индексацию административной части сайта.Disallow: /wp-includes/— закрывает доступ к служебным скриптам и файлам.Disallow: /wp-login.php— предотвращает индексацию страницы входа.Allow: /wp-admin/admin-ajax.php— разрешает доступ к AJAX обработчику, необходимому для работы некоторых плагинов и функций.Sitemap:— указывает путь к карте сайта, что облегчает работу роботов.
Важно не закрывать доступ к важным публичным страницам и мультимедийным файлам, иначе это негативно скажется на SEO.
Как создать и разместить файл robots.txt в WordPress
Существует несколько способов добавить или отредактировать robots.txt в WordPress:
1. Создание физического файла в корне сайта
Самый простой и надёжный способ — создать текстовый файл robots.txt на вашем компьютере и загрузить его в корневую папку сайта через FTP или файловый менеджер хостинга. При этом файл должен быть доступен по адресу https://wpurok.ru/robots.txt.
2. Использование плагинов SEO
Популярные SEO-плагины, например Rank Math или Yoast SEO, позволяют редактировать robots.txt прямо из административной панели WordPress. Это удобно для быстрого обновления без доступа к серверу.
3. Генерация виртуального файла
WordPress может автоматически генерировать виртуальный robots.txt, если физический файл отсутствует. Для добавления правил в такой файл можно использовать фильтр wpurok_robots_txt (пример ниже).
add_filter('robots_txt', 'wpurok_add_robots_rules', 10, 2);
function wpurok_add_robots_rules($output, $public) {
if ($public) {
$output .= "\nUser-agent: *\nDisallow: /wp-admin/\nDisallow: /wp-login.php\nAllow: /wp-admin/admin-ajax.php\nSitemap: https://wpurok.ru/sitemap.xml\n";
}
return $output;
}
Расширенные настройки robots.txt для защиты и SEO
Помимо базовых правил, есть смысл учесть особенности сайта и дополнительно закрыть лишние разделы:
Закрытие страниц с параметрами и дублированного контента
WordPress генерирует множество URL с параметрами, например, для пагинации, сортировки, фильтров. Чтобы поисковики не индексировали эти страницы и не возникали проблемы с дублированием, добавьте:
Disallow: /*?*
Disallow: /page/
Однако будьте аккуратны с директивой Disallow: /*?*, она может блокировать важные URL с параметрами, например, для плагинов. Лучше проверить конкретные случаи.
Блокировка директорий плагинов и тем
Часто имеет смысл закрыть публичный доступ к папкам с плагинами и темами, чтобы предотвратить индексацию служебных файлов:
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Если на сайте используются, например, плагины Clearfy Pro или WPStories, убедитесь, что нужные публичные файлы не закрыты.
Указание карты сайта
Обязательно пропишите точный адрес файла карты сайта (sitemap.xml). Если вы используете SEO-плагины, они автоматически генерируют карту, например:
Sitemap: https://wpurok.ru/sitemap_index.xml
Это поможет поисковикам быстрее находить новые страницы и обновления.
Проверка и тестирование файла robots.txt
После настройки важно проверить, как поисковые системы воспринимают robots.txt вашего сайта. Для этого можно использовать:
- Google Search Console — инструмент «Проверка файла robots.txt» позволяет увидеть, какие URL блокируются.
- Яндекс.Вебмастер — аналогичный сервис для проверки доступности страниц.
- Онлайн-сервисы проверки
robots.txt, например, robots-txt.com.
Обратите внимание, что неправильные настройки могут случайно закрыть весь сайт от индексации. Чтобы избежать этого, перед публикацией всегда тестируйте файл.
Пример расширенного файла robots.txt для WordPress
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?*
Disallow: /page/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wpurok.ru/sitemap_index.xml
Такой файл закроет административные и служебные разделы, параметры URL и укажет путь к карте сайта.
Заключение по теме robots.txt в WordPress
Файл robots.txt — мощный инструмент контроля индексации и защиты сайта на WordPress. Его грамотная настройка позволяет улучшить SEO, снизить нагрузку на сервер и защитить служебные разделы. Используйте физический файл или возможности SEO-плагинов, проверяйте результаты через инструменты вебмастеров и не бойтесь настраивать расширенные правила с учётом особенностей вашего сайта.
Для удобства и безопасности рекомендуем использовать плагин Clearfy Pro, который помогает автоматически оптимизировать файл robots.txt и закрывать типичные проблемные зоны WordPress без ручного редактирования.