Индексация · практический чек-лист

Проверка robots.txt: ошибки, которые мешают индексации

Файл robots.txt задаёт правила обхода сайта. Ошибка в одной строке может закрыть от робота раздел, изображения или страницу, на которую вы ведёте рекламу.

Что проверить в robots.txt

1. Откройте https://ваш-домен.ru/robots.txt без авторизации. Сервер должен вернуть HTTP 200 и обычный текстовый файл.
2. Найдите блок User-agent: * и проверьте, что нужные разделы не закрыты правилами Disallow.
3. Сравните запреты с реальной структурой сайта: отдельно проверьте каталог, статьи, изображения, CSS и JavaScript.
4. Укажите актуальный абсолютный адрес карты сайта через Sitemap: https://ваш-домен.ru/sitemap.xml.
5. После изменения проверьте не только файл, но и доступность нескольких целевых URL: robots.txt не заменяет проверку ответа страницы и canonical.

Типовые ошибки

• Глобальный Disallow: / — робот не сможет обходить весь сайт.
• Закрыт каталог или блог — страницы могут не попасть в поиск, даже если они есть в sitemap.
• Неверный путь к Sitemap — карта не будет найдена по указанному адресу.
• Файл отдаётся с ошибкой или редиректом — сначала исправьте доступность на сервере.
• Ожидание, что robots.txt ускорит рост позиций — он управляет обходом, но не гарантирует ранжирование.

Как понять результат проверки

Полезный результат — это не общий балл, а конкретная связка: URL файла, строка правила, затронутый раздел и действие для исправления. После исправления нужно отдельно проверить sitemap, canonical, мобильную версию и скорость страницы.

О других технических сигналах читайте в статье о техническом аудите сайта и в материале о проверке canonical.

Материал описывает техническую проверку и не обещает конкретную позицию в поисковой выдаче.