Проверка Robots.txt

Об этом инструменте

Файл robots.txt — это текстовый файл, расположенный в корневом каталоге сайта (/robots.txt), который сообщает поисковым роботам (Googlebot, Bingbot и т.д.), какие части сайта они могут или не могут индексировать. Правильная конфигурация гарантирует, что поисковые системы индексируют только публичные страницы и не тратят краулинговый бюджет на административные интерфейсы или дублированный контент. Ошибка в robots.txt может заблокировать весь сайт от индексации (Disallow: /) или, наоборот, раскрыть конфиденциальные страницы. Robots.txt Checker проверяет синтаксис файла в соответствии со стандартом RFC 9309, симулирует доступ конкретного бота к любому пути и предупреждает о критических ошибках, таких как блокировка Googlebot или отсутствие ссылки на sitemap.xml.

Как использовать

1. 1Введите URL сайта в поле ввода — инструмент автоматически загружает файл с domen.ru/robots.txt.
2. 2Нажмите Анализировать — отображается содержимое файла, все правила и найденные проблемы.
3. 3Проверьте раздел Правила обхода — какие правила User-agent применяются к Googlebot и другим ботам.
4. 4Используйте Симулятор обхода — введите путь (например, /admin/) и проверьте, разрешен или запрещен доступ для соответствующего бота.
5. 5Исправьте критические ошибки (блокировку Googlebot, отсутствующую директиву Sitemap) и проверьте снова с помощью анализа.

Характеристики и ограничения

Проверяет синтаксис robots.txt в соответствии со стандартом REP (RFC 9309). Анализирует: директиву User-agent, Disallow, Allow, Crawl-delay, Sitemap. Симулятор: проверяет доступ любого бота к конкретному пути и отображает соответствующее правило. Проверяет: блокировку всего сайта (Disallow: /), блокировку Googlebot, отсутствующую директиву Sitemap, недействительные URL в Sitemap. Вывод для скачивания в формате JSON. Анализ мгновенно.