Verificador de Robots.txt

Sobre esta ferramenta

O ficheiro robots.txt é um ficheiro de texto localizado na raiz do site (/robots.txt) que indica aos rastreadores dos motores de busca (Googlebot, Bingbot, etc.) que partes do site podem ou não indexar. Uma configuração correta garante que os motores de busca indexam apenas páginas públicas e não desperdiçam o orçamento de rastreio em interfaces administrativas ou conteúdo duplicado. Um erro no robots.txt pode bloquear todo o site da indexação (Disallow: /) ou, pelo contrário, expor páginas sensíveis. O Robots.txt Checker valida a sintaxe do ficheiro de acordo com o padrão RFC 9309, simula o acesso de um bot específico a qualquer caminho e alerta para erros críticos como o bloqueio do Googlebot ou a falta de ligação para sitemap.xml.

Como usar

1. 1Insere o URL do site no campo de entrada - a ferramenta carrega automaticamente o ficheiro de dominio.pt/robots.txt.
2. 2Clica em Analisar - o conteúdo do ficheiro, todas as regras e os problemas encontrados são exibidos.
3. 3Verifica a secção Regras de rastreio - quais as regras User-agent que se aplicam ao Googlebot e outros bots.
4. 4Usa o Simulador de rastreio - insere um caminho (ex. /admin/) e verifica se o acesso está permitido ou negado para o bot em questão.
5. 5Corrige os erros críticos (bloqueio do Googlebot, diretiva Sitemap em falta) e verifica novamente com uma análise.

Especificações e limites

Valida sintaxe robots.txt segundo o padrão REP (RFC 9309). Analisa: diretiva User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulador: testa o acesso de qualquer bot a um caminho específico e mostra a regra correspondente. Verifica: bloqueio de todo o site (Disallow: /), bloqueio do Googlebot, diretiva Sitemap em falta, URLs inválidas em Sitemap. Saída para download como JSON. Análise imediata.