Robots.txt Checker

Acerca de esta herramienta

El archivo robots.txt es un archivo de texto ubicado en el directorio raíz del sitio web (/robots.txt) que indica a los rastreadores de los motores de búsqueda (Googlebot, Bingbot, etc.) qué partes del sitio pueden o no indexar. Una configuración correcta garantiza que los motores de búsqueda indexen solo las páginas públicas y no desperdicien el presupuesto de rastreo en interfaces de administración o contenido duplicado. Un error en robots.txt puede bloquear todo el sitio de la indexación (Disallow: /) o por el contrario exponer páginas sensibles. Robots.txt Checker valida la sintaxis del archivo según el estándar RFC 9309, simula el acceso de un bot específico a cualquier ruta y advierte sobre errores críticos como el bloqueo de Googlebot o la falta de enlace a sitemap.xml.

Cómo usar

1. 1Introduce la URL del sitio en el campo de entrada - la herramienta carga automáticamente el archivo desde dominio.es/robots.txt.
2. 2Haz clic en Analizar - se mostrará el contenido del archivo, todas las reglas y los problemas encontrados.
3. 3Revisa la sección Reglas de rastreo - qué reglas User-agent se aplican a Googlebot y otros bots.
4. 4Usa el Simulador de rastreo - introduce una ruta (ej. /admin/) y verifica si el acceso está permitido o denegado para el bot correspondiente.
5. 5Corrige los errores críticos (bloqueo de Googlebot, directiva Sitemap faltante) y vuelve a verificar con un análisis.

Especificaciones y límites

Valida sintaxis de robots.txt según el estándar REP (RFC 9309). Analiza: directiva User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulador: prueba el acceso de cualquier bot a una ruta específica y muestra la regla correspondiente. Verifica: bloqueo de todo el sitio (Disallow: /), bloqueo de Googlebot, directiva Sitemap faltante, URL inválidas en Sitemap. Salida descargable como JSON. Análisis inmediato.