Vérificateur Robots.txt

À propos de cet outil

Le fichier robots.txt est un fichier texte situé à la racine d'un site web (/robots.txt) qui indique aux robots d'indexation (Googlebot, Bingbot, etc.) quelles parties du site ils peuvent ou ne peuvent pas indexer. Une configuration correcte garantit que les moteurs de recherche n'indexent que les pages publiques et ne gaspillent pas leur budget de crawl sur les interfaces d'administration ou le contenu dupliqué. Une erreur dans robots.txt peut bloquer tout le site de l'indexation (Disallow: /) ou au contraire exposer des pages sensibles. Robots.txt Checker valide la syntaxe du fichier selon la norme RFC 9309, simule l'accès d'un robot spécifique à n'importe quel chemin et avertit des erreurs critiques comme le blocage de Googlebot ou l'absence de lien vers sitemap.xml.

Mode d'emploi

1. 1Saisis l'URL du site dans le champ de saisie - l'outil charge automatiquement le fichier depuis domaine.fr/robots.txt.
2. 2Clique sur Analyser - le contenu du fichier, toutes les règles et les problèmes détectés s'affichent.
3. 3Consulte la section Règles d'exploration - quelles règles User-agent s'appliquent à Googlebot et aux autres robots.
4. 4Utilise le Simulateur d'exploration - saisis un chemin (ex. /admin/) et vérifie si l'accès est autorisé ou interdit pour le robot concerné.
5. 5Corrige les erreurs critiques (blocage de Googlebot, directive Sitemap manquante) et vérifie à nouveau par une analyse.

Spécifications et limites

Valide la syntaxe robots.txt selon le standard REP (RFC 9309). Analyse : directive User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulateur : teste l'accès de n'importe quel robot à un chemin spécifique et affiche la règle correspondante. Vérifie : blocage du site entier (Disallow: /), blocage de Googlebot, directive Sitemap manquante, URL invalides dans Sitemap. Sortie téléchargeable en JSON. Analyse immédiate.