Robots.txt Checker

Over deze tool

Het robots.txt-bestand is een tekstbestand in de hoofdmap van een website (/robots.txt) dat zoekmachine-crawlers (Googlebot, Bingbot, enz.) vertelt welke delen van de site ze wel of niet mogen indexeren. Een correcte configuratie zorgt ervoor dat zoekmachines alleen openbare pagina's indexeren en geen crawl-budget verspillen aan admin-interfaces of dubbele inhoud. Een fout in robots.txt kan de hele site van indexering uitsluiten (Disallow: /) of juist gevoelige pagina's blootstellen. Robots.txt Checker valideert de bestandssyntaxis volgens standaard RFC 9309, simuleert de toegang van een specifieke bot tot elk pad en waarschuwt voor kritieke fouten zoals het blokkeren van Googlebot of een ontbrekende verwijzing naar sitemap.xml.

Hoe te gebruiken

1. 1Voer de URL van de website in het invoerveld in - de tool laadt automatisch het bestand van domein.nl/robots.txt.
2. 2Klik op Analyseren - de bestandsinhoud, alle regels en gevonden problemen worden weergegeven.
3. 3Controleer de sectie Crawl-regels - welke User-agent-regels gelden voor Googlebot en andere bots.
4. 4Gebruik de Crawl-simulator - voer een pad in (bijv. /admin/) en controleer of toegang is toegestaan of geweigerd voor de betreffende bot.
5. 5Los kritieke fouten op (blokkering van Googlebot, ontbrekende Sitemap-directive) en verifieer opnieuw met een analyse.

Specificaties en limieten

Valideert robots.txt-syntaxis volgens REP-standaard (RFC 9309). Parseert: User-agent-directive, Disallow, Allow, Crawl-delay, Sitemap. Simulator: test toegang van elke bot tot een specifiek pad en toont de bijbehorende regel. Controleert: blokkering van hele site (Disallow: /), blokkering van Googlebot, ontbrekende Sitemap-directive, ongeldige URLs in Sitemap. Uitvoer downloadbaar als JSON. Analyse onmiddellijk.