Robots.txt Checker

Über dieses Tool

Die robots.txt-Datei ist eine Textdatei im Stammverzeichnis einer Website (/robots.txt), die Suchmaschinen-Crawlern (Googlebot, Bingbot usw.) mitteilt, welche Bereiche der Website sie indexieren dürfen oder nicht. Eine korrekte Konfiguration stellt sicher, dass Suchmaschinen nur öffentliche Seiten indexieren und kein Crawl-Budget für Admin-Bereiche oder doppelte Inhalte verschwenden. Ein Fehler in robots.txt kann die gesamte Website von der Indexierung ausschließen (Disallow: /) oder vertrauliche Seiten offenlegen. Robots.txt Checker validiert die Dateisyntax gemäß Standard RFC 9309, simuliert den Zugriff eines bestimmten Crawlers auf beliebige Pfade und warnt vor kritischen Fehlern wie der Blockade des Googlebots oder fehlendem Verweis auf sitemap.xml.

Anleitung

1. 1Gib die URL der Website in das Eingabefeld ein - das Tool lädt die Datei automatisch von domain.de/robots.txt.
2. 2Klicke auf Analysieren - der Dateiinhalt, alle Regeln und gefundene Probleme werden angezeigt.
3. 3Prüfe den Bereich Crawling-Regeln - welche User-Agent-Regeln für Googlebot und andere Crawler gelten.
4. 4Nutze den Crawling-Simulator - gib einen Pfad ein (z.B. /admin/) und prüfe, ob der Zugriff für den jeweiligen Crawler erlaubt oder verboten ist.
5. 5Behebe kritische Fehler (Googlebot-Blockade, fehlende Sitemap-Direktive) und überprüfe erneut durch eine Analyse.

Spezifikationen und Grenzen

Validiert robots.txt-Syntax nach REP-Standard (RFC 9309). Parst: User-agent-Direktive, Disallow, Allow, Crawl-delay, Sitemap. Simulator: testet Zugriff beliebiger Crawler auf bestimmte Pfade und zeigt die entsprechende Regel an. Prüft: Blockade der gesamten Website (Disallow: /), Blockade des Googlebots, fehlende Sitemap-Direktive, ungültige URLs in Sitemap. Ausgabe zum Download als JSON. Analyse sofort.