Robots.txt Checker

Om dette værktøj

Robots.txt-filen er en tekstfil i roden af en hjemmeside (/robots.txt), som forteller søgemaskinernes crawlere (Googlebot, Bingbot osv.), hvilke dele af hjemmesiden de må eller ikke må indeksere. En korrekt konfiguration sikrer, at søgemaskiner kun indekserer offentlige sider og ikke spilder crawl-budget på admin-grænseflader eller duplikeret indhold. En fejl i robots.txt kan blokere hele hjemmesiden fra indeksering (Disallow: /) eller omvendt eksponere følsomme sider. Robots.txt Checker validerer filens syntaks i henhold til standard RFC 9309, simulerer adgang for en specifik bot til en vilkårlig sti og advarer om kritiske fejl som blokering af Googlebot eller manglende henvisning til sitemap.xml.

Sådan bruges det

1. 1Indtast hjemmesidens URL i inputfeltet - værktøjet indlæser automatisk filen fra domaene.dk/robots.txt.
2. 2Klik på Analyser - filindholdet, alle regler og fundne problemer vises.
3. 3Tjek sektionen Crawl-regler - hvilke User-agent-regler der gælder for Googlebot og andre bots.
4. 4Brug Crawl-simulatoren - indtast en sti (f.eks. /admin/) og kontroller, om adgang er tilladt eller nægtet for den pågældende bot.
5. 5Ret kritiske fejl (blokering af Googlebot, manglende Sitemap-direktiv) og verificer igen med en analyse.

Specifikationer og grænser

Validerer robots.txt-syntaks i henhold til REP-standarden (RFC 9309). Analyserer: User-agent-direktiv, Disallow, Allow, Crawl-delay, Sitemap. Simulator: tester adgang for enhver bot til en bestemt sti og viser den tilsvarende regel. Kontrollerer: blokering af hele hjemmesiden (Disallow: /), blokering af Googlebot, manglende Sitemap-direktiv, ugyldige URL'er i Sitemap. Output downloadbart som JSON. Analyse øjeblikkelig.