Robots.txt sjekker

Om dette verktøyet

Robots.txt-filen er en tekstfil i rotkatalogen til et nettsted (/robots.txt) som forteller søkemotorcrawlere (Googlebot, Bingbot, etc.) hvilke deler av nettstedet de kan eller ikke kan indeksere. En korrekt konfigurasjon sikrer at søkemotorer kun indekserer offentlige sider og ikke kaster bort crawl-budsjett på administrasjonsgrensesnitt eller duplisert innhold. En feil i robots.txt kan blokkere hele nettstedet fra indeksering (Disallow: /) eller motsatt eksponere sensitive sider. Robots.txt Checker validerer filens syntaks i henhold til standard RFC 9309, simulerer tilgang for en spesifikk bot til en hvilken som helst sti og advarer om kritiske feil som blokkering av Googlebot eller manglende lenke til sitemap.xml.

Hvordan du bruker det

1. 1Skriv inn nettstedets URL i inntastingsfeltet - verktøyet laster automatisk filen fra domene.no/robots.txt.
2. 2Klikk på Analyser - filinnholdet, alle regler og funnet problemer vises.
3. 3Sjekk Crawl-regler-seksjonen - hvilke User-agent-regler som gjelder for Googlebot og andre roboter.
4. 4Bruk Crawl-simulatoren - skriv inn en sti (f.eks. /admin/) og sjekk om tilgang er tillatt eller nektet for den aktuelle roboten.
5. 5Rett opp kritiske feil (blokkering av Googlebot, manglende Sitemap-direktiv) og verifiser på nytt med en analyse.

Spesifikasjoner og grenser

Validerer robots.txt-syntaks i henhold til REP-standarden (RFC 9309). Analyserer: User-agent-direktiv, Disallow, Allow, Crawl-delay, Sitemap. Simulator: tester tilgang for valgfri bot til en spesifikk sti og viser den tilsvarende regelen. Kontrollerer: blokkering av hele nettstedet (Disallow: /), blokkering av Googlebot, manglende Sitemap-direktiv, ugyldige URL-er i Sitemap. Utdata nedlastbar som JSON. Analyse umiddelbar.