Robots.txt-kontrollant

Om det här verktyget

Robots.txt-filen är en textfil i rotkatalogen på en webbplats (/robots.txt) som talar om för sökmotorernas crawlers (Googlebot, Bingbot, etc.) vilka delar av webbplatsen de får eller inte får indexera. En korrekt konfiguration säkerställer att sökmotorer endast indexerar offentliga sidor och inte slösar crawl-budget på admin-gränssnitt eller dubblettinnehåll. Ett fel i robots.txt kan blockera hela webbplatsen från indexering (Disallow: /) eller tvärtom exponera känsliga sidor. Robots.txt Checker validerar filens syntax enligt standard RFC 9309, simulerar åtkomst för en specifik bot till valfri sökväg och varnar för kritiska fel som blockering av Googlebot eller saknad länk till sitemap.xml.

Hur man använder

1. 1Ange webbplatsens URL i inmatningsfältet - verktyget laddar automatiskt filen från domän.se/robots.txt.
2. 2Klicka på Analysera - filinnehållet, alla regler och hittade problem visas.
3. 3Kontrollera avsnittet Crawl-regler - vilka User-agent-regler som gäller för Googlebot och andra bots.
4. 4Använd Crawl-simulatorn - ange en sökväg (t.ex. /admin/) och kontrollera om åtkomst är tillåten eller nekad för den aktuella boten.
5. 5Åtgärda kritiska fel (blockering av Googlebot, saknat Sitemap-direktiv) och verifiera igen med en analys.

Specifikationer och begränsningar

Validerar robots.txt-syntax enligt REP-standard (RFC 9309). Tolkar: User-agent-direktiv, Disallow, Allow, Crawl-delay, Sitemap. Simulator: testar åtkomst för valfri bot till en specifik sökväg och visar motsvarande regel. Kontrollerar: blockering av hela webbplatsen (Disallow: /), blockering av Googlebot, saknat Sitemap-direktiv, ogiltiga URL:er i Sitemap. Utdata nedladdningsbar som JSON. Analys omedelbar.