Robots.txt-tarkistaja

Tietoja tästä työkalusta

Robots.txt-tiedosto on tekstitiedosto verkkosivuston juurihakemistossa (/robots.txt), joka kertoo hakukoneiden indeksointiroboteille (Googlebot, Bingbot jne.), mitä sivuston osia ne saavat tai eivät saa indeksoida. Oikea konfiguraatio varmistaa, että hakukoneet indeksoivat vain julkisia sivuja eivätkä tuhlaa indeksointibudjettia hallintaliittymiin tai päällekkäiseen sisältöön. Virhe robots.txt-tiedostossa voi estää koko sivuston indeksoinnin (Disallow: /) tai päinvastoin paljastaa arkaluontoisia sivuja. Robots.txt Checker validoi tiedoston syntaksin RFC 9309 -standardin mukaisesti, simuloi tietyn botin pääsyä mihin tahansa polkuun ja varoittaa kriittisistä virheistä, kuten Googlebotin estämisestä tai puuttuvasta linkistä sitemap.xml-tiedostoon.

Kuinka käyttää

1. 1Kirjoita verkkosivuston URL syöttökenttään - työkalu lataa automaattisesti tiedoston osoitteesta domain.fi/robots.txt.
2. 2Napsauta Analysoi - tiedoston sisältö, kaikki säännöt ja havaitut ongelmat näytetään.
3. 3Tarkista Indeksointisäännöt-osio - mitkä User-agent-säännöt koskevat Googlebotia ja muita boteja.
4. 4Käytä Indeksointisimulaattoria - kirjoita polku (esim. /admin/) ja tarkista, onko pääsy sallittu vai estetty kyseiselle botille.
5. 5Korjaa kriittiset virheet (Googlebotin esto, puuttuva Sitemap-direktiivi) ja vahvista uudelleen analyysillä.

Tekniset tiedot ja rajoitukset

Validoi robots.txt-syntaksin REP-standardin (RFC 9309) mukaisesti. Jäsentää: User-agent-direktiivi, Disallow, Allow, Crawl-delay, Sitemap. Simulaattori: testaa minkä tahansa botin pääsyä tiettyyn polkuun ja näyttää vastaavan säännön. Tarkistaa: koko sivuston eston (Disallow: /), Googlebotin eston, puuttuvan Sitemap-direktiivin, virheelliset URL-osoitteet Sitemapissa. Tuloste ladattavissa JSON-muodossa. Analyysi välittömästi.