Robots.txt kontrollija

Selle tööriista kohta

Robots.txt fail on tekstifail veebisaidi juurkataloogis (/robots.txt), mis ütleb otsingumootorite robotitele (Googlebot, Bingbot jne), milliseid veebisaidi osi nad tohib või ei tohi indekseerida. Õige konfiguratsioon tagab, et otsingumootorid indekseerivad ainult avalikke lehti ega raiska indekseerimise eelarvet haldusliidestele või dubleeritud sisule. Viga robots.txt failis võib blokeerida kogu veebisaidi indekseerimise (Disallow: /) või vastupidi paljastada tundlikud lehed. Robots.txt Checker valideerib faili süntaksi vastavalt standardile RFC 9309, simuleerib konkreetse roboti juurdepääsu suvalisele teele ja hoiatab kriitiliste vigade eest, nagu Googleboti blokeerimine või puuduv link sitemap.xml-ile.

Kuidas kasutada

1. 1Sisestage veebisaidi URL sisestusväljale - tööriist laadib automaatselt faili domeen.ee/robots.txt.
2. 2Klõpsake Analüüsi - kuvatakse faili sisu, kõik reeglid ja leitud probleemid.
3. 3Kontrollige Indekseerimise reeglite sektsiooni - millised User-agent reeglid kehtivad Googlebotile ja teistele robotitele.
4. 4Kasutage Indekseerimise simulaatorit - sisestage tee (nt /admin/) ja kontrollige, kas juurdepääs on lubatud või keelatud vastavale robotile.
5. 5Parandage kriitilised vead (Googleboti blokeerimine, puuduv Sitemap direktiiv) ja kontrollige uuesti analüüsiga.

Spetsifikatsioonid ja piirangud

Valideerib robots.txt süntaksi vastavalt REP standardile (RFC 9309). Analüüsib: User-agent direktiivi, Disallow, Allow, Crawl-delay, Sitemap. Simulaator: testib mis tahes roboti juurdepääsu konkreetsele teele ja kuvab vastava reegli. Kontrollib: kogu veebisaidi blokeerimist (Disallow: /), Googleboti blokeerimist, puuduvat Sitemap direktiivi, kehtetuid URL-e Sitemapis. Väljund allalaaditav JSON-formaadis. Analüüs kohe.