Robots.txt tikrintuvas
Analizuokite robots.txt failą, patikrinkite taisykles ir sitemaps direktyvas. Nemokama internetinė priemonė.
Apie šį įrankį
Robots.txt failas yra tekstinis failas, esantis svetainės šakniniame kataloge (/robots.txt), kuris nurodo paieškos sistemų robotams (Googlebot, Bingbot ir kt.), kurias svetainės dalis jie gali arba negali indeksuoti. Teisinga konfigūracija užtikrina, kad paieškos sistemos indeksuoja tik viešus puslapius ir neeikvoja indeksavimo biudžeto administracinėms sąsajoms ar dublikatams. Klaida robots.txt faile gali blokuoti visą svetainę nuo indeksavimo (Disallow: /) arba priešingai - atskleisti jautrius puslapius. Robots.txt Checker patvirtina failo sintaksę pagal RFC 9309 standartą, imituoja konkretaus roboto prieigą prie bet kurio kelio ir įspėja apie kritines klaidas, tokias kaip Googlebot blokavimas arba trūkstama nuoroda į sitemap.xml.
Kaip naudoti
- 1Įveskite svetainės URL į įvesties lauką - įrankis automatiškai įkelia failą iš domenas.lt/robots.txt.
- 2Spustelėkite Analizuoti - rodomas failo turinys, visos taisyklės ir rastos problemos.
- 3Patikrinkite Indeksavimo taisyklių sekciją - kurios User-agent taisyklės galioja Googlebot ir kitiems robotams.
- 4Naudokite Indeksavimo simuliatorių - įveskite kelią (pvz., /admin/) ir patikrinkite, ar prieiga leidžiama ar draudžiama atitinkamam botui.
- 5Ištaisykite kritines klaidas (Googlebot blokavimą, trūkstamą Sitemap direktyvą) ir dar kartą patikrinkite analize.
Specifikacijos ir apribojimai
Tikrina robots.txt sintaksę pagal REP standartą (RFC 9309). Analizuoja: User-agent direktyvą, Disallow, Allow, Crawl-delay, Sitemap. Simuliatorius: testuoja bet kurio roboto prieigą prie konkretaus kelio ir rodo atitinkamą taisyklę. Tikrina: visos svetainės blokavimą (Disallow: /), Googlebot blokavimą, trūkstamą Sitemap direktyvą, netinkamus URL Sitemap. Rezultatas atsisiunčiamas JSON formatu. Analizė akimirksniu.