Robots.txt pārbaudītājs

Par šo rīku

Robots.txt fails ir teksta fails, kas atrodas vietnes saknes direktorijā (/robots.txt), un norāda meklētājprogrammu robotiem (Googlebot, Bingbot u.c.), kuras vietnes daļas tie drīkst vai nedrīkst indeksēt. Pareiza konfigurācija nodrošina, ka meklētājprogrammas indeksē tikai publiskās lapas un netērē pārlūkošanas budžetu administrācijas saskarnēm vai dublētam saturam. Kļūda robots.txt var bloķēt visu vietni no indeksēšanas (Disallow: /) vai, gluži pretēji, atklāt sensitīvas lapas. Robots.txt Checker validē faila sintaksi saskaņā ar RFC 9309 standartu, simulē konkrēta robota piekļuvi jebkuram ceļam un brīdina par kritiskām kļūdām, piemēram, Googlebot bloķēšanu vai trūkstošu saiti uz sitemap.xml.

Kā lietot

1. 1Ievadiet vietnes URL ievades laukā - rīks automātiski ielādē failu no domens.lv/robots.txt.
2. 2Noklikšķiniet uz Analizēt - tiek parādīts faila saturs, visi noteikumi un atrastās problēmas.
3. 3Pārbaudiet Pārlūkošanas noteikumu sadaļu - kuri User-agent noteikumi attiecas uz Googlebot un citiem robotiem.
4. 4Izmantojiet Pārlūkošanas simulatoru - ievadiet ceļu (piem., /admin/) un pārbaudiet, vai piekļuve ir atļauta vai liegta attiecīgajam botam.
5. 5Labojiet kritiskās kļūdas (Googlebot bloķēšanu, trūkstošu Sitemap direktīvu) un pārbaudiet vēlreiz ar analīzi.

Specifikācijas un ierobežojumi

Validē robots.txt sintaksi saskaņā ar REP standartu (RFC 9309). Analizē: User-agent direktīvu, Disallow, Allow, Crawl-delay, Sitemap. Simulators: testē jebkura robota piekļuvi konkrētam ceļam un parāda atbilstošo noteikumu. Pārbauda: visas vietnes bloķēšanu (Disallow: /), Googlebot bloķēšanu, trūkstošu Sitemap direktīvu, nederīgus URL Sitemap. Izvade lejupielādējama JSON formātā. Analīze uzreiz.