Robots.txt Ellenőr

Az eszközről

A robots.txt fájl egy szöveges fájl a weboldal gyökérkönyvtárában (/robots.txt), amely megmondja a keresőmotorok robotjainak (Googlebot, Bingbot stb.), hogy a weboldal mely részeit indexelhetik vagy nem indexelhetik. A helyes konfiguráció biztosítja, hogy a keresőmotorok csak a nyilvános oldalakat indexeljék, és ne pazarolják a feltérképezési keretet admin felületekre vagy duplikált tartalomra. Egy hiba a robots.txt-ben blokkolhatja a teljes weboldal indexelését (Disallow: /) vagy éppen ellenkezőleg, érzékeny oldalakat tehet közzé. A Robots.txt Checker érvényesíti a fájl szintaxisát az RFC 9309 szabvány szerint, szimulálja egy adott bot hozzáférését bármely útvonalhoz, és figyelmeztet a kritikus hibákra, mint a Googlebot blokkolása vagy a sitemap.xml-re mutató link hiánya.

Hogyan kell használni

1. 1Írd be a weboldal URL-jét a beviteli mezőbe - az eszköz automatikusan betölti a fájlt a domain.hu/robots.txt címről.
2. 2Kattints az Elemzés gombra - megjelenik a fájl tartalma, az összes szabály és a talált problémák.
3. 3Ellenőrizd a Feltérképezési szabályok szakaszt - mely User-agent szabályok vonatkoznak a Googlebotra és más robotokra.
4. 4Használd a Feltérképezés szimulátort - írj be egy útvonalat (pl. /admin/) és ellenőrizd, hogy a hozzáférés engedélyezett vagy tiltott az adott bot számára.
5. 5Javítsd ki a kritikus hibákat (Googlebot blokkolása, hiányzó Sitemap direktíva) és ellenőrizd újra elemzéssel.

Specifikációk és korlátozások

Érvényesíti robots.txt szintaxisát a REP szabvány (RFC 9309) szerint. Elemzi: User-agent direktíva, Disallow, Allow, Crawl-delay, Sitemap. Szimulátor: teszteli bármely bot hozzáférését egy adott útvonalhoz és megjeleníti a megfelelő szabályt. Ellenőrzi: teljes weboldal blokkolása (Disallow: /), Googlebot blokkolása, hiányzó Sitemap direktíva, érvénytelen URL-ek a Sitemap-ben. Kimenet letölthető JSON formátumban. Elemzés azonnal.