Verificator Robots.txt

Despre acest instrument

Fișierul robots.txt este un fișier text situat în directorul rădăcină al unui site web (/robots.txt) care spune crawlerelor motoarelor de căutare (Googlebot, Bingbot etc.) ce părți ale site-ului pot sau nu pot indexa. O configurare corectă asigură că motoarele de căutare indexează doar paginile publice și nu irosesc bugetul de crawling pe interfețe de administrare sau conținut duplicat. O eroare în robots.txt poate bloca întregul site de la indexare (Disallow: /) sau, dimpotrivă, poate expune pagini sensibile. Robots.txt Checker validează sintaxa fișierului conform standardului RFC 9309, simulează accesul unui bot specific la orice cale și avertizează asupra erorilor critice precum blocarea Googlebot sau lipsa linkului către sitemap.xml.

Cum se utilizează

1. 1Introdu URL-ul site-ului în câmpul de intrare - instrumentul încarcă automat fișierul de la domeniu.ro/robots.txt.
2. 2Fă clic pe Analizează - se afișează conținutul fișierului, toate regulile și problemele găsite.
3. 3Verifică secțiunea Reguli de crawl - care reguli User-agent se aplică pentru Googlebot și alte boturi.
4. 4Folosește Simulatorul de crawl - introdu o cale (ex. /admin/) și verifică dacă accesul este permis sau interzis pentru botul respectiv.
5. 5Corectează erorile critice (blocarea Googlebot, directiva Sitemap lipsă) și verifică din nou cu o analiză.

Specificații și limitări

Validează sintaxa robots.txt conform standardului REP (RFC 9309). Analizează: directiva User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulator: testează accesul oricărui bot la o cale specifică și afișează regula corespunzătoare. Verifică: blocarea întregului site (Disallow: /), blocarea Googlebot, directiva Sitemap lipsă, URL-uri invalide în Sitemap. Rezultat descărcabil ca JSON. Analiză imediată.