Sprawdzacz Robots.txt
Analizuj plik robots.txt, waliduj reguły i sprawdzaj dyrektywy sitemapy. Bezpłatne narzędzie online.
O tym narzędziu
Plik robots.txt to plik tekstowy umieszczony w katalogu głównym strony (/robots.txt), który informuje roboty wyszukiwarek (Googlebota, Bingbota itd.), które części strony mogą lub nie mogą indeksować. Prawidłowa konfiguracja zapewnia, że wyszukiwarki indeksują tylko publiczne strony i nie marnują budżetu crawlingowego na interfejsy administracyjne czy zduplikowane treści. Błąd w robots.txt może zablokować całą stronę przed indeksacją (Disallow: /) lub przeciwnie - ujawnić wrażliwe strony. Robots.txt Checker sprawdza składnię pliku zgodnie ze standardem RFC 9309, symuluje dostęp konkretnego bota do dowolnej ścieżki i ostrzega przed krytycznymi błędami, takimi jak blokada Googlebota czy brakujący link do sitemap.xml.
Jak używać
- 1Wprowadź URL strony w pole wejściowe - narzędzie automatycznie załaduje plik z domena.pl/robots.txt.
- 2Kliknij Analizuj - wyświetli się zawartość pliku, wszystkie reguły i znalezione problemy.
- 3Sprawdź sekcję Reguły przeszukiwania - które reguły User-agent obowiązują dla Googlebota i innych botów.
- 4Użyj Symulatora przeszukiwania - wprowadź ścieżkę (np. /admin/) i sprawdź, czy dostęp dla danego bota jest dozwolony czy zabroniony.
- 5Popraw krytyczne błędy (blokadę Googlebota, brakującą dyrektywę Sitemap) i ponownie zweryfikuj analizą.
Specyfikacje i ograniczenia
Sprawdza składnię robots.txt zgodnie ze standardem REP (RFC 9309). Parsuje: dyrektywę User-agent, Disallow, Allow, Crawl-delay, Sitemap. Symulator: testuje dostęp dowolnego bota do konkretnej ścieżki i wyświetla odpowiednią regułę. Sprawdza: blokadę całej strony (Disallow: /), blokadę Googlebota, brakującą dyrektywę Sitemap, nieprawidłowe URL w Sitemap. Wynik do pobrania jako JSON. Analiza natychmiastowa.