Verificatore Robots.txt

Informazioni su questo strumento

Il file robots.txt è un file di testo situato nella directory principale del sito web (/robots.txt) che indica ai crawler dei motori di ricerca (Googlebot, Bingbot, ecc.) quali parti del sito possono o non possono indicizzare. Una configurazione corretta garantisce che i motori di ricerca indicizzino solo le pagine pubbliche e non sprechino il budget di crawling su interfacce di amministrazione o contenuti duplicati. Un errore in robots.txt può bloccare l'intero sito dall'indicizzazione (Disallow: /) o al contrario esporre pagine sensibili. Robots.txt Checker valida la sintassi del file secondo lo standard RFC 9309, simula l'accesso di un bot specifico a qualsiasi percorso e avvisa su errori critici come il blocco di Googlebot o la mancanza del link a sitemap.xml.

Come usare

1. 1Inserisci l'URL del sito nel campo di input - lo strumento carica automaticamente il file da dominio.it/robots.txt.
2. 2Clicca su Analizza - vengono visualizzati il contenuto del file, tutte le regole e i problemi trovati.
3. 3Controlla la sezione Regole di scansione - quali regole User-agent si applicano a Googlebot e agli altri bot.
4. 4Usa il Simulatore di scansione - inserisci un percorso (es. /admin/) e verifica se l'accesso è consentito o negato per il bot specificato.
5. 5Correggi gli errori critici (blocco di Googlebot, direttiva Sitemap mancante) e verifica nuovamente con un'analisi.

Specifiche e limiti

Valida la sintassi robots.txt secondo lo standard REP (RFC 9309). Analizza: direttiva User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulatore: testa l'accesso di qualsiasi bot a un percorso specifico e mostra la regola corrispondente. Verifica: blocco dell'intero sito (Disallow: /), blocco di Googlebot, direttiva Sitemap mancante, URL non validi in Sitemap. Output scaricabile come JSON. Analisi immediata.