Έλεγχος Robots.txt

Σχετικά με αυτό το εργαλείο

Το αρχείο robots.txt είναι ένα αρχείο κειμένου που βρίσκεται στον ριζικό κατάλογο ενός ιστότοπου (/robots.txt) και λέει στα προγράμματα ανίχνευσης μηχανών αναζήτησης (Googlebot, Bingbot κ.λπ.) ποια μέρη του ιστότοπου μπορούν ή δεν μπορούν να ευρετηριάσουν. Μια σωστή διαμόρφωση διασφαλίζει ότι οι μηχανές αναζήτησης ευρετηριάζουν μόνο δημόσιες σελίδες και δεν σπαταλούν προϋπολογισμό ανίχνευσης σε διεπαφές διαχείρισης ή διπλό περιεχόμενο. Ένα σφάλμα στο robots.txt μπορεί να αποκλείσει ολόκληρο τον ιστότοπο από την ευρετηρίαση (Disallow: /) ή αντίθετα να εκθέσει ευαίσθητες σελίδες. Το Robots.txt Checker επικυρώνει τη σύνταξη του αρχείου σύμφωνα με το πρότυπο RFC 9309, προσομοιώνει την πρόσβαση ενός συγκεκριμένου bot σε οποιαδήποτε διαδρομή και προειδοποιεί για κρίσιμα σφάλματα όπως ο αποκλεισμός του Googlebot ή η έλλειψη συνδέσμου προς sitemap.xml.

Πώς να χρησιμοποιήσετε

1. 1Εισαγάγετε τη διεύθυνση URL του ιστότοπου στο πεδίο εισαγωγής - το εργαλείο φορτώνει αυτόματα το αρχείο από domain.gr/robots.txt.
2. 2Κάντε κλικ στο Ανάλυση - εμφανίζεται το περιεχόμενο του αρχείου, όλοι οι κανόνες και τα προβλήματα που βρέθηκαν.
3. 3Ελέγξτε την ενότητα Κανόνες ανίχνευσης - ποιοι κανόνες User-agent ισχύουν για το Googlebot και άλλα bots.
4. 4Χρησιμοποιήστε τον Προσομοιωτή ανίχνευσης - εισαγάγετε μια διαδρομή (π.χ. /admin/) και ελέγξτε εάν η πρόσβαση επιτρέπεται ή απαγορεύεται για το συγκεκριμένο bot.
5. 5Διορθώστε κρίσιμα σφάλματα (αποκλεισμό Googlebot, ελλείπουσα οδηγία Sitemap) και επαληθεύστε ξανά με ανάλυση.

Προδιαγραφές και περιορισμοί

Επικυρώνει σύνταξη robots.txt σύμφωνα με το πρότυπο REP (RFC 9309). Αναλύει: οδηγία User-agent, Disallow, Allow, Crawl-delay, Sitemap. Προσομοιωτής: ελέγχει πρόσβαση οποιουδήποτε bot σε συγκεκριμένη διαδρομή και εμφανίζει τον αντίστοιχο κανόνα. Ελέγχει: αποκλεισμό ολόκληρου του ιστότοπου (Disallow: /), αποκλεισμό Googlebot, ελλείπουσα οδηγία Sitemap, μη έγκυρες URL στη Sitemap. Έξοδος με δυνατότητα λήψης ως JSON. Ανάλυση άμεση.