Kontrola Robots.txt

O tomto nástroji

Файлът robots.txt е текстов файл, разположен в основната директория на уебсайта (/robots.txt), който казва на роботите на търсачките (Googlebot, Bingbot и др.) кои части от сайта могат или не могат да индексират. Правилната конфигурация гарантира, че търсачките индексират само публични страници и не губят crawl бюджет за административни интерфейси или дублирано съдържание. Грешка в robots.txt може да блокира целия сайт от индексиране (Disallow: /) или обратно, да разкрие чувствителни страници. Robots.txt Checker валидира синтаксиса на файла според стандарта RFC 9309, симулира достъп на конкретен бот до произволен път и предупреждава за критични грешки като блокиране на Googlebot или липсващо препращане към sitemap.xml.

Ako používať

1. 1Въведете URL на уебсайта в полето за въвеждане - инструментът автоматично зарежда файла от domen.bg/robots.txt.
2. 2Щракнете върху Анализирай - показва се съдържанието на файла, всички правила и откритите проблеми.
3. 3Проверете секцията Правила за обхождане - кои User-agent правила важат за Googlebot и другите ботове.
4. 4Използвайте Симулатора за обхождане - въведете път (напр. /admin/) и проверете дали достъпът е разрешен или забранен за съответния бот.
5. 5Отстранете критичните грешки (блокиране на Googlebot, липсваща Sitemap директива) и проверете отново чрез анализ.

Špecifikácie a obmedzenia

Валидира синтаксис на robots.txt според REP стандарта (RFC 9309). Анализира: User-agent директива, Disallow, Allow, Crawl-delay, Sitemap. Симулатор: тества достъп на произволен бот до конкретен път и показва съответното правило. Проверява: блокиране на целия сайт (Disallow: /), блокиране на Googlebot, липсваща Sitemap директива, невалидни URL в Sitemap. Изход за изтегляне като JSON. Анализ незабавно.