Анализирайте robots.txt файл, валидирайте правила и проверете sitemap директиви. Безплатен онлайн инструмент.