Анализирајте robots.txt датотека, валидирајте правила и проверите sitemap директиви. Бесплатна онлајн алатка.