Анализируйте файл robots.txt, проверяйте правила и директивы карты сайта. Бесплатный онлайн инструмент.