SEO-аналитика

Robots.txt & Sitemap Checker

Находите противоречие, которое большинство сайтов не замечает: страницы, поданные на индексацию в sitemap, но заблокированные в robots.txt.

Смотреть все решения

Что проверяется

  • ✓Разбирает каждую группу user-agent, правила allow/disallow и указанные sitemap в robots.txt
  • ✓Рекурсивно разворачивает вложенные индексы sitemap с защитой от циклов на любую глубину
  • ✓Сверяет каждый URL из sitemap с robots.txt и точно указывает, какие из них заблокированы для обхода
  • ✓Также используется для поиска URL в других инструментах платформы, например в URL Matcher