SEO-аналітика

Robots.txt & Sitemap Checker

Знаходьте суперечність, яку більшість сайтів не помічає: сторінки, подані на індексацію в sitemap, але заблоковані в robots.txt.

Переглянути всі рішення

Що перевіряється

  • ✓Розбирає кожну групу user-agent, правила allow/disallow і вказані sitemap у robots.txt
  • ✓Рекурсивно розгортає вкладені індекси sitemap із захистом від циклів на будь-яку глибину
  • ✓Звіряє кожен URL із sitemap із robots.txt і точно вказує, які з них заблоковані для обходу
  • ✓Також використовується для пошуку URL в інших інструментах платформи, наприклад у URL Matcher