robots.txt — простой, но опасный файл. Одна неверная директива Disallow может полностью убрать сайт из индекса. Этот инструмент поможет вам проверить как синтаксис, так и фактическое поведение для каждого user-agent — что именно сможет краулить Googlebot, что Yandexbot, и где они расходятся.
Что проверяется
- Синтаксис: правильно ли расставлены User-agent, Allow, Disallow, Sitemap, Crawl-delay.
- Конфликтующие правила — когда Allow и Disallow для одного пути спорят между собой.
- Регистрозависимость: пути в robots.txt чувствительны к регистру, /Page и /page — разные.
- Корректность ссылок на sitemap.
- Разница между Googlebot и Yandexbot — у Яндекса есть специфичные директивы, например Clean-param.