robots.txt — простой, но опасный файл. Одна неверная директива Disallow может полностью убрать сайт из индекса. Этот инструмент поможет вам проверить как синтаксис, так и фактическое поведение для каждого user-agent — что именно сможет краулить Googlebot, что Yandexbot, и где они расходятся.

Что проверяется

Синтаксис: правильно ли расставлены User-agent, Allow, Disallow, Sitemap, Crawl-delay.
Конфликтующие правила — когда Allow и Disallow для одного пути спорят между собой.
Регистрозависимость: пути в robots.txt чувствительны к регистру, /Page и /page — разные.
Корректность ссылок на sitemap.
Разница между Googlebot и Yandexbot — у Яндекса есть специфичные директивы, например Clean-param.