robots.txt блокирует ТОЛЬКО краулинг, не индексацию. Если на запрещённую страницу есть внешние ссылки, она может попасть в индекс без снапшота. Для исключения из индекса используйте noindex.
User-agent: *
Allow: /
Disallow: /api/
Disallow: /dashboard/
Sitemap: https://example.com/sitemap.xml