Verificador de Robots.txt
Analiza arquivo robots.txt, valida regras e comproba directivas sitemap. Ferramenta online gratuíta.
Sobre esta ferramenta
Robots.txt Checker é unha ferramenta online gratuíta para validación e análise do túo arquivo robots.txt. O arquivo robots.txt controla que páxinas poden rasteixar e indexar os buscadores. Esta ferramenta che axuda a entender as túas regras de rastrexo, identificar erros e asegurar que Googlebot e outros rastreadores podan acceder a páxinas importantes. Perfecta para especialistas en SEO, administradores de sitios web e desenvolvedores que xestionen a rastreabilidade do sitio.
Como usar
- 1Introduce o URL do teu sitio web ou pega contido robots.txt directamente
- 2Fai clic en "Comproba Robots.txt" e agarda a validación
- 3Ve todas as regras de permisión/bloqueo para diferentes buscadores
- 4Comproba erros de sintaxe ou regras problemáticas
- 5Obtén suxestións para mellorar a configuración robots.txt
Especificacións e límites
Valida a sintaxe robots.txt segundo o estándar REP (Robots Exclusion Protocol). Comproba: regras User-agent, camiños Disallow/Allow, Crawl-delay, Request-rate, directivas Sitemap. Proba URLs específicas contra regras. Mostra que bots se ven afectados por cada regra. Velocidade de procesamiento: instantánea.