Verificatore Robots.txt
Analizza il file robots.txt, convalida le regole e controlla le direttive della sitemap. Strumento gratuito online.
Informazioni su questo strumento
Robots.txt Checker è uno strumento online gratuito per convalidare e analizzare il tuo file robots.txt. Il file robots.txt controlla quali pagine i bot dei motori di ricerca possono rastrare e indicizzare. Questo strumento ti aiuta a comprendere le tue regole di rastreo, identificare gli errori e assicurare che Googlebot e altri crawler possano accedere alle pagine importanti. Perfetto per i professionisti del SEO, i webmaster e gli sviluppatori che gestiscono la rastreabilità del sito.
Come usare
- 1Inserisci l'URL del tuo sito web o incolla direttamente il contenuto di robots.txt
- 2Fai clic su "Controlla Robots.txt" e attendi la convalida
- 3Visualizza tutte le regole di permesso/blocco per diversi bot dei motori di ricerca
- 4Cerca errori di sintassi o regole problematiche
- 5Ottieni suggerimenti per migliorare la configurazione di robots.txt
Specifiche e limiti
Convalida la sintassi di robots.txt secondo lo standard REP (Robots Exclusion Protocol). Controlla: regole User-agent, percorsi Disallow/Allow, Crawl-delay, Request-rate, direttive Sitemap. Testa gli URL specifici rispetto alle regole. Mostra quali bot sono interessati da ogni regola. Velocità di elaborazione: istantanea.