Provjeravač Robots.txt

O ovom alatu

Datoteka robots.txt je tekstualna datoteka u korijenskom direktoriju web-mjesta (`/robots.txt`) koja indeksirajućim robotima (Googlebot, Bingbot itd.) govori koje dijelove web-mjesta smiju ili ne smiju indeksirati. Ispravna konfiguracija osigurava da tražilice indeksiraju samo javne stranice i ne troše crawl budget na administraciju ili duplicirani sadržaj. Pogreška u robots.txt može blokirati indeksiranje cijelog web-mjesta (`Disallow: /`) ili, obrnuto, otkriti osjetljive stranice. Robots.txt Checker provjerava sintaksu datoteke prema standardu RFC 9309, simulira pristup određenog robota bilo kojoj putanji i upozorava na kritične pogreške poput blokiranja Googlebota ili nedostajuće poveznice na sitemap.xml.

Kako koristiti

1. 1Unesite URL web-mjesta u polje za unos - alat automatski učitava datoteku s `domena.hr/robots.txt`.
2. 2Kliknite Analiziraj - prikazuju se sadržaj datoteke, sva pravila i pronađeni problemi.
3. 3Provjerite odjeljak Pravila indeksiranja - koja pravila User-agent vrijede za Googlebot i ostale robote.
4. 4Upotrijebite Simulator indeksiranja - unesite putanju (npr. `/admin/`) i provjerite je li pristup za tog robota dopušten ili zabranjen.
5. 5Ispravite kritične pogreške (blokiranje Googlebota, nedostajuća direktiva Sitemap) i ponovno provjerite analizom.

Specifikacije i ograničenja

Provjerava sintaksu robots.txt prema standardu REP (RFC 9309). Parsira: direktivu User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulator: testira pristup bilo kojeg robota određenoj putanji i prikazuje odgovarajuće pravilo. Provjerava: blokiranje cijelog web-mjesta (`Disallow: /`), blokiranje Googlebota, nedostajuću direktivu Sitemap, nevaljane URL-ove u Sitemap. Izvoz za preuzimanje kao JSON. Analiza je trenutna.