Robots.txt Checker

O tomto nástroji

Soubor robots.txt je textový soubor umístěný v kořenovém adresáři webu (`/robots.txt`), který říká prohledávačům (Googlebotu, Bingbotu atd.) které části webu mohou nebo nemohou indexovat. Správná konfigurace zajistí, že vyhledávače indexují pouze veřejné stránky a neplýtvají crawl budget na admin rozhraní nebo duplicitní obsah. Chyba v robots.txt může zablokovat celý web z indexace (`Disallow: /`) nebo naopak odkrýt citlivé stránky. Robots.txt Checker validuje syntaxi souboru dle standardu RFC 9309, simuluje přístup konkrétního bota k libovolné cestě a upozorní na kritické chyby jako je blokace Googlebotu nebo chybějící odkaz na sitemap.xml.

Jak používat

1. 1Vložte URL webu do vstupního pole - nástroj automaticky načte soubor z `domena.cz/robots.txt`.
2. 2Klikněte na Analyzovat - zobrazí se obsah souboru, všechna pravidla a nalezené problémy.
3. 3Zkontrolujte sekci Pravidla prohledávání - která User-agent pravidla platí pro Googlebot a ostatní boty.
4. 4Použijte Simulátor prohledávání - zadejte cestu (např. `/admin/`) a ověřte, zda má daný bot přístup povolen nebo zakázán.
5. 5Opravte kritické chyby (blokaci Googlebotu, chybějící Sitemap direktivu) a znovu ověřte analýzou.

Specifikace a omezení

Validuje syntaxi robots.txt dle REP standardu (RFC 9309). Parsuje: User-agent direktiva, Disallow, Allow, Crawl-delay, Sitemap. Simulátor: otestuje přístup libovolného bota na konkrétní cestu a zobrazí odpovídající pravidlo. Kontroluje: blokaci celého webu (`Disallow: /`), blokaci Googlebotu, chybějící Sitemap direktivu, neplatné URL v Sitemap. Výstup ke stažení jako JSON. Analýza okamžitě.