Kontrola Robots.txt

O tomto nástroji

Súbor robots.txt je textový súbor umiestnený v koreňovom adresári webu (`/robots.txt`), ktorý hovorí prehľadávačom (Googlebotu, Bingbotu a pod.), ktoré časti webu môžu alebo nemôžu indexovať. Správna konfigurácia zaistí, že vyhľadávače indexujú iba verejné stránky a neplytvajú crawl budgetom na administráciu alebo duplicitný obsah. Chyba v robots.txt môže zablokovať indexáciu celého webu (`Disallow: /`) alebo naopak odkryť citlivé stránky. Robots.txt Checker validuje syntax súboru podľa štandardu RFC 9309, simuluje prístup konkrétneho bota k ľubovoľnej ceste a upozorní na kritické chyby, ako je blokovanie Googlebotu alebo chýbajúci odkaz na sitemap.xml.

Ako používať

1. 1Vložte URL webu do vstupného poľa - nástroj automaticky načíta súbor z `domena.sk/robots.txt`.
2. 2Kliknite na Analyzovať - zobrazí sa obsah súboru, všetky pravidlá a nájdené problémy.
3. 3Skontrolujte sekciu Pravidlá prehľadávania - ktoré pravidlá User-agent platia pre Googlebot a ostatné boty.
4. 4Použite Simulátor prehľadávania - zadajte cestu (napr. `/admin/`) a overte, či má daný bot prístup povolený alebo zakázaný.
5. 5Opravte kritické chyby (blokovanie Googlebotu, chýbajúcu direktívu Sitemap) a overte znova analýzou.

Špecifikácie a obmedzenia

Validuje syntax robots.txt podľa štandardu REP (RFC 9309). Parsuje: direktívu User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulátor: otestuje prístup ľubovoľného bota na konkrétnu cestu a zobrazí zodpovedajúce pravidlo. Kontroluje: blokovanie celého webu (`Disallow: /`), blokovanie Googlebotu, chýbajúcu direktívu Sitemap, neplatné URL v Sitemap. Výstup na stiahnutie ako JSON. Analýza okamžite.