Preverka Robots.txt

O tem orodju

Datoteka robots.txt je besedilna datoteka v korenski mapi spletnega mesta (`/robots.txt`), ki pajkom (Googlebot, Bingbot ipd.) pove, katere dele spletnega mesta smejo ali ne smejo indeksirati. Pravilna nastavitev zagotovi, da iskalniki indeksirajo samo javne strani in ne zapravljajo crawl budgeta za administracijo ali podvojeno vsebino. Napaka v robots.txt lahko blokira indeksiranje celotnega spletnega mesta (`Disallow: /`) ali pa razkrije občutljive strani. Robots.txt Checker preveri sintakso datoteke po standardu RFC 9309, simulira dostop določenega pajka do poljubne poti in opozori na kritične napake, kot sta blokiranje Googlebota ali manjkajoča povezava na sitemap.xml.

Kako se uporablja

1. 1Vnesite URL spletnega mesta v vnosno polje - orodje samodejno naloži datoteko z `domena.si/robots.txt`.
2. 2Kliknite Analiziraj - prikažejo se vsebina datoteke, vsa pravila in najdene težave.
3. 3Preverite razdelek Pravila indeksiranja - katera pravila User-agent veljajo za Googlebot in druge pajke.
4. 4Uporabite Simulator indeksiranja - vnesite pot (npr. `/admin/`) in preverite, ali ima izbrani pajek dostop dovoljen ali prepovedan.
5. 5Odpravite kritične napake (blokiranje Googlebota, manjkajočo direktivo Sitemap) in znova preverite z analizo.

Specifikacije in omejitve

Preveri sintakso robots.txt po standardu REP (RFC 9309). Razčleni: direktivo User-agent, Disallow, Allow, Crawl-delay, Sitemap. Simulator: preizkusi dostop poljubnega pajka do določene poti in prikaže ustrezno pravilo. Preveri: blokiranje celotnega spletnega mesta (`Disallow: /`), blokiranje Googlebota, manjkajočo direktivo Sitemap, neveljavne URL-je v Sitemap. Izvoz za prenos kot JSON. Analiza je takojšnja.