Provjeravač Robots.txt
Analizirajte robots.txt datoteku, validirajte pravila i provjerite sitemap direktive. Besplatni online alat.
O ovom alatu
Provjeravač Robots.txt je besplatni online alat za validiranje i analizu vaše datoteke robots.txt. Datoteka robots.txt kontrolira koje stranice motori za pretraživanje mogu pregledavati i indeksirati. Ovaj alat vam pomaže razumjeti pravila pregledavanja, identificirati greške i osigurati da Googlebot i ostali crawleri mogu pristupiti važnim stranicama. Savršen za SEO stručnjake, administratore web stranica i programere koji upravljaju pregledljivošću web stranice.
Kako koristiti
- 1Unesite URL vaše web stranice ili zalijepite robots.txt sadržaj izravno
- 2Kliknite na "Provjeravač Robots.txt" i čekajte validaciju
- 3Pogledajte sva dozvola/zabrana pravila za različite motore za pretraživanje
- 4Provjerite sintaksne greške ili problematična pravila
- 5Dobijte preporuke za poboljšanje konfiguracije robots.txt
Specifikacije i ograničenja
Validira sintaksu robots.txt prema standardu REP (Robots Exclusion Protocol). Provjerava: User-agent pravila, Disallow/Allow putanje, Crawl-delay, Request-rate, Sitemap direktive. Testira specifične URL-e prema pravilima. Prikazuje koje botove utječe svako pravilo. Brzina obrade: trenutno.