Proveravač Robots.txt
Analizirajte robots.txt datoteku, validirajte pravila i provjerite sitemap direktive. Besplatna online aplikacija.
O ovoj alatki
Robots.txt Checker je besplatna mrežna alata za validiranje i analizu vaše robots.txt datoteke. Robots.txt datoteka kontrolišu koje stranice mogu pristupiti i indeksirati pretraživači. Ova alata vam pomaže da razumete pravila hvatanja, identifikujete greške i osigurate da Googlebot i drugi crawler-i mogu pristupiti važnim stranicama. Savršeno za SEO stručnjake, web mastere i developere koji upravljaju dostupnošću sajta.
Kako koristiti
- 1Unesite URL vašeg web sajta ili lepite sadržaj robots.txt direktno
- 2Kliknite na "Proverite Robots.txt" i čekajte validiranje
- 3Pogledajte sva dozvola/zabrana pravila za različite pretraživače
- 4Proverite greške u sintaksi ili problematična pravila
- 5Dobijte predloge za poboljšanje konfiguracije robots.txt
Specifikacije i ograničenja
Validira robots.txt sintaksu prema REP (Robots Exclusion Protocol) standardu. Proverava: User-agent pravila, Disallow/Allow putanje, Crawl-delay, Request-rate, Sitemap direktive. Testira specifične URL adrese prema pravilima. Prikazuje koji botovi su pogođeni svakim pravilom. Brzina obrade: trenutna.