Robots.txt kontrollija
Analüüsige robots.txt faili, valideerige reegleid ja kontrollige sitemap juhiseid. Tasuta veebipõhine tööriist.
Selle tööriista kohta
Robots.txt kontrollija on tasuta veebipõhine tööriist robots.txt faili valideerimiseks ja analüüsimiseks. Robots.txt fail kontrollib, milliseid lehti saavad otsingumootorite botid indekseerida. See tööriist aitab teil mõista oma indekseerimisreegleid, tuvastada vigu ja tagada, et Googlebot ja muud crawlerid saaksid juurde pääseda olulistele lehtedele. Ideaalne SEO spetsialistidele, veebisaidi haldajatele ja arendajatele, kes haldavad saidi indekseeritavust.
Kuidas kasutada
- 1Sisestage oma veebilehe URL või kleepige robots.txt sisu otse
- 2Klõpsake "Robots.txt kontrollija" ja oodake valideerimist
- 3Vaadake kõiki lubamis-/keelureegeid erinevatele otsingumootori bottidele
- 4Kontrollige süntaksivigu või probleematseid reegleid
- 5Saada ettepanekuid robots.txt konfiguratsiooni parandamiseks
Spetsifikatsioonid ja piirangud
Valideerib robots.txt süntaksit vastavalt REP (Robots Exclusion Protocol) standardile. Kontrollib: User-agent reegleid, Disallow/Allow teid, Crawl-delay, Request-rate, Sitemap direktiive. Testib spetsiifilisi URL-e reeglite vastu. Näitab, milliseid robotte iga reegel mõjutab. Töötlemise kiirus: hetkeliselt.