Kontrollor Robots.txt
Analizoni skedarin robots.txt, vlefsoni rregullat dhe kontrollohet direktiva sitemap. Mjet online falas.
Rreth këtij mjeti
Kontrollor i Robots.txt është një mjet falas online për vlefsimin dhe analizimin e skedarit robots.txt. Skedari robots.txt kontrollon cilat faqe mund të gërmojnë dhe indeksojnë botët e motorit të kërkimit. Ky mjet ju ndihmon të kuptoni rregullat tuaja të gërmimit, të identifikoni gabimet dhe të siguroheni që Googlebot dhe crawlerat e tjerë mund të kenë akses në faqet e rëndësishme. Perfekt për specialistët SEO, përgjegjësit e faqeve të internetit dhe zhvilluesit që menaxhojnë gërmimin e faqeve.
Si të përdoret
- 1Futni URL-në e faqes tuaj ose ngjisni përmbajtjen robots.txt drejtpërdrejt
- 2Klikoni në "Kontrollor Robots.txt" dhe prisni vlefsimin
- 3Shikoni të gjitha rregullat e lejes/moslejes për botë të ndryshme të motorit të kërkimit
- 4Kontrolloni për gabime sintaksë ose rregulla problemore
- 5Merrni sugjerime për përmirësimin e konfigurimit robots.txt
Specifikazimet dhe kufizimet
Validizon sintaksën robots.txt sipas standardit REP (Robots Exclusion Protocol). Kontrollon: rregullat e User-agent, shtigjet e Disallow/Allow, Crawl-delay, Request-rate, direktiva të Sitemap. Teston URL-et specifike përkundrejt rregullave. Tregon cilat bota ndikohen nga çdo rregull. Shpejtësia e përpunimit: e menjëhershme.