Проверавач Robots.txt
Анализирајте robots.txt датотеку, валидирајте правила и проверите sitemap директиве. Бесплатна онлајн алатка.
О овој алатци
Robots.txt Checker је бесплатна онлајн алатка за валидирање и анализу вашег robots.txt фајла. Robots.txt фајл контролише које странице могу да обиђу и индексирају ботови претраживача. Ова алатка вам помаже да разумете правила за обилажење, идентификујете грешке и обезбедите да Googlebot и други краулери могу да приступе важним странама. Савршена за SEO стручњаке, веб администраторе и програмере који управљају приступачношћу сајта.
Како користити
- 1Унесите URL вашег веб сајта или пастујте robots.txt садржај директно
- 2Кликните на "Проверите Robots.txt" и чекајте валидирање
- 3Погледајте сва дозвољена/забрањена правила за различите претраживаче
- 4Проверите синтаксне грешке или проблематична правила
- 5Добијте предлоге за побољшање ваше robots.txt конфигурације
Спецификације и ограничења
Валидира robots.txt синтаксу у складу са REP (Robots Exclusion Protocol) стандардом. Проверава: User-agent правила, Disallow/Allow путање, Crawl-delay, Request-rate, Sitemap директиве. Тестира конкретне URL адресе према правилима. Приказује које ботове утичу на свако правило. Брзина обраде: тренутна.