Robots.txt pārbaudītājs
Analizējiet robots.txt failu, validējiet noteikumus un pārbaudiet sitemap direktīvas. Bezmaksas tiešsaistes rīks.
Par šo rīku
Robots.txt pārbaudītājs ir bezmaksas tiešsaistes rīks jūsu robots.txt faila validēšanai un analīzei. Robots.txt fails kontrolē, kuras lapas meklētājprogrammu rāpuļi var skaņot un indeksēt. Šis rīks palīdz jums izprast jūsu rāpuļošanas noteikumus, identificēt kļūdas un nodrošināt, ka Googlebot un citi rāpuļi var piekļūt svarīgajām lapām. Ideāls SEO speciālistiem, vietnes administratoriem un izstrādātājiem, kuri pārvalda vietnes indeksējamību.
Kā lietot
- 1Ievadiet jūsu vietnes URL vai tieši ielīmējiet robots.txt saturu
- 2Noklikšķiniet uz "Robots.txt pārbaudītājs" un gaidiet validēšanu
- 3Skatiet visus atļaujošos/aizliedzošos noteikumus dažādiem meklētājprogrammu botiem
- 4Pārbaudiet sintakses kļūdas vai problemātiskos noteikumus
- 5Saņemiet ieteikumus jūsu robots.txt konfigurācijas uzlabošanai
Specifikācijas un ierobežojumi
Validē robots.txt sintaksi saskaņā ar REP (Robots Exclusion Protocol) standartu. Pārbauda: User-agent noteikumus, Disallow/Allow ceļus, Crawl-delay, Request-rate, Sitemap direktīvas. Testē noteiktus URL atzīmes pret noteikumiem. Parāda, kurus botus ietekmē katrs noteikums. Apstrādes ātrums: uzreiz.