Robots.txt Ellenőr
Elemezze a robots.txt fájlt, igazolja a szabályokat és ellenőrizze a sitemap direktívákat. Ingyenes online eszköz.
Az eszközről
A Robots.txt Checker egy ingyenes online eszköz a robots.txt fájl érvényesítéséhez és elemzéséhez. A robots.txt fájl szabályozza, hogy mely oldalakat tudják feltérképezni és indexelni a keresőmotorok ügynökei. Ez az eszköz segít megérteni a feltérképezési szabályokat, hibákat azonosítani és biztosítani, hogy a Googlebot és más feltérképezők hozzáférjenek a fontos oldalakhoz. Tökéletes SEO-szakembereknek, webmestereknek és a webhely feltérképezhetőségét kezelő fejlesztőknek.
Hogyan kell használni
- 1Adja meg a weboldala URL-jét vagy illessze be a robots.txt tartalmat közvetlenül
- 2Kattintson a "Robots.txt ellenőrzése" gombra és várja meg az érvényesítést
- 3Tekintse meg az összes engedélyezés/tiltás szabályt a különböző keresőmotor botokhoz
- 4Ellenőrizze a szintaxis hibákat vagy problematikus szabályokat
- 5Kapjon javaslatokat a robots.txt konfigurációjának javításához
Specifikációk és korlátozások
A robots.txt szintaxisát érvényesíti a REP (Robots Exclusion Protocol) standard szerint. Ellenőrzi: User-agent szabályok, Disallow/Allow útvonalak, Crawl-delay, Request-rate, Sitemap irányelvek. Teszteli az adott URL-eket a szabályokhoz. Megmutatja, mely botokat érinti minden szabály. Feldolgozási sebesség: azonnali.