Перевірка Robots.txt

Про цей інструмент

Файл robots.txt - це текстовий файл у кореневій теці сайту (`/robots.txt`), який повідомляє пошуковим роботам (Googlebot, Bingbot тощо), які частини сайту їм можна або не можна індексувати. Правильне налаштування гарантує, що пошукові системи індексують лише публічні сторінки й не витрачають crawl budget на адмінку чи дубльований вміст. Помилка в robots.txt може заблокувати індексацію всього сайту (`Disallow: /`) або, навпаки, відкрити чутливі сторінки. Robots.txt Checker перевіряє синтаксис файлу за стандартом RFC 9309, симулює доступ конкретного робота до будь-якого шляху й попереджає про критичні помилки, як-от блокування Googlebot чи відсутнє посилання на sitemap.xml.

Як використовувати

1. 1Введіть URL сайту в поле введення - інструмент автоматично завантажить файл із `domain.ua/robots.txt`.
2. 2Натисніть Аналізувати - з'явиться вміст файлу, усі правила та знайдені проблеми.
3. 3Перевірте розділ Правила обходу - які правила User-agent діють для Googlebot та інших роботів.
4. 4Скористайтеся Симулятором обходу - введіть шлях (напр. `/admin/`) і перевірте, чи дозволено цьому роботу доступ.
5. 5Виправте критичні помилки (блокування Googlebot, відсутня директива Sitemap) і перевірте знову аналізом.

Специфікації та обмеження

Перевіряє синтаксис robots.txt за стандартом REP (RFC 9309). Розбирає: директиву User-agent, Disallow, Allow, Crawl-delay, Sitemap. Симулятор: перевіряє доступ будь-якого робота до конкретного шляху й показує відповідне правило. Перевіряє: блокування всього сайту (`Disallow: /`), блокування Googlebot, відсутню директиву Sitemap, недійсні URL у Sitemap. Експорт у JSON. Аналіз миттєвий.