Бесплатно · SEO-инструменты

Проверка robots.txt

Загрузите robots.txt любого сайта и проверьте, может ли краулер открыть путь — по реальным правилам обхода, с показом решающего правила.

URL сайта

Введите любой http(s) URL; подойдёт и конкретный путь вроде /private/admin. Инструмент загрузит robots.txt этого сайта и проверит именно этот путь.

Краулер

Бот, чьи правила решают результат. Действует сопоставление по префиксу: «Googlebot» также охватывает Googlebot-News, Googlebot-Image…

Введите URL и краулера, затем нажмите «Проверить доступ». Вердикт покажет, может ли этот краулер получить путь согласно реальному robots.txt сайта.

Частые вопросы

Что на самом деле означают результаты?

Вердикт относится к одной паре (краулер, путь): «Разрешено» или «Заблокировано» по реальному robots.txt сайта. Страница показывает, из какой группы user-agent пришли правила и какое именно правило решило. Оценка точно следует RFC 9309: побеждает самый длинный совпадающий паттерн, Allow приоритетнее Disallow той же длины, звёздочка соответствует любому символу, включая слэш, завершающий $ фиксирует конец, а при отсутствии совпадающих правил всё разрешено. Disallow с пустым значением ничего не делает — как и у крупных поисковиков.

Почему Googlebot также охватывает Googlebot-News и Googlebot-Image?

RFC 9309 говорит, что группы user-agent сопоставляются как регистронезависимый ПРЕФИКС токена краулера: группа для «Googlebot» поэтому распространяется на Googlebot-News, Googlebot-Image, Googlebot-Video и т.д. Сайты рассчитывают на это, чтобы писать один набор правил для всего семейства. Можно ввести и точное имя (например «GPTBot» или «Baiduspider-image»); если у сайта есть группа для него, действуют только её правила.

Этот инструмент загружает мою страницу? Откуда берётся robots.txt?

Он скачивает только /robots.txt цели, никогда саму страницу, и делает это с сервера этого сайта, потому что браузер не может прочитать robots.txt другого источника напрямую (CORS). Загрузка лимитирована, ограничена 512 КБ, максимум 3 перенаправления и отклоняет приватные/зарезервированные адреса. Файл полностью разбирается в вашем браузере; аккаунт не нужен, ваш URL не сохраняется.

Что проверяет этот инструмент

Исправность загрузки — код статуса, цепочки перенаправлений и content-type проверяются до разбора; HTML-страница, отданная по адресу /robots.txt, сразу даёт громкую ошибку.
Аудит директив — неизвестные директивы помечаются (краулеры их игнорируют); crawl-delay сверяется с лимитами основных ботов.
Симуляция URL — вставьте пути, и каждый получит вердикт Allowed/Blocked с точной цитатой совпавшей строки.
Наличие Sitemap — объявления Sitemap извлекаются и проверяются на доступность.

Ваш robots.txt глазами ботов

Загрузка, разбор и симуляция — каждое правило Disallow проверяется на ваших собственных URL, с вердиктом по каждому пути.

🕸️

Реальные правила, реальный вердикт

Загружает настоящий robots.txt и оценивает ровно как поисковики: самый длинный паттерн RFC 9309, Allow приоритетнее Disallow, группы по префиксу — никаких догадок.

⚖️

Решающая строка видна

Помимо бейджа «Разрешено / Заблокировано» вы видите точное правило, решившее исход, и его группу user-agent: понятно, почему и что изменить.

🆓

Без загрузки страницы, без входа, бесплатно

Загружается только публичный robots.txt (никогда ваша страница), через ограниченный по скорости, 512-КБ лимитом и отказом от приватных адресов загрузчик. Ни аккаунта, ни кредитов.

Что такое проверка robots.txt?

Проверка robots.txt загружает robots.txt сайта и точно показывает, что может получать конкретный обходящий агент — оценивается так же, как это делают крупные поисковики. robots.txt — это маленький публичный текстовый файл, который каждый сайт может опубликовать, объявив, какие пути краулерам можно открывать, а какие нельзя («Disallow: /admin/», «Allow: /public/», сгруппировано по краулеру под строками User-agent). Это не защитный барьер, но именно так поисковикам и ботам сообщаются предпочтения обхода — а одна ошибка в правиле часто приводит к тому, что страница случайно скрывается от Google. Этот инструмент читает файл и применяет правила из RFC 9309: самый длинный паттерн побеждает, Allow приоритетнее Disallow той же длины, звёздочка соответствует любому символу, завершающий $ фиксирует конец, а группа действует на краулера, когда её токен является регистронезависимым префиксом имени бота.

Что показывает этот инструмент

Мгновенный вердикт «Разрешено / Заблокировано» для пары (путь, краулер)
Решающее правило и его группа user-agent
HTTP-статус ответа robots.txt (404 означает всё разрешено)
Счётчики групп, совпадающих правил и строк sitemap
Исходный robots.txt для проверки

Когда использовать

Перед запуском раздела — убедиться, что Googlebot его обходит
Диагностика страницы, пропавшей из выдачи: проверить, не блокирует ли её правило
Проверка, что Allow действительно перекрывает более ранний Disallow (частая ошибка)
При добавлении новых ботов (AI-краулеры, краулеры изображений) — какие пути им доступны

Замечание о конфиденциальности: этот инструмент отправляет введённый вами URL на сервер этого сайта, который скачивает только публичный robots.txt цели — ваша страница никогда не загружается. Разбор происходит в вашем браузере, результаты кратко кэшируются ради экономии трафика, аккаунт не требуется и ничего о вас не сохраняется.