Бесплатно · SEO-инструменты

Генератор robots.txt

Правила Allow/Disallow для каждого краулера и ссылки на sitemap, готовые к вставке

Шаблоны

Правила

URL sitemap (по одному на строку)

robots.txt

Семантика директив, на которой чаще всего ошибаются

Побеждает специфичность — более длинное совпадающее Allow пересиливает более короткое Disallow внутри одной группы; в предпросмотре отмечается, какое правило срабатывает.
Группировка — пустая строка завершает группу; случайное смешивание отключает все последующие правила (здесь это проверяется).
Crawl-delay — уважается Bing/Yandex, игнорируется Google (помечается в комментарии к результату).
Строки Sitemap — только абсолютные URL; несколько строк допустимы и выводятся корректно.

Правила, записанные так, как их разбирают краулеры

Группы User-agent, порядок allow/disallow, crawl-delay и объявление sitemap — собирается из чекбоксов с живым предпросмотром файла.

⚡

Три стартовых пресета

Пресеты «разрешить всё», «запретить всё» и WordPress мгновенно заполняют группы правил с правильной строкой User-agent и строками Allow или Disallow под нужную задачу.

🔒

Отдельные правила для каждого краулера

У каждого User-agent свои редактируемые строки Allow и Disallow, а строки Sitemap добавляются из отдельного поля и никогда не смешиваются с ними.

🎯

Файл пересобирается при каждом изменении

Текст файла перестраивается при каждом изменении в моноширинном окне вывода, поэтому финальное содержимое robots.txt видно до копирования или скачивания.

Частые вопросы

Что означает пустая строка Disallow?⌄

Простое «Disallow:» без указания пути означает «не запрещать ничего» — то есть этому краулеру разрешён доступ всюду. Именно это генерирует шаблон «Разрешить всё».

Действительно ли robots.txt мешает индексации страниц?⌄

Сам по себе не гарантированно — он лишь просит добросовестные краулеры не обращаться к определённому пути. Страница всё равно может быть проиндексирована (например, если на неё ведут ссылки с других сайтов), даже если она запрещена. Чтобы действительно исключить страницу из результатов поиска, используйте мета-тег noindex или HTTP-заголовок.

Отправляется ли мой контент куда-либо?⌄

Нет — всё работает на чистом JavaScript прямо в вашем браузере. То, что вы вводите, никогда не отправляется на сервер.

Удаляет ли robots.txt страницы из Google?⌄

Нет — Disallow запрещает обход, а не индексацию. Заблокированные URL всё ещё могут появляться как голые ссылки. Для действительного удаления используйте noindex или инструмент удаления.

Что такое генератор robots.txt?

robots.txt — это обычный текстовый файл в корне сайта, который сообщает поисковым роботам и другим ботам, какие части сайта им можно обходить. Типичный файл содержит группы правил — строку User-agent с путями Allow и Disallow — и часто строку со ссылкой на карту сайта. Написать его вручную несложно, но легко ошибиться незаметно: например, правило Disallow перекрывает Allow, которое должно действовать. Этот генератор собирает файл из редактируемых строк правил и готовых пресетов, так что владельцы сайтов и SEO-специалисты каждый раз получают корректную отправную точку.

Что собирает генератор

🤖 Группы правил для каждого робота: от конкретного бота до общего *
🚫 Несколько путей Disallow и ✅ Allow в каждой группе
⏱️ Необязательная строка Crawl-delay
🗺️ Одна или несколько строк Sitemap
🧩 Пресеты для старта: разрешить всё, запретить всё, настройки WordPress
📋 Копирование готового файла или прямое скачивание

Когда его пишут

Исключить стейджинг или предпросмотр из выдачи поисковиков
Остановить конкретного скрейпера, долбящего ваш сайт
Настроить правила обхода для свежей установки WordPress
Направить роботов к новой карте сайта после редизайна

Файл собирается целиком в вашем браузере; ничего не загружается. Два момента, которые нужно знать: готовый файл нужно загрузить в корень сайта и убедиться, что он доступен; и robots.txt — это просьба, а не приказ — воспитанные роботы её соблюдают, но заставить бота остановиться он не может.

Обновлено · 2026-09-01