Генератор robots.txt
Правила Allow/Disallow для каждого краулера и ссылки на sitemap, готовые к вставке
Почему выбирают нас
Приватность по умолчанию
Ваши данные обрабатываются безопасно и никогда не продаются. Клиентские инструменты не покидают браузер.
Мгновенно и бесплатно
Без установки и ожидания. Результат за секунды, прямо в браузере, на любом устройстве.
Бесплатно навсегда
Без регистрации, без водяных знаков, без лимитов. Все клиентские инструменты можно использовать сколько угодно.
Частые вопросы
Что означает пустая строка Disallow?⌄
Простое «Disallow:» без указания пути означает «не запрещать ничего» — то есть этому краулеру разрешён доступ всюду. Именно это генерирует шаблон «Разрешить всё».
Действительно ли robots.txt мешает индексации страниц?⌄
Сам по себе не гарантированно — он лишь просит добросовестные краулеры не обращаться к определённому пути. Страница всё равно может быть проиндексирована (например, если на неё ведут ссылки с других сайтов), даже если она запрещена. Чтобы действительно исключить страницу из результатов поиска, используйте мета-тег noindex или HTTP-заголовок.
Отправляется ли мой контент куда-либо?⌄
Нет — всё работает на чистом JavaScript прямо в вашем браузере. То, что вы вводите, никогда не отправляется на сервер.
Похожие инструменты
Похожие инструменты
Генератор мета-тегов
Теги title, description, keywords, canonical и robots с живым предпросмотром результата Google
Предпросмотр для соцсетей
Теги Open Graph + Twitter Card с живой карточкой предпросмотра в стиле Facebook/Twitter
Генератор sitemap
Вставьте список URL — получите готовый XML sitemap или индекс sitemap