Générateur de robots.txt
Règles Allow/Disallow par robot d'indexation et liens de sitemap, prêts à coller
Sémantique des directives qui piège tout le monde
- La spécificité l’emporte — un Allow correspondant plus long l’emporte sur un Disallow plus court au sein d’un même groupe ; l’aperçu annote la règle qui s’applique.
- Groupement — une ligne vide clôt un groupe ; un mélange accidentel désactive les règles suivantes (validé ici).
- Crawl-delay — respecté par Bing/Yandex, ignoré par Google (précisé en commentaire dans la sortie).
- Lignes Sitemap — URLs absolues uniquement ; lignes multiples permises et émises correctement.
Des règles exprimées comme les crawlers les lisent
Groupes User-agent, ordre allow/disallow, crawl-delay et déclaration de sitemap — assemblés par simples cases à cocher, avec aperçu du fichier en temps réel.
Trois préréglages de départ
Les préréglages « tout autoriser », « tout bloquer » et WordPress remplissent instantanément les groupes de règles, chacun avec le bon User-agent et les bonnes lignes Allow ou Disallow.
Règles par robot d'indexation
Chaque User-agent a ses propres lignes modifiables de chemins Allow et Disallow, et les lignes Sitemap s'ajoutent depuis un champ séparé pour rester distinctes.
Le fichier se reconstruit à chaque édition
Le texte du fichier se reconstruit à chaque modification dans une zone de sortie monospace, donc le contenu final de robots.txt est visible avant de copier ou télécharger.
Questions fréquentes
Que signifie une ligne Disallow vide ?⌄
Un simple « Disallow: » sans rien derrière signifie « ne rien interdire » — c'est-à-dire que ce robot est autorisé partout. C'est exactement ce que génère le préréglage Tout autoriser.
Le fichier robots.txt empêche-t-il vraiment l'indexation des pages ?⌄
Pas de façon fiable à lui seul — il ne fait que demander aux robots respectueux de ne pas explorer un chemin donné. Une page peut malgré tout être indexée (par exemple si elle est liée depuis ailleurs) même si elle est interdite. Pour vraiment exclure une page des résultats de recherche, utilisez plutôt une balise meta noindex ou un en-tête HTTP.
Mon contenu est-il envoyé quelque part ?⌄
Non — tout s'exécute dans votre navigateur en JavaScript pur. Rien de ce que vous saisissez n'est jamais envoyé à un serveur.
robots.txt retire-t-il des pages de Google ?⌄
Non — Disallow bloque l’exploration, pas l’indexation. Des URL bloquées peuvent toujours apparaître comme liens bruts. Pour une véritable suppression, utilisez noindex ou l’outil de suppression.
Outils associés
Qu'est-ce qu'un générateur de robots.txt ?
robots.txt est un fichier texte brut placé à la racine d'un site web, qui indique aux robots d'indexation et aux autres bots quelles parties du site ils peuvent parcourir. Un fichier typique contient des groupes de règles — une ligne User-agent suivie de chemins Allow et Disallow — et souvent un renvoi vers le sitemap. L'écrire à la main est simple, mais les erreurs subtiles sont faciles, comme une règle Disallow qui masque une règle Allow pourtant valable. Ce générateur assemble le fichier à partir de lignes de règles éditables et de préréglages, donnant aux propriétaires de sites et aux experts SEO un point de départ correct à chaque fois.
Ce que le générateur construit
- 🤖 Des groupes de règles par robot, d'un bot précis à l'astérisque global *
- 🚫 Plusieurs chemins Disallow et ✅ Allow par groupe
- ⏱️ Ligne Crawl-delay optionnelle
- 🗺️ Une ou plusieurs lignes Sitemap
- 🧩 Préréglages de départ : tout autoriser, tout bloquer, défauts WordPress
- 📋 Copier le fichier terminé ou le télécharger directement
Quand en écrire un
- Exclure un environnement de staging ou d'aperçu des résultats de recherche
- Empêcher un scraper précis de marteler votre site
- Configurer les règles de crawl d'une installation WordPress neuve
- Diriger les robots vers votre nouveau sitemap après une refonte
Le fichier est assemblé entièrement dans votre navigateur ; rien n'est téléversé. Deux choses à savoir : vous devez placer le fichier terminé à la racine de votre site et vérifier qu'il est accessible, et robots.txt est une demande, pas une obligation — les robots bien élevés la respectent, mais il ne peut forcer aucun bot à s'arrêter.
Dernière mise à jour · 2026-09-01
Outils associés
Générateur de balises meta
Balises title, description, keywords, canonical et robots avec aperçu Google en direct
Aperçu SERP
Voyez précisément comment votre titre et votre description s'affichent dans les résultats Google — avec des alertes de troncature au pixel près.
Générateur de liens UTM
Créez en quelques secondes des liens de campagne propres et correctement encodés, avec des modèles en un clic pour Facebook Ads, Google Ads et plus.