Robots.txt-Generator
Allow-/Disallow-Regeln je Crawler und Sitemap-Links, fertig zum Einfügen
Stolperfallen der Direktiven-Semantik
- Spezifität gewinnt — innerhalb einer Gruppe schlägt ein längeres passendes Allow ein kürzeres Disallow; die Vorschau vermerkt, welche Regel greift.
- Gruppierung — Leerzeilen beenden eine Gruppe; versehentliches Vermischen deaktiviert alle nachfolgenden Regeln (hier geprüft).
- Crawl-delay — von Bing/Yandex beachtet, von Google ignoriert (als Kommentar in der Ausgabe vermerkt).
- Sitemap-Zeilen — nur absolute URLs; mehrere sind erlaubt und werden korrekt ausgegeben.
Regeln so formuliert, wie Crawler sie parsen
User-Agent-Gruppen, Allow/Disallow-Reihenfolge, Crawl-delay und sitemap-Deklaration — zusammengesetzt über Checkboxen mit Live-Vorschau der Datei.
Drei Start-Presets
Presets für „alles erlauben“, „alles sperren“ und WordPress füllen die Regelgruppen sofort mit korrekter User-agent-Zeile und passenden Allow- oder Disallow-Zeilen.
Regeln pro Crawler
Jeder User-agent erhält eigene editierbare Zeilen für Allow- und Disallow-Pfade, Sitemap-Zeilen kommen aus einem separaten Feld und bleiben getrennt.
Datei baut sich beim Bearbeiten neu
Der Dateitext wird bei jeder Änderung in einem Monospace-Ausgabefeld neu aufgebaut, sodass der finale robots.txt-Inhalt vor dem Kopieren oder Herunterladen sichtbar ist.
Häufige Fragen
Was bedeutet eine leere Disallow-Zeile?⌄
Ein einfaches „Disallow:“ ohne Angabe dahinter bedeutet „nichts sperren“ – dieser Crawler darf also überall zugreifen. Genau das erzeugt die Vorlage „Alles erlauben“.
Verhindert robots.txt wirklich, dass Seiten indexiert werden?⌄
Nicht zuverlässig von allein – es bittet nur brav agierende Crawler, einen Pfad nicht abzurufen. Eine Seite kann trotzdem indexiert werden (z. B. wenn woanders auf sie verlinkt wird), selbst wenn sie gesperrt ist. Um eine Seite wirklich aus den Suchergebnissen herauszuhalten, nutze stattdessen ein noindex-Meta-Tag oder einen HTTP-Header.
Werden meine Inhalte irgendwohin hochgeladen?⌄
Nein – alles läuft mit reinem JavaScript direkt in deinem Browser. Nichts, was du eingibst, wird jemals an einen Server gesendet.
Entfernt robots.txt Seiten aus Google?⌄
Nein — Disallow blockiert das Crawling, nicht die Indexierung. Blockierte URLs können weiterhin als nackte Links auftauchen. Für eine echte Entfernung stattdessen noindex oder das Entfernungstool verwenden.
Ähnliche Tools
Was ist ein Robots.txt-Generator?
robots.txt ist eine reine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen-Crawlern und anderen Bots mitteilt, welche Teile der Website sie abrufen dürfen. Eine typische Datei enthält Regelgruppen — eine User-agent-Zeile gefolgt von Allow- und Disallow-Pfaden — und häufig einen Verweis auf die Sitemap. Von Hand zu schreiben ist einfach, aber subtile Fehler passieren leicht, etwa wenn eine Disallow-Regel eine eigentlich gültige Allow-Regel überschattet. Dieser Generator baut die Datei aus editierbaren Regelzeilen und Presets zusammen und gibt Website-Betreibern und SEO-Profis jedes Mal einen korrekten Ausgangspunkt.
Was der Generator baut
- 🤖 Regelgruppen pro Crawler, vom konkreten Bot bis zum Sammel-Asterisk *
- 🚫 Mehrere Disallow- und ✅ Allow-Pfade pro Gruppe
- ⏱️ Optionale Crawl-delay-Zeile
- 🗺️ Eine oder mehrere Sitemap-Zeilen
- 🧩 Start-Presets: alles erlauben, alles blockieren, WordPress-Standard
- 📋 Fertige Datei kopieren oder direkt herunterladen
Wann man eine schreibt
- Eine Staging- oder Vorschau-Umgebung aus den Suchergebnissen ausschließen
- Einen bestimmten Scraper davon abhalten, die Website zu belasten
- Crawling-Regeln für eine frische WordPress-Installation setzen
- Crawler nach einem Relaunch auf die neue Sitemap lenken
Die Datei wird vollständig in Ihrem Browser zusammengestellt; nichts wird hochgeladen. Zwei Dinge sind wichtig: Sie müssen die fertige Datei im Wurzelverzeichnis Ihrer Website ablegen und prüfen, dass sie erreichbar ist. Und robots.txt ist eine Bitte, keine Durchsetzung — wohlerzogene Crawler halten sich daran, aber es kann keinen Bot zum Anhalten zwingen.
Zuletzt aktualisiert · 2026-09-01
Ähnliche Tools
Meta-Tag-Generator
Title, Description, Keywords, Canonical und Robots Meta-Tags mit Live-Google-Vorschau
SERP-Vorschau
Sehen Sie auf einen Blick, wie Titel und Beschreibung in den Google-Ergebnissen wirken – mit pixelgenauen Warnungen vor abgeschnittenen Texten.
UTM-Link-Generator
Erstellen Sie in Sekunden saubere, korrekt kodierte Kampagnen-Links – mit Presets für Facebook Ads, Google Ads u. v. m.