Crawler wählen
Gib * oder Namen wie Googlebot ein.
KOSTENLOSER ROBOTS.TXT-GENERATOR
Kostenloser Robots.txt-Generator
Erstelle im Browser die Standarddatei zur Steuerung von Suchmaschinen-Crawlern.
Regeln und URLs werden nicht hochgeladen oder gespeichert.
- 1Regeln eingeben
- 2Datei prüfen
- 3Datei veröffentlichen
1 · Regeln eingeben
Crawling-Regeln erstellen
Lege erlaubte und gesperrte Pfade je Crawler-Gruppe fest.
2 · Datei prüfen
robots.txt-Vorschau
Gib Regeln ein, um die Datei hier zu sehen.
Veröffentliche die UTF-8-Textdatei unter /robots.txt.
KOSTENLOSER ROBOTS.TXT-LEITFADEN
Regeln in drei Schritten vorbereiten
Kostenlos ohne Konto oder Installation erstellen.Pfade festlegen
Füge Allow und Disallow hinzu und prüfe die Datei.
Im Stamm veröffentlichen
Lege die Datei unter /robots.txt ab.
CRAWLER-STEUERUNG
Wichtig vor der Veröffentlichung
Crawling, Indexierung und Sicherheit sind verschiedene Aufgaben.
Regeln je Gruppe
Ordne jede Regel dem richtigen User-agent zu.
Spezifische Treffer
Üblicherweise gilt der spezifischste passende Pfad.
Keine Geheimnisse verstecken
robots.txt ist öffentlich und schützt keine privaten Daten.
KOSTENLOSER ROBOTS.TXT-GENERATOR FAQ
Fragen zum Robots.txt-Generator
Kostenlose Nutzung, Speicherort und Funktion.1Ist der Generator kostenlos?
Ja. Er ist ohne Konto und Limit kostenlos; alles bleibt im Browser.
2Wo wird robots.txt veröffentlicht?
Im Stamm des Hosts, zum Beispiel https://example.com/robots.txt.
3Entfernt Disallow eine Seite aus der Suche?
Nein. Es begrenzt das Crawling, garantiert aber weder Entfernung noch Datenschutz.
4Kann ich Sitemaps hinzufügen?
Ja. Mehrere vollständige http- oder https-URLs sind möglich.