Eine falsch konfigurierte robots.txt kann wichtige Seiten vom Crawling ausschließen oder Suchmaschinen in Bereiche schicken, die für SEO kaum relevant sind. Wer eine robots.txt erstellen möchte, braucht deshalb keine komplizierte Software, aber ein klares Verständnis von User-agents, Disallow-Regeln, Sitemap und den Grenzen dieser Datei. Hier zeige ich, wie du sie sauber anlegst, typische Fehler vermeidest und die Veröffentlichung kontrollierst.
Die wichtigsten Regeln auf einen Blick
- Ablageort: Die Datei gehört ins Hauptverzeichnis der jeweiligen Domain oder Subdomain.
- Grundprinzip: Mit User-agent, Disallow und Allow steuerst du, welche Bereiche Crawler abrufen dürfen.
- Kein Zugriffsschutz: robots.txt verhindert weder Datendiebstahl noch den direkten Aufruf geschützter Inhalte.
- SEO-Grenze: Eine blockierte URL kann weiterhin in Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken.
- Kontrolle: Nach jeder Änderung solltest du die Datei abrufen und wichtige URLs mit einem Tester prüfen.
Was robots.txt für SEO tatsächlich steuert
Die robots.txt ist eine einfache Textdatei, die Webcrawlern Hinweise für den Zugriff auf deine Website gibt. Ein Crawler liest sie normalerweise, bevor er weitere Seiten abruft, und entscheidet anhand der Regeln, welche Verzeichnisse er besuchen darf. Sie steuert also vor allem das Crawling, nicht automatisch die Aufnahme einer Seite in den Suchindex.
Das ist ein wichtiger Unterschied. Wenn du eine URL nicht in Google sehen möchtest, reicht ein Eintrag in robots.txt oft nicht aus. Eine Suchmaschine kann die Adresse trotzdem kennen, etwa durch externe Links. Für echte Indexierungssteuerung sind je nach Situation ein noindex-Meta-Tag, ein X-Robots-Tag im HTTP-Header oder eine Zugriffsbeschränkung besser geeignet.
Die Datei gilt immer nur für den jeweiligen Host. Eine Regel für www.beispiel.de steuert nicht automatisch eine separate Subdomain wie shop.beispiel.de. Auch unterschiedliche Protokolle und Hostnamen solltest du kontrollieren, damit die Regeln dort liegen, wo die Crawler sie tatsächlich erwarten.
Die drei wichtigsten Direktiven
- User-agent bestimmt, für welchen Crawler eine Regelgruppe gilt.
- Disallow sperrt den Zugriff auf einen Pfad oder ein Verzeichnis.
- Allow erlaubt einen Pfad, der durch eine umfassendere Sperre betroffen wäre.
Ein leerer Wert hinter Disallow bedeutet in der Praxis, dass nichts gesperrt wird. Ein einzelner Schrägstrich sperrt dagegen den gesamten Host. Genau diese kleine Unterscheidung ist einer der häufigsten Gründe für plötzlich ausbleibende organische Zugriffe.
Eine saubere Datei in wenigen Schritten anlegen
Für eine einfache robots.txt genügt ein reiner Texteditor. Ich würde dafür keinen Word-Prozessor verwenden, weil dieser unsichtbare Formatierungen oder falsche Zeichen einfügen kann. Speichere die Datei als robots.txt im reinen Textformat, möglichst mit UTF-8, und achte darauf, dass nicht versehentlich eine doppelte Dateiendung entsteht.
- Prüfe zuerst, ob bereits eine robots.txt vorhanden ist.
- Erstelle oder bearbeite die Datei mit einem einfachen Texteditor.
- Formuliere nur Regeln für Bereiche, die wirklich vom Crawling ausgeschlossen werden sollen.
- Lade die Datei in das Hauptverzeichnis des betreffenden Hosts hoch.
- Rufe sie im Browser über den Pfad /robots.txt auf und teste die wichtigsten URLs.
Für viele kleine Websites ist eine sehr zurückhaltende Datei die beste Lösung. Ein Beispiel für eine Website, deren öffentliche Inhalte vollständig gecrawlt werden dürfen, sieht so aus:
User-agent: *
Disallow:
Sitemap: vollständige-Adresse-der-XML-SitemapDie Sitemap-Zeile ist optional, kann Crawlern aber den zentralen Einstiegspunkt nennen. Verwende dafür die vollständige Adresse deiner Sitemap und nicht nur einen beliebigen Dateinamen. Bei einer Website mit geschützten Verwaltungsbereichen könnte die Datei dagegen so aussehen:
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /warenkorb/
Disallow: /suche/Ich sperre dabei nicht pauschal alle technischen Dateien. Stylesheets, JavaScript und Bilder können für die Darstellung und Bewertung einer Seite wichtig sein. Eine Regel wie Disallow: / ist nur für sehr spezielle Fälle sinnvoll, etwa während einer bewusst abgeschirmten Entwicklungsphase.
Die wichtigsten Regeln mit passenden Beispielen
Die Syntax wirkt simpel, aber die Reihenfolge und der Geltungsbereich entscheiden über das Ergebnis. Jede Regelgruppe beginnt mit einem User-agent. Der Stern steht für alle Crawler, während ein konkreter Name eine bestimmte Gruppe anspricht.
Öffentliche und interne Bereiche trennen
User-agent: *
Disallow: /intern/
Disallow: /tmp/
Allow: /intern/oeffentlich/Hier bleibt der gesamte Bereich /intern/ gesperrt, während der ausdrücklich erlaubte Unterpfad zugänglich bleibt. Ob diese Ausnahme korrekt verarbeitet wird, hängt vom jeweiligen Crawler ab. Für Google funktionieren solche Kombinationen, bei weniger bekannten Bots solltest du dich nicht blind auf identische Interpretation verlassen.
Bestimmte Crawler unterschiedlich behandeln
User-agent: *
Disallow: /private/
User-agent: Googlebot
Disallow: /private/
Allow: /private/preview/Konkrete Regeln für einen User-agent können allgemeine Regeln ergänzen oder ersetzen. Das ist praktisch, wenn du große Suchmaschinen anders behandeln möchtest als bestimmte Spezialcrawler. Gleichzeitig steigt damit die Fehlergefahr. Je weniger Ausnahmen du brauchst, desto leichter bleibt die Datei wartbar.
Lesen Sie auch: Was ist AJAX? Fetch, JSON und dynamische Webanwendungen
Platzhalter sparsam einsetzen
Einige Crawler unterstützen Muster wie das Sternchen für beliebige Zeichen oder das Dollarzeichen für das Ende einer URL. Damit lassen sich beispielsweise bestimmte Dateitypen ansprechen. Ich setze solche Muster nur ein, wenn ein klarer technischer Grund besteht, weil die Unterstützung außerhalb großer Suchmaschinen nicht überall gleich ist.
User-agent: *
Disallow: /*.pdf$Diese Regel soll PDF-Dateien vom Crawling ausschließen. Sie ersetzt allerdings keine Indexierungsstrategie. Bereits bekannte PDF-Adressen können weiterhin in Suchsystemen erscheinen, und für sensible Dokumente ist ein geschützter Serverbereich die deutlich bessere Lösung.
Was du nicht blockieren solltest und wo die Datei nicht reicht
Der größte Fehler ist nicht eine fehlende Regel, sondern eine zu aggressive Sperre. Wenn du zentrale CSS-Dateien, JavaScript-Ressourcen oder wichtige Bilder blockierst, kann ein Crawler die Seite möglicherweise nicht vollständig rendern. Das kann die technische Bewertung und die Beurteilung der Nutzererfahrung verschlechtern.
Besonders vorsichtig solltest du bei WordPress, Shopsystemen und JavaScript-Anwendungen sein. Pfade wie /wp-content/, Produktdaten oder dynamische Ressourcen sind nicht automatisch unwichtig. Prüfe zuerst, ob ein Verzeichnis tatsächlich keinen SEO- oder Darstellungswert besitzt.
| Ziel | Geeignete Maßnahme | Warum robots.txt allein nicht genügt |
|---|---|---|
| Crawler von internen Suchergebnissen fernhalten | Disallow für den Suchpfad | Bereits bekannte Such-URLs können weiterhin angezeigt werden |
| Eine Seite aus dem Index entfernen | noindex oder X-Robots-Tag | Der Crawler muss die Anweisung lesen können |
| Vertrauliche Inhalte schützen | Login, Berechtigungen oder Server-Schutz | robots.txt ist öffentlich und keine Zugriffskontrolle |
| Crawling auf großen Websites entlasten | Gezielte Sperren für Filter, Sessions und unnötige Parameter | Zu breite Regeln können wichtige Inhalte ausschließen |
Ein weiterer Denkfehler betrifft die Zeile Crawl-delay. Manche Bots unterstützen sie, andere ignorieren sie. Wenn dein Server unter vielen Anfragen leidet, sind Caching, bessere Serverkonfiguration oder klare Kommunikation mit dem jeweiligen Anbieter meist verlässlicher als eine einzelne robots.txt-Direktive.
Prüfen, veröffentlichen und dauerhaft pflegen
Nach dem Upload öffnest du den Pfad /robots.txt direkt im Browser. Wird eine Fehlerseite, eine Weiterleitung oder HTML statt einer Textdatei ausgeliefert, stimmt etwas mit dem Speicherort oder der Serverkonfiguration nicht. Die Datei sollte ohne Anmeldung erreichbar sein und mit dem korrekten Host ausgeliefert werden.
Teste danach vor allem URLs, die du ausdrücklich sperren oder freigeben möchtest. Ein Robots-Tester in der Search Console kann dabei helfen, einzelne Pfade gegen die aktuell veröffentlichte Datei zu prüfen. Solche Tests zeigen jedoch nur, wie ein bestimmter Crawler die Regeln interpretiert. Andere Bots können sich anders verhalten.
Ich empfehle, Änderungen an robots.txt wie Code zu behandeln. Speichere eine Kopie der bisherigen Version, dokumentiere kurz den Grund jeder neuen Regel und prüfe nach größeren Releases, ob neue Verzeichnisse entstanden sind. Bei einem Relaunch gehört die Datei auf die technische Checkliste, denn ein versehentlich übernommener Entwicklungsblock kann den gesamten organischen Traffic ausbremsen.
Wenn wichtige Seiten plötzlich nicht mehr gecrawlt werden, kontrollierst du zuerst drei Dinge. Steht irgendwo eine globale Sperre, wurde die Datei am richtigen Host aktualisiert und sind Weiterleitungen oder CDN-Regeln im Spiel? Diese kurze Prüfung findet in der Praxis erstaunlich viele Probleme schneller als eine umfangreiche SEO-Analyse.
Die kleine Datei verdient eine klare Strategie
Eine gute robots.txt ist nicht möglichst lang, sondern präzise und zurückhaltend. Sperre nur Bereiche, die Suchmaschinen wirklich nicht abrufen müssen, und nutze für Indexierung, Datenschutz und Zugriffsschutz die jeweils passenden technischen Mittel. Wer die Datei nach jeder größeren Änderung testet, schützt seine Sichtbarkeit mit wenigen Zeilen deutlich zuverlässiger.
