Viele Selbständige und Geschäftsführer hören irgendwann den Begriff robots.txt. Meistens klingt das nach Technik, Servern und SEO-Details. Aber die einfache Frage dahinter ist: Dürfen Google, Bing, ChatGPT und andere Systeme deine Website überhaupt anschauen?
Wenn wichtige Crawler blockiert sind, kann es passieren, dass deine Inhalte schlechter gefunden, schlechter verstanden oder in bestimmten Such- und KI-Funktionen gar nicht berücksichtigt werden.
Die gute Nachricht: Du musst kein Entwickler sein, um die Grundlagen zu verstehen.
Kurzantwort: Was ist eine robots.txt?
Die robots.txt ist eine kleine Textdatei auf deiner Website. Sie gibt Suchmaschinen-Crawlern Hinweise, welche Bereiche deiner Website sie aufrufen dürfen und welche nicht. Du findest sie meistens unter https://deinedomain.de/robots.txt.
Google erklärt, dass robots.txt vor allem steuert, welche URLs Crawler abrufen dürfen. Sie ist nicht dafür gedacht, eine Seite sicher aus Google zu entfernen oder private Inhalte zu schützen. Wenn du eine Seite wirklich aus Suchergebnissen heraushalten willst, brauchst du eher noindex, Passwortschutz oder andere Methoden.
Warum robots.txt für KMU wichtig ist
Für viele KMU ist robots.txt nicht das wichtigste SEO-Thema. Aber ein Fehler kann viel Schaden verursachen. Wenn aus Versehen wichtige Bereiche blockiert werden, können Suchmaschinen deine Seiten schlechter crawlen — und finden wichtige Seiten gar nicht.
Gerade bei KI-Sichtbarkeit wird das Thema zusätzlich relevant. OpenAI beschreibt mehrere Crawler — darunter OAI-SearchBot für ChatGPT-Suchfunktionen und GPTBot für andere Zwecke. Über robots.txt kannst du diese steuern.
Für Google AI Overviews sagt Google klar: Es gelten weiterhin die normalen SEO-Best-Practices. Deine Inhalte müssen technisch zugänglich, indexierbar, hilfreich und gut strukturiert sein — spezielle „KI-Hacks" sind nicht nötig.
Was robots.txt kann — und was nicht
| robots.txt kann | robots.txt kann nicht zuverlässig |
|---|---|
| Crawlern sagen, welche Bereiche sie nicht abrufen sollen | Private Inhalte schützen |
| Unwichtige Bereiche vom Crawling ausschließen | Eine Seite sicher aus Google entfernen |
| Eine Sitemap angeben | Verhindern, dass eine URL irgendwo erwähnt wird |
| Bestimmte Bots erlauben oder blockieren | Garantieren, dass alle Bots sich daran halten |
| Crawling etwas besser steuern | Schlechte Inhalte besser ranken lassen |
Wenn du eine Seite nicht in Suchergebnissen haben willst, ist robots.txt oft die falsche Lösung. Google weist ausdrücklich darauf hin: robots.txt ist kein Mechanismus, um Webseiten sicher aus Google herauszuhalten.
Die sichere Basis-robots.txt für die meisten KMU
Für viele einfache Unternehmenswebsites reicht eine sehr schlichte robots.txt:
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Das bedeutet: Alle Crawler dürfen grundsätzlich crawlen · deine Sitemap wird angegeben · du blockierst nichts aus Versehen.
Für WordPress sieht eine einfache Variante oft so aus:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://deinedomain.de/sitemap_index.xml
Häufige Fehler in der robots.txt
Die ganze Website blockieren
User-agent: * gefolgt von Disallow: / bedeutet: alle Crawler sollen die gesamte Website nicht crawlen. Bei Test-Setups OK, auf einer Live-Website meistens fatal — Google & KI sehen nichts mehr.
Wichtige Seiten aus Versehen blockieren
Disallow: /leistungen/ blockiert alle Seiten unter dieser URL. Wenn deine Hauptangebote dort liegen, blockierst du genau die Seiten, die Kunden finden sollen.
robots.txt als Datenschutz verwenden
robots.txt ist kein Passwortschutz. Wer wirklich Dokumente, Angebote oder Kundendaten schützen will, braucht echte Zugriffsbeschränkungen — z. B. Login, Verschlüsselung, IP-Sperre.
KI-Crawler pauschal blockieren — obwohl du KI-Sichtbarkeit willst
OpenAI unterscheidet zwischen Crawlern für ChatGPT-Suche und anderen. Wenn du in ChatGPT-Antworten erscheinen willst, sollte OAI-SearchBot nicht blockiert sein.
So prüfst du deine robots.txt
Datei aufrufen
Im Browser https://deinedomain.de/robots.txt eingeben. Wenn du eine Textdatei siehst — vorhanden. Wenn 404 — keine eigene Datei vorhanden (das System gibt evtl. trotzdem eine Standard aus).
Gefährliche Sperren suchen
Suche nach Disallow: / ohne weiteres Pfad-Detail — das blockiert alles. Auch problematisch: Disallow: /leistungen/, Disallow: /blog/, Disallow: /services/ — nur sinnvoll, wenn da wirklich nichts hin soll.
Sitemap prüfen
Steht Sitemap: https://... drin? Wenn nicht, ist das nicht automatisch ein Fehler — aber oft sinnvoll zu ergänzen.
Search Console prüfen
In Google Search Console bei „URL-Prüfung" deine wichtigsten Seiten testen. Steht „Durch robots.txt blockiert", weißt du genau, was repariert werden muss.
Plattform-Anleitung: Wo bearbeite ich die robots.txt?
So findest du sie
Tippe im Browser https://deinedomain.de/robots.txt. Wix erlaubt Suchmaschinen standardmäßig den Zugriff auf alle Seiten — du musst meistens nichts ändern.
So bearbeitest du sie
Wix bietet einen eigenen robots.txt-Editor:
- Melde dich in Wix an und öffne deine Website.
- Gehe zum SEO & GEO Dashboard.
- Öffne den Bereich Robots.txt Editor.
- Bearbeite die Regeln nur, wenn du weißt, was du ändern willst.
- Speichere die Änderungen.
- Prüfe danach erneut:
https://deinedomain.de/robots.txt.
Wix-Empfehlung für KMU
- Nichts Wichtiges blockieren
- Sitemap beibehalten
- Keine globale Sperre setzen
- KI-Crawler nicht blockieren, wenn KI-Sichtbarkeit gewünscht ist
Wenn du unsicher bist, ändere lieber nichts und prüfe zuerst, ob Wix bereits eine sinnvolle Standarddatei erzeugt hat. Wix selbst weist darauf hin, dass falsche Änderungen Probleme in Suchergebnissen verursachen können.
KI-Crawler: Erlauben oder blockieren?
Das ist eine strategische Entscheidung, kein technischer Default.
Wenn du KI-Sichtbarkeit willst
Dann solltest du relevante KI-Suchcrawler nicht blockieren. Für ChatGPT-Suchfunktionen ist laut OpenAI besonders OAI-SearchBot relevant. OpenAI unterscheidet zwischen Crawlern für Suche, Nutzeraktionen und Training.
Du könntest explizit erlauben:
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Wenn du KI-Training blockieren, aber KI-Suche erlauben willst
Dann solltest du unterscheiden:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Das bedeutet vereinfacht: ChatGPT-Suchcrawler darf abrufen · GPTBot (Training) wird blockiert · allgemeine Crawler dürfen crawlen.
Wichtig: Crawler-Namen und Plattform-Funktionen ändern sich. Prüfe solche Einstellungen mindestens halbjährlich — und immer nach größeren KI-Plattform-Updates.
Welche robots.txt empfehle ich für KMU?
Für die meisten KMU, die gefunden werden wollen — eine einfache, offene Datei:
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Für WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://deinedomain.de/sitemap_index.xml
Für KI-Sichtbarkeit (ChatGPT Search nicht blockieren):
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Check für KMU.
Der KI-Sichtbarkeits-Check für KMU
10 einfache Prüfungen mit Punktesystem (0–20). Crawler-Zugang ist nur eine von 10 Stellen — prüfe auch Klarheit, Vertrauen und Marken-Konsistenz. Direkt im Browser oder als PDF druckbar.
Workbook öffnenCheckliste: robots.txt richtig prüfen
Datei aufrufen
https://deinedomain.de/robots.txt
Gefährliche Sperren suchen
Disallow: / ohne weitere Angabe — sperrt alles.
Wichtige Bereiche prüfen
Blockierst du aus Versehen /blog/, /leistungen/, /services/, /standorte/?
Sitemap prüfen
Ist Sitemap: https://deinedomain.de/sitemap.xml eingetragen?
Search Console prüfen
Nutze die URL-Prüfung — wichtige Seiten als „blockiert"? Reparieren.
KI-Crawler bewusst entscheiden
Willst du KI-Sichtbarkeit? Dann blockiere OAI-SearchBot nicht.
Nach Änderungen testen
robots.txt neu öffnen · Search Console prüfen · bei Wix/Webflow/Squarespace erneut veröffentlichen.
Fazit: robots.txt ist klein, aber wichtig
Die robots.txt entscheidet nicht allein über deinen Erfolg bei Google oder in KI-Suchsystemen. Aber sie kann verhindern, dass deine Inhalte überhaupt richtig gecrawlt werden.
Für KMU ist deshalb wichtig: blockiere nicht aus Versehen deine ganze Website · blockiere keine wichtigen Leistungsseiten · gib deine Sitemap an · prüfe deine Einstellungen pro Plattform · unterscheide Suchcrawler von KI-Trainingscrawlern · ändere nichts, was du nicht verstehst.
Unsicher, ob deine Website technisch sichtbar ist?
Klairity prüft nicht nur Inhalte, sondern auch wichtige Sichtbarkeitssignale: Website, Markt, Wettbewerber und KI-Sichtbarkeit. So erkennst du, ob technische Einstellungen, unklare Inhalte oder fehlende Vertrauenssignale deine Sichtbarkeit bremsen.
FAQ
Was ist eine robots.txt?
Eine robots.txt ist eine Textdatei auf deiner Website, die Crawlern Hinweise gibt, welche URLs sie abrufen dürfen und welche nicht. Du findest sie normalerweise unter deinedomain.de/robots.txt.
Braucht jede Website eine robots.txt?
Nicht zwingend. Wenn du nichts blockieren willst, kann eine sehr einfache robots.txt ausreichen. Viele Website-Systeme erstellen automatisch eine Standarddatei.
Kann robots.txt verhindern, dass eine Seite bei Google erscheint?
Nicht zuverlässig. Google sagt, robots.txt ist nicht der richtige Mechanismus, um eine Webseite sicher aus Google herauszuhalten. Dafür nutzt man eher noindex, Passwortschutz oder Entfernungstools.
Was bedeutet Disallow: / ?
Das bedeutet, dass ein Crawler die gesamte Website nicht crawlen soll. Für Live-Websites, die gefunden werden sollen, ist das meistens ein schwerer Fehler.
Wie finde ich meine robots.txt?
Öffne im Browser https://deinedomain.de/robots.txt. Wenn du eine Textdatei siehst — vorhanden. Wenn 404 — keine eigene Datei.
Sollte ich KI-Crawler blockieren?
Das hängt von deinem Ziel ab. Wenn du KI-Sichtbarkeit in Such- oder Antwortsystemen willst, solltest du relevante KI-Suchcrawler nicht blockieren. Wenn du bestimmte Trainingscrawler blockieren möchtest, solltest du diese bewusst getrennt steuern.
Was ist OAI-SearchBot?
OAI-SearchBot ist ein OpenAI-Crawler für ChatGPT-Suchfunktionen. OpenAI beschreibt, dass Websitebetreiber den Zugriff über robots.txt steuern können — wer in ChatGPT-Suchantworten erscheinen will, sollte diesen Bot nicht blockieren.
Wo bearbeite ich robots.txt bei Wix?
Bei Wix kannst du die robots.txt im SEO & GEO Dashboard über den Robots.txt Editor bearbeiten. Wix warnt aber, dass falsche Änderungen Suchprobleme verursachen können.
Wo bearbeite ich robots.txt bei Webflow?
Bei Webflow findest du robots.txt-Regeln in den Site Settings im SEO/Indexing-Bereich. Nach Änderungen musst du die Website erneut veröffentlichen.
Kann ich robots.txt bei Squarespace frei bearbeiten?
Squarespace arbeitet stärker über eingebaute Crawler-Einstellungen. Du kannst Suchmaschinen-Crawler und bekannte KI-Crawler über Settings → Crawlers blockieren oder erlauben; Squarespace setzt dies über robots.txt um.