GPTBot, ClaudeBot & Co. in Ihrer robots.txt: Was Sie blockieren, ohne es zu wissen

Warum taucht Ihr Betrieb in der KI-Suche plötzlich nicht mehr auf, obwohl Sie nichts geändert haben?

Stellen Sie sich vor, Sie haben an Ihrer Website seit Monaten nichts angerührt. Kein neuer Text, keine neue Einstellung, kein Update, das Sie bewusst angestoßen haben. Trotzdem taucht Ihr Betrieb im Prompt-Test diesen Monat plötzlich seltener auf als im letzten. Die naheliegende Erklärung – „die KI hat sich eben geändert” – stimmt manchmal. Manchmal stimmt aber eine andere, viel banalere Erklärung: Irgendwo zwischen Ihrem Hoster, einem Sicherheits-Plugin und einer technischen Voreinstellung, von der Sie nie gehört haben, hat sich entschieden, welche KI-Systeme Ihre Seite überhaupt noch lesen dürfen.

Das ist keine Verschwörungstheorie, sondern seit diesem Jahr ein dokumentiertes, mehrfach belegtes Phänomen. Cloudflare hat am 1. Juli 2026 angekündigt, ab dem 15. September 2026 die Voreinstellungen im eigenen Netzwerk zu ändern: Bots, die als „Training” oder „Agent” eingestuft werden, sind auf werbefinanzierten Seiten seither standardmäßig blockiert. Wer nichts getan hat, bekam an diesem Tag automatisch neue Regeln – nicht durch einen Angriff, sondern durch eine neue Voreinstellung des eigenen Sicherheitsdienstleisters. Cloudflare sitzt vor einem großen Teil des Internets als CDN und Bot-Schutz, oft eingebunden von Hostern, ohne dass der Website-Betreiber es aktiv gewählt hat.

Und das ist nur eine von mehreren Stellen, an denen sich still etwas ändern kann. Dieser Artikel zeigt Ihnen, welche KI-Crawler es überhaupt gibt, warum „GPTBot blockiert” und „in ChatGPT nicht mehr zitiert” zwei unterschiedliche Dinge sein können – und wie Sie in wenigen Minuten prüfen, was bei Ihnen tatsächlich passiert.

Was ist ein KI-Crawler eigentlich – und was hat robots.txt damit zu tun?

Ein Crawler ist ein automatisiertes Programm, das Websites abruft, so wie ein Browser es tun würde, nur ohne Mensch davor. Google macht das seit 25 Jahren mit dem Googlebot, um seinen Suchindex zu bauen. KI-Anbieter tun heute etwas Ähnliches, aber mit unterschiedlichen Zielen: Manche Crawler sammeln Texte, um damit ein Sprachmodell zu trainieren. Andere rufen Ihre Seite in dem Moment ab, in dem ein Nutzer der KI eine Frage stellt, um eine aktuelle, zitierfähige Antwort zu bauen.

Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis Ihrer Domain (erreichbar unter ihre-domain.de/robots.txt), in der Sie – auf Vertrauensbasis, nicht technisch erzwungen – festlegen, welche Crawler welche Bereiche Ihrer Seite besuchen dürfen. Seriöse Anbieter wie OpenAI, Anthropic oder Perplexity halten sich an diese Datei. Sie ist damit Ihr wichtigster, aber eben auch Ihr einzig sichtbarer Hebel: Was dort steht, können Sie selbst lesen. Was zusätzlich auf Server- oder CDN-Ebene passiert, meistens nicht.

Die wichtigsten Namen, die in einer robots.txt heute auftauchen können:

Der Punkt, der in der Praxis am meisten Verwirrung stiftet: Trainings-Crawler und Antwort-Crawler sind nicht dasselbe – auch wenn sie vom selben Unternehmen stammen.

Warum blockieren so viele Websites GPTBot – und was übersehen sie dabei?

Genau hier liegt der eigentliche Stolperstein, und er ist inzwischen sauber vermessen. Eine Analyse von robots.txt-Regeln im Cloudflare-Netzwerk zeigt für den Stand 31. August 2026: GPTBot wird 2,33-mal so oft blockiert wie erlaubt. Website-Betreiber sind beim Trainings-Crawler von OpenAI also mehrheitlich vorsichtig – nachvollziehbar, wenn man nicht will, dass die eigenen Texte unbezahlt in ein Sprachmodell einfließen.

Der auffällige Unterschied: OAI-SearchBot, der Zitier-Crawler für ChatGPTs Websuche, wird laut derselben Auswertung sogar minimal öfter erlaubt als blockiert (Verhältnis 0,94:1). Die Betreiber, die beide Bots bewusst unterschiedlich behandeln, tun also offenbar genau das Richtige: Training ablehnen, Zitate in Antworten zulassen.

Das Problem ist die Gruppe, die das nicht bewusst unterscheidet. Eine unabhängige Auswertung der robots.txt-Dateien der 5.000 größten Websites, veröffentlicht am 8. September 2026 und am 19. September noch einmal aktualisiert, kommt zu einem konkreten Ergebnis: 535 der 5.000 Seiten blockieren GPTBot. Von diesen 535 blockieren 238 – also 44,5 Prozent – dabei auch gleich OAI-SearchBot mit, meist über eine pauschale Regel, die „GPT” oder „OpenAI” als Ganzes sperrt. Die Autorin beschreibt das treffend als „eine pauschale Regel, die niemand bewusst so entschieden hat” – anders als bei großen Plattformen wie Facebook oder Amazon, wo die Trennung offenbar eine bewusste Lizenz-Entscheidung war, wirkt es bei den meisten übrigen Seiten wie ein Versehen.

Für einen regionalen Betrieb heißt das übersetzt: Wer irgendwann eine robots.txt-Regel „gegen ChatGPT” aus einem Blogartikel oder Forenpost kopiert hat, um sein Trainingsdaten-Risiko zu begrenzen, hat mit derselben Zeile möglicherweise auch dafür gesorgt, dass er in aktuellen ChatGPT-Suchantworten gar nicht erst als Quelle infrage kommt.

Das wiegt schwer, weil Ihre Website für Google, ChatGPT und andere KI-Systeme die wichtigste Quelle über Ihren Betrieb ist, die Sie selbst vollständig in der Hand haben: Angaben aus Google-Profil, Verzeichnissen und Bewertungen werden immer wieder mit ihr abgeglichen. Darf ein Antwort-Crawler sie nicht lesen, bleibt selbst eine aktuelle, schnelle, fürs Handy gemachte Website mit klaren Leistungstexten ungenutzt – und die KI stützt sich auf das, was andere über Sie schreiben.

Kann mein Hoster oder ein Plugin KI-Crawler blockieren, ohne dass ich es sehe?

Ja – und das ist der Teil, der sich am wenigsten kontrollieren lässt, weil er unterhalb Ihrer eigenen Einstellungen passiert. Ein dokumentierter Fall aus dem Mai 2026: Beim großen Managed-WordPress-Hoster WP Engine läuft ein „standardmäßig aktiver, für Kunden nicht abschaltbarer” Block bestimmter KI-Bots auf Plattform-Ebene – unterhalb von WordPress-Plugins, unterhalb eines eigenen Cloudflare-Kontos, ohne Schalter im Kundenportal. Die Sperre zeigt sich technisch nicht als klare Ablehnung, sondern als Rate-Limit-Fehler, der eher nach einem Serverproblem aussieht als nach einer bewussten Blockade – wodurch sie in der Fehlersuche leicht übersehen wird. Andere große Anbieter wie Kinsta oder Pressable blockieren nach eigenen Angaben nicht standardmäßig, sondern lassen es die Kundschaft selbst entscheiden.

Der Fall zeigt kein branchenweites Ausmaß – er ist eine dokumentierte Einzelbeobachtung, keine Umfrage unter allen Hostern. Aber er zeigt das Prinzip, das für jeden Website-Betreiber relevant ist: Ihre robots.txt ist nicht die einzige Stelle, an der über KI-Crawler entschieden wird. Hoster, Sicherheits-Plugins, ein CDN wie Cloudflare oder ein Firewall-Dienst können zusätzlich – und unabhängig von dem, was in Ihrer robots.txt steht – Zugriffe blockieren oder ausbremsen. Das ist weder böswillig noch ein Fehler des Anbieters, sondern schlicht eine Voreinstellung, die für Sicherheit gedacht war und KI-Crawler in denselben Topf wirft wie Spam-Bots.

Wie prüfen Sie in 5 Minuten, wer Ihre Website wirklich lesen darf?

Vollständige Sicherheit gibt es ohne technische Unterstützung nicht – aber eine ehrliche erste Einschätzung schon:

1. robots.txt direkt aufrufen. Tippen Sie ihre-domain.de/robots.txt in den Browser. Suchen Sie nach den Namen aus der Tabelle oben (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot). Steht dort Disallow: / unter einem dieser Namen, blockieren Sie diesen Bot bewusst oder unbewusst vollständig.
2. Auf Wildcard-Regeln achten. Eine Zeile wie User-agent: * gefolgt von Disallow: / blockiert alle Bots, die nicht extra genannt werden – das trifft dann auch KI-Crawler, selbst wenn Sie eigentlich nur eine Testumgebung oder eine alte Unterseite sperren wollten.
3. Beim Hoster nachfragen, ob es eine Bot-Management-Einstellung gibt. Viele Hosting- und CDN-Anbieter haben eigene Oberflächen für „Bot-Schutz” oder „Firewall-Regeln”, die unabhängig von der robots.txt greifen. Eine kurze Support-Anfrage („Blockieren Sie standardmäßig KI-Crawler wie GPTBot oder ClaudeBot?”) klärt das schneller als jede Recherche von außen.
4. Wenn Cloudflare im Spiel ist, die eigenen Bot-Einstellungen prüfen. Seit dem 15. September 2026 lohnt sich ein Blick in die Sicherheitseinstellungen des Cloudflare-Kontos (oder die Nachfrage beim Hoster, der Cloudflare im Hintergrund nutzt), ob die neuen Voreinstellungen „Training” und „Agent” blockieren – und ob das so gewollt ist.
5. Unterscheiden, was Sie wirklich wollen. Wollen Sie grundsätzlich kein Trainingsmaterial liefern? Dann ist das Blockieren von GPTBot, ClaudeBot & Co. eine legitime, bewusste Entscheidung. Wollen Sie in aktuellen KI-Antworten zitiert werden? Dann achten Sie gezielt darauf, dass die Antwort- und Suchcrawler (OAI-SearchBot, PerplexityBot in seiner Antwortfunktion) nicht mitblockiert werden.

Genau diese Unterscheidung – Training versus Antwort – ist der Kern der dritten Stellschraube aus Die 3 Stellschrauben, mit denen regionale Betriebe in KI-Antworten auftauchen: Technik ist dort bewusst als „Spezialistensache” markiert, weil genau solche Details – ein Bot-Name, eine Wildcard-Regel, eine Voreinstellung beim Hoster – darüber entscheiden, ob die KI Ihren Betrieb überhaupt kennt, ohne dass sie im Tagesgeschäft je auffallen.

So unterstützt regionalflat Ihren Betrieb

Grundlage jedes regionalflat-Pakets ist Ihre neue Website – und weil das Hosting dazugehört, liegen robots.txt und Server-Einstellungen bei uns statt irgendwo zwischen Hoster und Plugin. Darauf aufbauend achten wir darauf, dass die Antwort-Crawler von ChatGPT & Co. Ihre Seite lesen dürfen – auch dann, wenn sich Voreinstellungen still ändern, wie bei Cloudflare am 15. September 2026.

Website und Hosting sind in jedem Paket enthalten, 0 € vorab. Mindestlaufzeit 12 Monate, danach monatlich kündbar. Feste Plätze bei Google oder in KI-Antworten verspricht niemand seriös – auch wir nicht. Alle Fakten: regionalflat auf einen Blick · Pakete & Preise · Kostenloses Gespräch vereinbaren

Fazit: Nachprüfen statt vermuten

In einem Satz: Ob GPTBot, ClaudeBot oder OAI-SearchBot Ihre Website lesen dürfen, entscheidet heute nicht nur Ihre robots.txt, sondern manchmal auch Ihr Hoster, ein Sicherheits-Plugin oder eine neue Cloudflare-Voreinstellung – und das lässt sich nachprüfen, ohne Fachchinesisch.

Drei Zahlen zum Mitnehmen: GPTBot wird auf Websites im Cloudflare-Netzwerk 2,33-mal so oft blockiert wie erlaubt, während der Zitier-Crawler OAI-SearchBot sogar leicht öfter erlaubt wird – die bewusste Trennung funktioniert also bei vielen. Bei anderen nicht: 44,5 Prozent der Top-5.000-Websites, die GPTBot blockieren, blockieren dabei versehentlich auch ihre Zitierfähigkeit in ChatGPT mit. Und seit dem 15. September 2026 hat Cloudflare seine eigenen Voreinstellungen geändert – wer nichts tat, hat trotzdem neue Regeln bekommen.

Der nächste Schritt kostet Sie fünf Minuten: Rufen Sie Ihre robots.txt auf, schauen Sie, was dort steht, und fragen Sie im Zweifel einmal bei Ihrem Hoster nach. Wenn Sie wissen wollen, ob sich das überhaupt in echten KI-Antworten bemerkbar macht, finden Sie die passende Anleitung dafür in So testen Sie Ihre KI-Sichtbarkeit in 15 Minuten.