GEO · 10. August 2026 · Dirk Delbrouck

Nicht jeder KI-Bot bringt Kunden.

Kurzfassung: KI-Zugang ist keine Ja-Nein-Frage. Drei Bot-Typen holen Inhalte: Training, Suche, Nutzer-Abruf. Nur zwei davon schicken Besucher zurück. Anthropic holte 70.900 Seiten pro Besucher (Cloudflare, Juni 2025). OpenAI lässt Sie die drei Typen getrennt steuern. Prüfen Sie robots.txt und Firewall. Aufwand: 30 Minuten.

Die meisten Firmen entscheiden falsch. Sie fragen: KI-Bots erlauben oder sperren? Diese Frage hat keine gute Antwort.

Denn hinter einem Markennamen stecken mehrere Bots. Jeder verfolgt einen anderen Zweck. Wer pauschal blockt, verschwindet aus KI-Antworten. Wer pauschal öffnet, verschenkt Inhalte ohne Gegenwert.

Dieser Artikel trennt die Bot-Typen, zeigt die Datenlage und liefert eine Prüfliste.

Zwei Begriffe vorab

Ein Crawler ist ein Programm, das Webseiten automatisch abruft und auswertet. Die robots.txt ist eine Textdatei im Stammverzeichnis der Domain. Sie teilt Crawlern mit, welche Bereiche sie abrufen dürfen.

Wichtig: Die robots.txt ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich daran. Technisch erzwingen kann den Ausschluss nur die Firewall.

Drei Bots, drei Zwecke

OpenAI dokumentiert drei getrennte Crawler. Andere Anbieter arbeiten ähnlich. Die Unterscheidung entscheidet über Ihren Nutzen.

Bot	Zweck	Bringt Besucher?
GPTBot	Modelltraining	Nein
OAI-SearchBot	Index für ChatGPT-Suche	Ja, über Zitate
ChatGPT-User	Abruf auf Nutzerbefehl	Ja, direkt

Quelle: OpenAI-Dokumentation zu Crawlern. Alle drei lassen sich in der robots.txt einzeln adressieren.

Die Konsequenz ist einfach. Sperren Sie nur GPTBot, bleiben Sie in der ChatGPT-Suche zitierfähig. Sperren Sie alles, verschwinden Sie ganz.

Ein Trainings-Crawler sammelt Inhalte für künftige Modellversionen. Ein Such-Crawler baut einen Index für zitierte Antworten. Ein Nutzer-Abruf holt eine Seite live, weil ein Mensch fragt. Diese drei Definitionen tragen jede Zugangsentscheidung.

Was die Bots zurückgeben

Cloudflare misst seit Juli 2025 ein Verhältnis namens Crawl-to-Refer. Es teilt abgerufene HTML-Seiten durch zurückgeschickte Besucher. Ein hoher Wert heißt: viel geholt, wenig zurückgegeben.

Für die Woche vom 19. bis 26. Juni 2025 nannte Cloudflare für Anthropic 70.900 zu 1. Der Anbieter holte also rund 70.900 Seiten pro Besucher. Mistral lag bei 0,1 zu 1 und schickte mehr Besucher als Abrufe.

Abgerufene Seiten je zurückgeschicktem Besucher

Quelle: Cloudflare, Woche vom 19. bis 26. Juni 2025. Mistral-Balken auf Mindestbreite gesetzt, Wert unter 1.

Anbieter	Seiten je Besucher (Crawl-to-Refer)
Anthropic	70.900
Mistral	0,1

Cloudflare schränkt selbst ein. Abrufe aus nativen Apps senden keinen Referer-Header. Die Werte überzeichnen also, in unbekannter Höhe.

Trotzdem bleibt die Richtung klar. Klassische Suchmaschinen holten wenige Seiten pro Besucher. Trainings-Crawler holen viel und geben wenig.

Ihr CDN blockt womöglich schon

Cloudflare stellte am 1. Juli 2025 auf Opt-in um. Neue Domains werden gefragt, ob KI-Crawler zugreifen dürfen. Voreinstellung: blockiert.

Das trifft auch Firmen, die nie darüber entschieden haben. Ein Relaunch, ein neuer Hoster, eine aktivierte Bot-Regel. Danach findet ChatGPT die Seite nicht mehr.

Das Tückische: Nichts sieht kaputt aus. Die Seite lädt, Google rankt weiter. Nur die KI-Zitate bleiben aus. Ohne Log-Kontrolle fällt das monatelang niemandem auf.

Prüfen Sie deshalb zwei Ebenen. Die robots.txt zeigt Ihre Absicht. Die Firewall zeigt, was wirklich durchkommt.

Eine brauchbare Grundregel

Für die meisten KMU und Portfolio-Unternehmen gilt: Suche und Nutzer-Abruf erlauben, Training bewusst entscheiden.

Such-Bots erlauben. Sie erzeugen Zitate und damit Besucher.
Nutzer-Abruf erlauben. Ein Mensch hat aktiv nach Ihnen gefragt.
Trainings-Bots abwägen. Ohne eigene Inhalte kein Verlust, mit exklusiven Studien schon.
Interne Pfade sperren. Konten, Warenkorb, Suchergebnisse, API.

Verlage entscheiden anders. Wer vom Verkauf eigener Inhalte lebt, sperrt Training konsequent.

Die Abwägung beim Training ist eine Geschäftsentscheidung. Trainingszugang zahlt womöglich auf künftige Markenbekanntheit in Modellen ein. Das ist eine Annahme, kein belegter Effekt. Messbar ist nur der Such- und Abrufkanal.

So setzen Sie die Regel um

Öffnen Sie Ihre robots.txt unter ihredomain.de/robots.txt. Prüfen Sie, welche KI-Bots dort stehen.
Legen Sie je Bot einen eigenen Eintrag an. GPTBot, OAI-SearchBot und ChatGPT-User erhalten getrennte Regeln.
Erlauben Sie Such- und Abruf-Bots den Inhaltsbereich. Sperren Sie interne Pfade für alle Bots.
Entscheiden Sie den Trainings-Zugang schriftlich. Ein Satz Begründung genügt.
Stellen Sie die Firewall passend ein. Die robots.txt allein erzwingt nichts.

Die Bot-Namen anderer Anbieter finden Sie in deren Dokumentation. OpenAI listet Namen und IP-Bereiche öffentlich.

Korrektur zu llms.txt

In unserem Beitrag zu den 7 GEO-Taktiken haben wir llms.txt empfohlen. Diese Empfehlung schwächen wir ab.

Zur Einordnung: Eine llms.txt fasst Website-Inhalte maschinenlesbar für KI-Systeme zusammen. Googles John Mueller verglich llms.txt öffentlich mit dem Keywords-Meta-Tag. Er verwies darauf, dass Google, OpenAI und Anthropic den Standard nicht nutzen. Mehrere Betreiber berichten von null Zugriffen in ihren Logfiles.

Unsere neue Einschätzung: llms.txt ist billig, aber wirkungslos. Priorisieren Sie stattdessen den Crawler-Zugang. Der ist messbar.

Solche Korrekturen gehören zum Handwerk. Wer GEO-Empfehlungen nie revidiert, verkauft Glauben statt Daten. Die 5 Prüffragen gegen GEO-Schlangenöl helfen bei der Anbieterwahl.

Prüfliste für 30 Minuten

robots.txt öffnen. Alle KI-Bots einzeln auflisten, nicht pauschal sperren.
Firewall-Regeln prüfen. Bei Cloudflare die KI-Crawler-Einstellung kontrollieren.
Serverlogs filtern. Welche Bots kamen im letzten Monat wirklich?
Zwei Testfragen in ChatGPT und Perplexity stellen. Wird Ihre Seite zitiert?
Ergebnis dokumentieren. Datum, Regel, Begründung. Nach jedem Relaunch wiederholen.

Punkt 3 überrascht am häufigsten. Viele Firmen sehen dort Bots, die sie längst gesperrt glaubten.

Ergänzend lohnt der Blick auf die Besucherseite. GA4 macht KI-Referrals sichtbar: chatgpt.com, perplexity.ai, gemini.google.com.

Häufige Fehler

Erstens: Pauschalsperre per Wildcard. Eine Regel gegen alle Bots trifft auch Such-Crawler. Die Zitate bleiben aus, der Schaden ist unsichtbar.

Zweitens: robots.txt gepflegt, Firewall vergessen. Beide Ebenen können sich widersprechen. Es gilt immer die restriktivere.

Drittens: Einmal einstellen, nie prüfen. Anbieter ändern Bot-Namen und Voreinstellungen. Ohne Log-Kontrolle veraltet jede Regel.

Viertens: Zugang steuern, aber Inhalte vergessen. Offene Türen nützen nichts ohne zitierfähige Inhalte. Beides zusammen behandelt unsere Seite zur KI-Transformation und GEO.

Zitierfähige Kernaussagen

Anthropic holte 70.900 HTML-Seiten je zurückgeschicktem Besucher (Cloudflare, Woche vom 19. bis 26. Juni 2025).
Mistral lag im selben Zeitraum bei 0,1 Seiten je Besucher (Cloudflare, Juni 2025).
Cloudflare blockiert KI-Crawler für neue Domains standardmäßig seit dem 1. Juli 2025.
OpenAI dokumentiert drei getrennte Crawler: GPTBot für Training, OAI-SearchBot für Suche, ChatGPT-User für Nutzer-Abrufe (OpenAI-Dokumentation, Stand 2026).
Googles John Mueller verglich llms.txt 2025 öffentlich mit dem Keywords-Meta-Tag.

Häufige Fragen

Soll ich alle KI-Bots blockieren?

Nein, nicht pauschal. Such-Bots und Nutzer-Abrufe bringen Besucher über Zitate und direkte Aufrufe. Wer sie sperrt, verschwindet aus KI-Antworten. Nur Trainings-Crawler wie GPTBot geben nichts direkt zurück. Entscheiden Sie je Bot-Typ. Verlage mit exklusiven Inhalten sperren Training häufig konsequent.

Was unterscheidet GPTBot, OAI-SearchBot und ChatGPT-User?

GPTBot sammelt Inhalte für das Modelltraining und schickt keine Besucher. OAI-SearchBot baut den Index der ChatGPT-Suche und erzeugt Zitate. ChatGPT-User ruft Seiten ab, wenn ein Nutzer aktiv danach fragt. OpenAI dokumentiert alle drei getrennt. Jeder lässt sich einzeln in der robots.txt steuern.

Wie prüfe ich, ob mein CDN KI-Bots blockiert?

Öffnen Sie die Bot- und Firewall-Einstellungen Ihres CDN-Anbieters. Bei Cloudflare heißt der Bereich AI Crawlers. Seit dem 1. Juli 2025 blockiert Cloudflare KI-Crawler für neue Domains standardmäßig. Prüfen Sie danach die Serverlogs: Kommen GPTBot und OAI-SearchBot tatsächlich durch?

Bringt eine llms.txt noch etwas?

Kaum. Googles John Mueller verglich llms.txt öffentlich mit dem Keywords-Meta-Tag. Google, OpenAI und Anthropic nutzen den Standard nicht. Mehrere Betreiber melden null Zugriffe in ihren Logfiles. Die Datei schadet nicht, kostet aber Aufmerksamkeit. Priorisieren Sie stattdessen den messbaren Crawler-Zugang.

Was ist das Crawl-to-Refer-Verhältnis?

Das Verhältnis teilt abgerufene HTML-Seiten durch zurückgeschickte Besucher. Cloudflare misst es seit Juli 2025 je KI-Anbieter. Für Anthropic nannte Cloudflare 70.900 Seiten pro Besucher, für Mistral 0,1. Die Werte überzeichnen, weil App-Abrufe keinen Referer senden. Die Richtung bleibt trotzdem aussagekräftig.

Wie oft muss ich die Bot-Regeln prüfen?

Nach jedem Relaunch, Hosterwechsel und CDN-Update, mindestens aber quartalsweise. Neue Bots erscheinen laufend, Anbieter ändern Voreinstellungen ohne Ankündigung. Dokumentieren Sie jede Regel mit Datum und Begründung. Ein monatlicher Blick in die Serverlogs zeigt, ob Absicht und Realität übereinstimmen.

Next Step: Wir prüfen Ihren Crawler-Zugang und liefern eine fertige robots.txt plus Firewall-Empfehlung. Kostenloses Erstgespräch anfragen.

Quellen

OpenAI: Overview of OpenAI Crawlers (2026). Dokumentation zu GPTBot, OAI-SearchBot und ChatGPT-User samt IP-Listen.
Cloudflare Radar: AI Insights (2025). Laufende Crawl-to-Refer-Daten je KI-Anbieter, Basis der Juni-Werte.
Cloudflare Blog, 1. Juli 2025: Umstellung auf Opt-in, KI-Crawler für neue Domains standardmäßig blockiert.
John Mueller, Google, 2025: öffentliche Einordnung von llms.txt, Vergleich mit dem Keywords-Meta-Tag.

Redaktionshinweis: Der Beitrag wurde KI-gestützt recherchiert, redaktionell überarbeitet und geprüft und verantwortet von Dirk Delbrouck, valuedialog.