„Dann sperren wir die KI halt komplett aus”
Der Satz fällt meistens gegen Ende einer Content-Runde, wenn jemand ausgerechnet hat, wie viel Arbeit in den Texten steckt, die sich ChatGPT gerade gratis abholt.
Ich habe an genau der Stelle mal genickt und dann festgestellt, dass ich auf die Rückfrage „und was passiert danach?” nichts zu bieten hatte.
Das Ding ist: Beide Seiten in dieser Diskussion argumentieren ohne eine einzige Zahl. Die einen fürchten den Diebstahl, die anderen die Unsichtbarkeit, und gemessen hat es keiner.
Bis zu diesem Frühjahr. Da kamen zwei Auswertungen heraus, die Medien nach dem Aussperren tatsächlich weiterverfolgt haben — vier Millionen Zitate in der einen, dreißig Zeitungsverlage in der anderen.
Verschwindest du aus den KI-Antworten, wenn du die Crawler in der robots.txt aussperrst?
Nein. Von den fünfzig größten Nachrichtenseiten, die einzelne KI-Bots blockierten, tauchten je nach Bot 70,6 bis 92,3 Prozent trotzdem weiter in KI-Antworten auf.
Kurz zur Datei, um die es geht: Die robots.txt ist so etwas wie ein Zettel an der Haustür. Draufgeschrieben steht, welcher Roboter reinschauen darf und welcher nicht. Ein Schloss ist es halt nicht.
Gezählt hat das BuzzStream — rund vier Millionen Zitate aus 3.600 Anfragen an ChatGPT, Gemini, Google AI Overviews und Google AI Mode, über zehn Branchen hinweg, veröffentlicht am 8. April 2026 (Quelle).
Sortiert nach dem Bot, der gesperrt wurde:
- ChatGPT-User, der die Seite im Moment der Frage abruft: 70,6 %
- OAI-SearchBot, der den Suchindex von OpenAI füttert: 82,4 %
- GPTBot, der für das Training sammelt: 88,2 %
- Google-Extended, der die Trainingsnutzung bei Google steuert: 92,3 %
Heißt, je weiter weg der gesperrte Bot vom eigentlichen Abruf sitzt, desto vollständiger bleibt die Seite in den Antworten stehen. Denn wer erst beim Training zugreift, hat das Material zu dem Zeitpunkt, an dem gesperrt wird, oft längst mitgenommen.
Wer zitiert wird, hat meistens zugesperrt
Dieselbe Auswertung geht die Sache auch von der anderen Richtung an und fragt: Wo kommen die Zitate eigentlich her?
Rund 70 Prozent der Quellen, die ChatGPT anführte, lagen auf Seiten, die den abrufenden Bot gesperrt hatten. Bei den Trainings-Bots waren es sogar rund 95 Prozent.
Die Seiten mit dem Zettel an der Tür sind also der Normalfall in den Quellenangaben, nicht die Ausnahme.
Und jetzt die Frage, die man an dieser Stelle stellen muss: Wie kommt die KI an Inhalte, die sie gar nicht lesen darf?
Warum das funktioniert, weiß bislang niemand genau
Die Autoren schreiben selbst, dass sie hier nur mutmaßen können. Drei Wege stehen im Raum: Wissen, das im Modell schon vom Training her drinsteckt. Bots, deren Namen in der robots.txt gar nicht auftauchen. Und Inhalte, die über Zweitverwerter zurück ins Netz laufen.
Aus dem Klassentreffen-Verzeichnis kannst du deinen Eintrag streichen lassen — aus den Erinnerungen der anderen nicht.
Bei Nachrichten kommt dazu, dass Meldungen ohnehin durch ein halbes Dutzend Portale wandern. Der Inhalt ist längst unterwegs, auch wenn die Ursprungsseite dichtmacht.
Sprich: Der Mechanismus ist offen, der Befund für deine Arbeit trotzdem brauchbar. Wer die Tür zumacht, verschwindet damit noch lange nicht aus dem, was die KI über ihn erzählt.
Der Besuch blieb weg, das Zitat nicht
Die zweite Auswertung kommt aus der Forschung. Hangcheng Zhao von der Rutgers Business School und Ron Berman von der Wharton School der University of Pennsylvania haben sich angesehen, was das Sperren mit dem Traffic macht (Quelle).
Verglichen wurden die wöchentlichen Besucherzahlen von Medien, die KI-Crawler gesperrt haben, mit denen, die es nicht taten. Hauptstichprobe: dreißig Zeitungsverlage, Zeitraum November 2022 bis Mai 2024.
Das Verfahren heißt Differenz-von-Differenzen. Klingt sperrig, macht aber nur eins: Es zieht die normale Entwicklung, die beide Gruppen ohnehin genommen hätten, heraus — übrig bleibt der Unterschied, der auf das Sperren geht.
Und was kam raus? In den ersten sechs Wochen nach der Sperre lagen die Schätzungen bei −7,4 % (SimilarWeb), −6,9 % (Semrush) und −6,5 % (Comscore).
Drei Messdienste, die unabhängig voneinander erheben, landen alle im selben Bereich.
Die Zitate bleiben zu sieben bis neun Zehnteln stehen, die Besucher gehen um rund sieben Prozent zurück. Diese Schieflage ist es, die das Aussperren als Maßnahme so unattraktiv macht.
Wie weit trägt das für deine eigene Seite?
Ehrlich gesagt: nur ein Stück weit. Und das gehört dazu, bevor jemand mit diesen Zahlen ins nächste Meeting geht.
Beide Auswertungen schauen auf Nachrichtenmedien. Deren Inhalte werden weiterverwertet wie kaum etwas sonst — deine Produktseiten sind das nicht.
Bei BuzzStream kommt dazu: Der Erhebungszeitraum ist nicht veröffentlicht, es ist also nicht gesichert, dass die robots.txt zum Zeitpunkt der Zitate schon so aussah. Die Zitatdaten stammen aus einem einzigen Werkzeug namens XOFU, überprüft hat das niemand von außen.
Und der Absender verkauft Werkzeuge für digitale PR. Die Aussage „investier lieber in Erwähnungen als in Sperren” liegt nun mal ziemlich nah an seinem Geschäft. Fair, das mitzudenken.
Die akademische Arbeit wiederum hat eine kleine Hauptstichprobe von dreißig Verlagen. Statistisch belastbar — das Konfidenzintervall, also der Bereich, in dem der wahre Wert plausibel liegt, schließt die Null aus — ist davon nur die SimilarWeb-Schätzung. Nach etwa zwanzig Wochen ist auch die es nicht mehr.
Dazu ist es ein Preprint, also ein Papier, das vor der Begutachtung durch eine Fachzeitschrift veröffentlicht wurde.
Die Autoren selbst weisen darauf hin, dass ihr Zeitraum vor der breiten Verbreitung KI-integrierter Suche liegt, und dass alles, was innerhalb der KI-Oberfläche konsumiert wird, in Traffic-Daten schlicht nicht auftaucht.
Nicht zuletzt: Beide Auswertungen schauen auf überwiegend US-amerikanische Medien. Für den deutschsprachigen Raum gibt es diese Messung nicht.
Eine Sache noch, damit du nicht über die falsche Zahl stolperst. Aus einer früheren Fassung derselben Arbeit ging ein Wert von 23,1 % Rückgang durch die Presse — gemessen pro Monat. Die aktuelle Fassung rechnet wöchentlich und landet bei rund sieben Prozent. Wenn dir die große Zahl begegnet, nimm die neue.
Erst nachsehen, was die KI über dich sagt, dann über die Tür entscheiden
Es ist weniger zu tun, als es klingt. Zwei Handgriffe, beide an einem Nachmittag erledigt.
Der erste: Ruf deine eigene robots.txt auf und schau nach, wie sie mit KI-Bots umgeht. Auch wenn sich niemand im Team erinnert, dort etwas eingetragen zu haben — Content-Management-Systeme und Themes bringen solche Zeilen gern als Voreinstellung mit.
Der zweite: Behandle die Frage, wie deine Marke in KI-Antworten vorkommt, als eigene Messgröße, unabhängig davon, ob du sperrst oder nicht. Drei bis fünf Fragen, die in deiner Kategorie typischerweise gestellt werden, an die großen Modelle schicken und aufschreiben, was zurückkommt — das reicht als Anfang völlig.
Was danach passiert, wenn du die Bots reinlässt, steht in Für einen einzigen Besucher liest die KI 38.065 Seiten deiner Website. Und ob eine Extra-Datei für die KI dabei hilft, hab ich mir in den Logs von 137.000 Websites angeschaut.
Heute ging es um den Schritt davor: die Entscheidung, ob du überhaupt lesen lässt.
Was die KI über deine Marke erzählt, läuft auch hinter geschlossener Tür weiter. Also lieber hinschauen und daran arbeiten.
Quellen
- Hangcheng Zhao (Rutgers Business School), Ron Berman (The Wharton School, University of Pennsylvania), „Strategic Response of News Publishers to Generative AI”, arXiv:2512.24968, 2026-04-15, https://arxiv.org/abs/2512.24968
