„Die KI findet den Text gut. Aber findet ihn auch ein Kunde gut?”
Immer mehr Produkttexte entstehen inzwischen im Chatfenster. Datenblatt reinkopieren, drei Varianten anfordern, eine aussuchen.
Und dann — das ist der Punkt — fragst du dasselbe Modell, welche Variante die beste ist.
Kenn ich gut. Geht ja schnell, kostet nichts und fühlt sich doch nach Zweitmeinung an.
Nur: Eine Zweitmeinung ist das halt nicht. Das ist derselbe Leser, der seine eigenen Hausaufgaben benotet. Und wenn jede Marke in deiner Kategorie diese Schleife dreht, klingt am Ende die ganze Kategorie nach ein und demselben Geschmack.
Diesen Geschmack hat sich mal jemand richtig angeschaut.
Die 89 %, um die es geht
Die Studie heißt “AI-AI bias: Large language models favor communications generated by large language models” und ist in PNAS erschienen, dem Journal der US-amerikanischen Nationalen Akademie der Wissenschaften — von den Naturwissenschaften bis zu den Sozialwissenschaften ist da alles drin.
Der Aufbau ist simpel: Dieselbe Sache wird zweimal beschrieben, einmal von einem Menschen, einmal von einem Modell. Dann soll ein LLM (Large Language Model, sprich: das Ding hinter ChatGPT) sagen, welche Version besser ist. Getestet wurde das an drei Textsorten — Produktbeschreibungen für Konsumgüter, Abstracts wissenschaftlicher Paper und Filmzusammenfassungen. Und was kam raus? GPT-4 entschied sich für die von GPT-4 geschriebene Version:
- zu 89 % bei Produktbeschreibungen
- zu 78 % bei wissenschaftlichen Papern
- zu 70 % bei Filmplots
Jetzt der eigentlich spannende Teil. 13 menschliche Forschungsassistenten bekamen dieselben Textpaare vorgelegt. Die griffen bei Konsumgütern zu 36 % zum KI-Text, bei Papern zu 61 %, bei Filmen zu 58 %. Schau dir die Produktzeile an: Das Modell sagt 89, die Menschen sagen 36.
Das ist kein Rundungsfehler. Das sind zwei verschiedene Geschmäcker, die dasselbe Wort benutzen: „gut”.
Woraus die Note eines Modells wirklich besteht
Der KI-KI-Bias heißt im Kern: Ein Modell hat einen Hang zu Texten, die eine KI geschrieben hat statt ein Mensch — den eigenen inklusive. Für dich heißt das ganz praktisch — eine hohe Note belohnt womöglich vor allem die Form, also Formulierungen, die eine Maschine mühelos produziert. Nichts, was einem Kunden auffallen würde.
Und dabei bleibt es nicht. Derselbe Hang taucht eine Ebene höher wieder auf: bei den Marken selbst.
Die Arbeit “Global is Good, Local is Bad?” von der EMNLP 2024 hat Markenempfehlungen bei GPT-4o, Llama-3-8B, Gemma-7B und Mistral-7B untersucht. Alle Modelle verknüpften globale Marken unverhältnismäßig oft mit positiven Attributen. Und die Empfehlungen sortierten sich nach Einkommen: Luxusmarken gingen zu 88–100 % an einkommensstarke Länder, Nicht-Luxusmarken zu 84–98 % an einkommensschwache.
Wohlgemerkt: Das sind bestimmte Versuchsbedingungen, und ich würde nicht behaupten, dass sich jeder KI-Dienst genauso verhält. Die Richtung ist trotzdem bemerkenswert.
Denn wenn du ein Modell deine Marken-Copy bewerten lässt, bekommst du eben kein sauberes Urteil über die Copy. Du bekommst die Copy plus das, was das Modell über deine Marke, deine Kategorie und deinen Zielmarkt ohnehin schon annimmt.
Warum das mit Einkaufs-Agenten dringender wird, nicht lockerer
Der Harvard-Business-Review-Beitrag “AI Is Upending Marketing on Two Fronts” übersetzt dieselbe Verschiebung ins Marketing. Zwei Dinge passieren gleichzeitig: Dialog-KI übernimmt, was früher Suche und Website erledigt haben — und KI-Agenten rücken in die Kaufentscheidung selbst vor.
Der Text verweist auf eine Untersuchung, nach der die Online-Suche seit ChatGPT um rund 20 % zurückgegangen ist, und argumentiert für den Weg von SEO zu GEO (Generative Engine Optimization, sprich: Optimierung auf die Antwort, die ein Modell gibt, statt auf die Trefferliste bei Google). Und dann kommt die unbequeme Trennung: „customer” und „consumer” sind womöglich bald nicht mehr dieselbe Person. Wenn ein Agent das Produkt auswählt und ein Mensch es benutzt, sitzen plötzlich zwei sehr unterschiedliche Leser vor derselben Copy.
Du schreibst ab jetzt für zwei Leser, und die haben nicht denselben Geschmack.
Der naheliegende Schluss wäre jetzt: „Dann schreiben wir halt nur noch für die Maschine.” Nur genau dagegen sprechen die PNAS-Zahlen. 53 Prozentpunkte Abstand zwischen dem, was ein Modell belohnt, und dem, was Menschen wählen — das optimierst du nicht weg.
Die KI-Note ist ein brauchbares Signal. Aber eben kein Urteil.
Fazit: Zwei Messlatten führen, nicht eine Note
Sichtbarkeit in den Modellen ist ein echtes Asset, das du aktiv aufbauen kannst — die Verschiebung der Suche und die Agenten zeigen beide in diese Richtung. Was nicht geht: sie mit dem Vertrauen echter Menschen in eine Zahl zu gießen. Bei den Produktbeschreibungen liefen die beiden Urteile ja genau gegenläufig, 89 % gegen 36 %.
Heißt konkret: Leg dieselbe Produktbeschreibung ChatGPT, Gemini und Perplexity vor und miss, wie oft du zitiert oder empfohlen wirst. Das ist Messlatte eins — und die schaut sich, so mein Eindruck, kaum ein Team regelmäßig an.
Messlatte zwei bleibt, wo sie ist: A/B-Tests bei Anzeigen, Kundengespräche, die Fragen vor dem Kauf. Lässt du die erste die zweite auffressen, landest du bei Texten, die für eine Maschine perfekt klingen und für alle anderen dünn.
Die KI-Note sagt dir, ob du sichtbar bist. Ob man dir glaubt, sagt sie dir nicht.
Vielleicht halten die 89 % bei der nächsten Modellgeneration nicht. Es ist eine Studie. Die zwei Messungen getrennt zu führen, kostet dich aber praktisch nichts — und den Nachteil daran suche ich noch.
Quellen
- Laurito, W. et al., „AI-AI bias: Large language models favor communications generated by large language models”, Proceedings of the National Academy of Sciences, Vol. 122(31), 2025, pnas.org
- Kamruzzaman, M., Nguyen, H.M. & Kim, G.L., „‘Global is Good, Local is Bad?’: Understanding Brand Bias in LLMs”, EMNLP 2024, aclanthology.org
- Puntoni, S., „AI Is Upending Marketing on Two Fronts”, Harvard Business Review, 2026-02-23, hbr.org
