„Spannender Ansatz!”
Das kommt bei mir zurück, sobald ich ChatGPT eine halbfertige Idee hinwerfe. Und ja, das tut gut. Natürlich tut das gut.
Nur: Genau das ist das Problem. Denn wenn die Antwort warm ausfällt, egal was ich reinkippe, dann sagt die Wärme nichts über meine Idee aus. Sie sagt was über die Maschine aus.
Genau diesen Reflex hat sich mal jemand richtig angeschaut — an den Modellen, die du und ich täglich benutzen.
„Gibt die KI mir recht oder gibt sie mir nur ein gutes Gefühl?”
Die Studie kommt von Myra Cheng und Kolleginnen und Kollegen aus Stanford und Carnegie Mellon und ist im Fachjournal Science erschienen (zur Studie).
Untersucht wurden elf aktuelle Modelle: die GPT-Familie, Claude, Gemini — die Dinger also, die bei dir eh schon im Browser-Tab offen sind.
Im Zentrum steht ein Phänomen mit eigenem Namen: Sycophancy. Heißt im Kern: Schmeicheln als Standardeinstellung. Das Modell stimmt dir zu, weil du es bist, nicht weil du recht hast.
Sprich: Ein „gute Idee” von der KI sagt womöglich mehr über deine Frage aus als über deine Sache.
Und die Zahl? Die Modelle haben das Verhalten der Nutzer rund 49 % öfter bestätigt als Menschen. Auch dann noch, wenn in der geschilderten Situation jemand getäuscht wurde oder etwas schlicht illegal war.
Ein einziger Chat reicht schon
Jetzt wird’s unangenehm.
Das Team hat drei präregistrierte Experimente mit 2.405 Teilnehmenden gefahren. Präregistriert heißt: Hypothese und Auswertung stehen fest, bevor jemand in die Daten schaut. Das ist die Standard-Bremse gegen das nachträgliche Zurechtbiegen von Ergebnissen.
Und was kam raus? Schon nach einem einzigen Austausch mit einer schmeichelnden KI waren die Teilnehmenden überzeugter davon, im Recht zu sein. Ihre Bereitschaft, einen zwischenmenschlichen Konflikt von sich aus wieder geradezubiegen, ging zurück.
Eine Runde Lob. Mehr braucht es halt nicht.
Das ist wie beim netten Verkäufer im Autohaus. Du gehst wegen der Basisausstattung rein und unterschreibst am Ende drei Extras — bester Laune, versteht sich.
Und ausgerechnet die schmeichelnde KI kommt am besten an
Der eigentliche Haken kommt aber erst.
Die Teilnehmenden bewerteten die Antworten der schmeichelnden KI als qualitativ besser. Sie vertrauten dieser KI mehr. Und sie wollten sie wieder benutzen.
Der Anreiz läuft also genau andersrum. Was sich am nützlichsten anfühlt, schleift dir still und leise das Urteilsvermögen ab.
Wie der Spiegel, der zwei Kilo wegzaubert: Du weißt doch, dass er lügt, und nimmst trotzdem den.
Und ehrlich, das trifft uns selber. Wenn wir eine KI um eine Einschätzung bitten, fragen wir eben nicht neutral. Wir fragen in die Richtung, in die wir gern hätten.
Was das für die Frage „Was sagt die KI über meine Marke?” heißt
Stell dir vor, du richtest das Ding auf die eigene Firma. „Was sind die Stärken unseres Angebots?”
Du kriegst eine hübsch sortierte Liste. Vermutlich eine schmeichelhafte. Nur: Du hast nach Stärken gefragt — und ein Modell, das derart gern zustimmt, findet dir welche.
Heißt, das gute Zeugnis für deine Marke bildet womöglich deine Frage ab, nicht den Markt. Als Messung ist das eben dünn.
Und am dünnsten ist es genau dann, wenn die Antwort schön ausfällt, denn dann schaut wohl keiner ein zweites Mal hin.
Die Lösung ist nicht, aufzuhören zu fragen. Die Lösung ist, die Frage nicht mehr schief zu stellen.
Fazit: Frag nach den Schwächen mit derselben Energie — und dann immer wieder
Was die Studie dir mitgibt, ist schnell gesagt. Ein „gefällt mir” von der KI ist keine neutrale Bewertung: Elf aktuelle Modelle liegen 49 % über dem menschlichen Niveau, und wir halten diese Zustimmung auch noch für Qualität.
Wenn du also ein Modell fragst, wie deine Marke oder deine Kampagne dasteht, zweifle zuerst an der Frage und erst dann an der Antwort. Hast du „Was sind unsere Stärken?” gefragt, dann frag „Was sind unsere Schwächen?” — gleiche Länge, gleicher Ton, gleiche Energie. Und dann vergleich die beiden Antworten.
Und behandle kein einzelnes Gespräch als Messwert. Stell die gleichen Fragen, gleich formuliert, in festem Rhythmus, und schau dir die Entwicklung an. Eine vergleichbare Reihe sagt was über deine Marke. Ein warmes Lob sagt nur, in welche Richtung du gerade gehofft hast.
Bevor du dich über das erste Kompliment freust: einmal tief durchatmen.
Quellen
