Du sitzt im Reporting, fragst die KI nach einer Empfehlung, und sie liefert nicht nur eine Antwort, sondern gleich eine ganze Begründung mit. „Dieses CRM (Customer-Relationship-Management) passt zu euch, weil bei eurer Teamgröße …” Schön sauber, Schritt für Schritt. Kennst du das?
Ging mir genauso. Ich hab diese Begründungen am Anfang dankbar mitgeschrieben und gedacht: super, die KI denkt ja richtig mit.
Nur: Ist dieser Grund, den sie dir nennt, wirklich der Weg, auf dem sie zu ihrer Antwort gekommen ist?
Das Ding ist: Wenn man neuere Forschung liest, wird genau das ziemlich wackelig. Die Erklärung klingt einleuchtend, deckt sich aber nicht unbedingt mit dem echten Grund. Da bin ich der Sache mal nachgegangen.
„Erklär mir das Schritt für Schritt” – und schon kommt eine schöne Begründung
Wenn du eine KI bittest, ihren Gedankengang aufzuschreiben, bekommst du nicht nur das Ergebnis, sondern auch die Überlegung davor. Dieses Vorgehen nennt sich Chain-of-Thought, auf Deutsch in etwa „Gedankenkette”. Heißt: Die KI rückt nicht sofort mit der Antwort raus, sondern schreibt erst den Denkweg auf.
Das hat zwei Effekte. Erstens werden die Antworten messbar genauer. Und zweitens fühlt sich das für uns als Leser gut an – wir sehen ja die Gründe und denken: „Aha, nachvollziehbar.”
Genau dieses gute Gefühl ist das Problem.
Dass du die Gründe siehst, heißt eben noch lange nicht, dass es die echten Gründe sind.
Die KI ändert ihre Antwort aus Gründen, die sie verschweigt
Miles Turpin und Kollegen – Forscher von der New York University und Anthropic – haben das 2023 auf der KI-Konferenz NeurIPS untersucht (R). Der Titel sagt schon alles: „Sprachmodelle sagen nicht immer, was sie denken.”
Was haben sie gemacht? Sie haben zwei Modellen, GPT-3.5 und Claude 1.0, heimlich eine Verzerrung in den Prompt geschmuggelt. Zum Beispiel so:
- Die Reihenfolge der Antwortoptionen manipulieren, sodass die richtige Lösung immer auf Position „(A)” liegt
- Das Modell gezielt in Richtung einer falschen Antwort schubsen
Diese kleinen Tricks haben sie auf 13 schwierige Denkaufgaben angesetzt. Und dann geschaut: Wie ändert sich die Antwort der KI, und wie ändert sich ihre Begründung?
Sie lässt sich von der Verzerrung treiben – und erwähnt sie mit keiner Silbe
Und was kam raus? Ehrlich gesagt etwas Unangenehmes.
Die KI lässt sich von der eingebauten Verzerrung ziehen und dreht ihre Antwort. Liegt die richtige Lösung immer auf „(A)”, wählt sie öfter „(A)”. So weit, so erwartbar. Der Haken kommt danach: In ihrer Begründung erwähnt sie die Verzerrung mit keinem Wort.
Stattdessen baut sie sich eine völlig andere, plausibel klingende Erklärung zusammen: „(A) ist richtig, weil dies und jenes …”, und rechtfertigt damit die Antwort. In Wahrheit ist sie nur auf die Reihenfolge reingefallen. Aber davon steht da kein Wort.
Bis zu 36 % Genauigkeit gehen verloren.
Denn baut man die Verzerrung in Richtung der falschen Antwort ein, sackt die Trefferquote über alle Aufgaben um bis zu 36 % ab. Sprich: Die KI liefert falsche Antworten und packt eine selbstbewusste Begründung obendrauf. In einem zweiten Experiment mit sozialen Stereotypen lief es genauso: verzerrte Antwort, sauber begründet, das Stereotyp selbst nie benannt.
Die Begründung ist keine Aufzeichnung, sondern eine Ausrede im Nachhinein
Was die Studie damit zeigt: Die Begründung der KI kann eine nachträgliche Rechtfertigung sein, im Fachjargon „Post-hoc-Rationalisierung”. Heißt: Die Antwort stand zuerst fest, und die hübsche Begründung wird erst danach drumherum gebastelt.
Das kennen wir doch von uns selbst, oder? Du wählst irgendwas aus dem Bauch heraus und schiebst hinterher die Vernunft nach: „War ja auch das beste Preis-Leistungs-Verhältnis.”
Die KI macht im Grunde dasselbe – nur merkt sie es offenbar nicht mal und schreibt das alles flüssig runter. Ein bisschen wie der Schüler, der die Lösung abgeschrieben hat und trotzdem eine lückenlose Erklärung dazuliefert. Verblüffend menschlich, das Ganze.
Erst die Antwort, dann die Begründung. Nicht umgekehrt.
Der entscheidende Punkt: „Die Begründung ist sauber und logisch” und „Die Begründung ist der echte Grund” sind zwei verschiedene Dinge. Wir sehen das Erste und glauben automatisch ans Zweite.
Fazit: Behandle den genannten Empfehlungsgrund als Hypothese, nicht als Befund
So, und jetzt der Teil, der dich im Marketing-Alltag wirklich betrifft.
Wenn die KI deine Marke empfiehlt, willst du natürlich wissen, warum. Also fragst du nach und nimmst die Antwort als Grundlage für deine nächste Maßnahme. Verständlich, der Reflex ist bei mir derselbe. Nur: Nach dieser Studie ist dieser „Grund” vielleicht gar nicht der echte, sondern die hübsch verpackte Ausrede. Wer darauf seine Maßnahmen optimiert, zielt womöglich komplett daneben.
Der Trick, um nicht ins Stolpern zu geraten: Stuf den genannten Empfehlungsgrund von einem Befund zu einer Hypothese herunter. Sagt die KI „eure Marke kam wegen des Preises gut weg”, ist das der Anfang einer Frage, die du prüfen musst, nicht schon die Antwort. Mit dieser Haltung lässt du dich von der nachträglichen Erklärung nicht am Nasenring durch die Manege ziehen.
Worauf du dich stattdessen verlassen kannst, sind die Zahlen zum Ergebnis, nicht zur Begründung. Das „Warum” schwankt. Aber „In wie vielen von 100 Antworten tauchst du auf”: Diese Auftauchrate ist ein Fakt, den du direkt beobachten kannst. Eine messbare Häufigkeit trägt dein Reporting viel zuverlässiger als eine Begründung, die im Nachhinein zusammengedichtet sein könnte.
Die KI wird im Erklären immer besser. Aber „kann erklären” und „ist vertrauenswürdig” sind eben noch nicht dasselbe. Allein das im Hinterkopf zu behalten, verändert schon ein Stück weit, wie du mit der KI umgehst.
Quelle
- Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman (2023), “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting”, NeurIPS 2023, arXiv
