„Die sagt doch jedes Mal was anderes — wie soll ich der trauen?”
Führ irgendwo KI ein, und der Satz kommt garantiert innerhalb einer Woche: „Ich hab zweimal dasselbe gefragt und zwei verschiedene Antworten bekommen.” Verständliche Reaktion. Ging mir am Anfang genauso.
Gleiche Frage, andere Formulierung zurück — und dieses leise Gefühl, dass der Boden wackelt.
Aber: Das Problem ist der Schluss, den viele daraus ziehen. Von „die Antworten schwanken” direkt zu „KI ist unbrauchbar” — das ist halt ein Sprung. Denn aktuelle Forschung legt nahe, dass ein Teil dieser Schwankung gar kein Defekt des Modells ist. Er wird von der Messmethode aufgeblasen.
Genau die Frage hat sich mal jemand richtig angeschaut. Und was dabei rauskam, lohnt sich.
Misst „Prompt-Sensitivität” wirklich nur das Modell?
Erst der Begriff: Prompt-Sensitivität heißt im Kern: Wie stark ändert sich das Ergebnis, wenn man dieselbe Frage anders formuliert? Sprich: gleiches Anliegen, andere Worte — wie sehr wackelt die Antwort? Üblicherweise gilt das als Schwäche des Modells, Punkt.
Das Team um Hua (die Studie) ist einen Schritt weiter gegangen: Was, wenn die Bewertungsmethode selbst einen Teil dieser Sensitivität erzeugt? Dafür haben sie 7 große Sprachmodelle über 6 Benchmarks und 12 Frage-Vorlagen getestet — und versucht, das Wackeln des Modells vom Wackeln des Messinstruments zu trennen.
Klingt naheliegend. Hat vorher aber kaum jemand gemacht.
Ein großer Teil des Wackelns ist ein Mess-Artefakt
Und was kam raus? Ein erheblicher Teil der beobachteten Sensitivität könnte ein Artefakt der Bewertungsmethode sein. Heißt, die Macken des Thermometers lassen das Fieber höher aussehen, als es ist.
Klassische Evaluationen setzen oft auf Log-Likelihood-Scoring (man schaut, wie sich die Wahrscheinlichkeiten verteilen) oder auf exaktes Antwort-Matching (der Text muss Zeichen für Zeichen stimmen). Beides lässt sich prima automatisieren. Nur: Beide werten Antworten als „verschieden”, die dasselbe meinen — als wären „OK” und „passt schon” zwei unterschiedliche Meinungen.
Also haben die Autoren zusätzlich mit einem LLM-as-Judge gemessen, der auf der Bedeutungsebene bewertet. Ergebnis: Die Leistungs-Varianz schrumpft, und die Modell-Rangfolge wird konsistenter. Wohlgemerkt: Das heißt nicht „KI ist doch stabil”. Es heißt, dass die sichtbare Schwankungsbreite davon abhängt, was man als richtige Antwort durchgehen lässt.
Bei Marken: Die Listen wackeln, die Auftauchrate nicht
Jetzt zu Daten, die näher am Marketing liegen. In einer Untersuchung von SparkToro und Gumshoe haben 600 Freiwillige Empfehlungs-Prompts an ChatGPT, Claude und Googles KI geschickt — insgesamt 2.961 Durchläufe. Die Zahlen sind herrlich kontraintuitiv:
- Die Chance auf zweimal dieselbe Liste lag unter 1 %
- Dieselbe Liste in derselben Reihenfolge: rund 0,1 %
- Eine Marke mit hoher Sichtbarkeit tauchte in 97 % ihrer 71 Durchläufe auf
- Große Marken hielten stabil eine Auftauchrate (Visibility%) von 55–77 %
Das Ranking einer einzelnen Antwort ist fast Zufall. Die Auftauchrate über Wiederholungen ist erstaunlich stabil.
Noch ein Detail, das ich stark finde: Die 142 handgeschriebenen Prompts der Teilnehmer hatten eine semantische Ähnlichkeit von gerade mal 0,081 — jeder fragte völlig anders. Und trotzdem liefen die Antworten auf ähnliche Marken-Sets zusammen. Einzelne Listen zittern; die Gesamttendenz zeigt sich eben doch.
Fazit: Auftauchrate tracken, nicht das Tages-Ranking
Was heißt das jetzt konkret? Ein Teil des KI-Wackelns ist echt, ein Teil wird vom Messinstrument aufgebläht. Genau deshalb ist ein einmalig abgelesenes Ranking eine gefährliche Kennzahl — du kannst Zufall nicht von Tendenz unterscheiden.
Für die Marketing-Praxis ist der stabilere Weg: dieselbe Frageabsicht wiederholt stellen und die Auftauchrate zur Hauptmetrik machen — mit einer Bewertung, die sinngleiche Antworten gelten lässt, statt auf exakte Übereinstimmung zu bestehen. Wie weit sich diese Ergebnisse verallgemeinern lassen, müssen weitere Studien zeigen. Aber der Blickwechsel von „die KI schwankt, also unbrauchbar” zu „die Schwankung ist gesetzt — miss drumherum” ändert schon jetzt, welche Zahl du ins Reporting schreibst.
Quellen
