Du sitzt im Reporting, tippst deine Branchen-Frage in ChatGPT — und da steht eine schöne Markenliste. Zehn Minuten später fragst du nochmal, fast gleicher Wortlaut. Und plötzlich: ganz andere Namen, andere Reihenfolge.
In dem Moment macht’s im Kopf klick. „Wenn das Ding eh jedes Mal was anderes ausspuckt, kann ich mir das Messen auch sparen.”
Ging mir genauso. Das ist der Reflex, mit dem die meisten Marketer das Thema KI-Sichtbarkeit — also wie oft und in welchem Licht KI-Modelle deine Marke nennen — direkt wieder zumachen.
Aber das Aufgeben ist verfrüht. Denn „die Antwort schwankt halt stark” ist eine Annahme. Keine Messung.
Schauen wir uns also drei Sachen an: wie stark eine umformulierte Frage wirklich wackelt, ob das Schwanken überhaupt echt ist — und was bei fast 3.000 echten Abfragen rauskam.
„Eben kam noch eine andere Marke” — wie stark wackelt die Antwort wirklich?
Erste, naheliegende Frage: Wenn du dieselbe Sache nur ein bisschen anders formulierst, wie weit verschiebt sich das Ergebnis? Nicht ob — ein bisschen tut es das immer —, sondern wie weit.
Ein Team um Errica hat das mal festgenagelt (Errica et al., NAACL 2025). Der Fachbegriff dafür ist Prompt-Sensitivität — heißt im Kern: wie stark sich die Vorhersage des Modells verschiebt, wenn du den Prompt umformulierst, also dasselbe mit anderen Worten sagst.
Und was kam raus? Über mehrere Modelle hinweg lag die Variation durch Umformulierung bei 3,2 bis 10 Prozent. Nicht null. Aber meilenweit weg von „einmal umformuliert und alles bricht zusammen”.
Und der nützlichere Fund steckt im Detail: Den Ausschlag gab nicht die oberflächliche Formulierung, sondern die Bedeutungsstruktur dahinter — was du das Modell eigentlich fragst.
Sprich: Das eine Wort ist nicht das rote Kabel, das beim Entschärfen alles in die Luft jagt. Was zählt, ist, ob klar ist, was du überhaupt wissen willst.
Vielleicht schwankt gar nicht die KI, sondern dein Messgerät
Jetzt die unbequemere Frage, aus einer Studie von Hua und Kollegen (Hua et al., EMNLP 2025). Sie haben sieben große KI-Modelle über sechs Benchmarks und zwölf Vorlagen durchgemessen und gefragt: Ist das viele Schwanken echt — oder bastelt es sich die Bewertungsmethode selbst zusammen?
Die Antwort ist unangenehm ehrlich. Ein großer Teil der scheinbaren Variation war ein Artefakt der Messung. Artefakt heißt hier: ein Effekt, der gar nicht im Modell steckt, sondern erst durch die Art entsteht, wie du misst.
Der Knackpunkt war das Bewertungsprotokoll — also das ganze Regelwerk, wie man dasselbe Ziel bewertet und vergleicht. Zwei alte Verfahren standen auf dem Prüfstand:
- Log-Likelihood — bewerten nach der Wahrscheinlichkeit, die das Modell jeder Antwort intern zuweist, statt nach der Antwort, die es tatsächlich gibt.
- Exakter Text-Abgleich — die Antwort zählt nur, wenn sie Zeichen für Zeichen mit der Musterlösung übereinstimmt.
Ging man stattdessen zu LLM-as-Judge über — ein fähiges Modell entscheidet, ob zwei Antworten dasselbe meinen —, sank die Varianz, und die Rangfolgen wurden stabil.
Heißt: Das Bewertungsprotokoll bewegte die Ergebnisse stärker als das Modell selbst. Ein Teil von „die KI ist instabil” war nie die KI. Es war das Lineal.
2.961 echte Abfragen: Der Rang tanzt, die Erscheinungsrate steht
So weit das Labor. Aber wie sieht’s draußen aus, mit echten Menschen und echten Marken-Fragen? Genau das hat Rand Fishkin mit SparkToro und Gumshoe gemessen (SparkToro/Gumshoe).
600 Leute haben drei KIs befragt, zusammen 2.961 Abfragen. Und das Chaos ist real: Dieselbe Liste exakt reproduziert? In unter 1 Prozent der Fälle. Gleiche Reihenfolge? Rund 0,1 Prozent.
Wenn du also den Rang aus einer einzelnen Antwort abliest — „wir stehen auf Platz 3” —, dann liest du im Grunde Würfelwürfe.
Aber jetzt kommt der Dreh. Schau nicht auf den Rang, sondern auf die Erscheinungsrate — also wie oft eine bestimmte Marke über viele Abfragen überhaupt auftaucht. Auf einmal wird’s stabil.
Eine Marke mit hoher Sichtbarkeit kam in 97 Prozent von 71 Abfragen vor.
Der Rang schwankt also, klar. Aber „wie oft tauchst du auf” lässt sich sauber verfolgen. Und genau das ist die Zahl, die du brauchst.
Fazit: Erst die zwei Schritte festlegen, dann die Rate lesen — nicht den Rang
Was die drei Sachen zusammen zeigen: Die KI-Antwort ist nicht so wackelig, wie es im Reporting beim ersten Hinschauen wirkt. Und wo sie wackelt, liegt’s oft am Messen, nicht am Modell.
Für deine Praxis heißt das vor allem eins: Leg die ersten beiden Schritte fest, bevor du irgendeine Zahl anschaust. Erstens das Fragendesign — welche Fragen du der KI stellst und in welcher Formulierung. Zweitens die Aggregationsbedingungen — wie viele Wiederholungen, über welchen Zeitraum, wie gerechnet wird.
Und dann der eigentliche Hebel: Lies eine einzelne Antwort nicht wie eine Ranking-Tabelle. Schau auf die Erscheinungsrate über wiederholte Abfragen unter gleichen Bedingungen.
Wenn du dir ein Tool dafür anschaust, stell genau diese Fragen: Legt es die Zahl der Wiederholungen offen? Wie aggregiert es die Erscheinungsrate? Über welchen Vergleichszeitraum? Ein hübsches Ranking-Dashboard, das seine Methodik nicht zeigt, sollte nicht der Haupttreiber deiner Entscheidungen sein.
Der Rang darf ruhig tanzen. Du misst, wie oft du auf der Bühne stehst.
Quellen
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
- Fishkin, R. (SparkToro / Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products”, 2025, sparktoro.com
