„So genau, wie die Zahl aussieht, wird sie schon sein” — oder?
Öffne mal ein beliebiges KI-Sichtbarkeits-Tool oder einen dieser LLM-Evaluations-Reports (LLM = Large Language Model, das Modell hinter ChatGPT und Co.). Da stehen inzwischen überall superfeine Zahlen: „12.847 Prompts im Monat”, „Genauigkeit um 7,3 % gesunken”. Klingt nach Laborkittel und Messschieber.
Ging mir am Anfang genauso. Je mehr Nachkommastellen, dachte ich, desto seriöser die Zahl.
Nur: Im KI-Bereich bröckelt das „fein = korrekt” ziemlich schnell. Die Anzeige ist auf die Nachkommastelle genau, aber die Art, wie da gemessen wurde, gibt diese Genauigkeit oft gar nicht her.
Und genau das siehst du der Zahl von außen nicht an.
Ob sie „präzise gemessen” oder „präzise angezeigt, aber grob geschätzt” ist, verrät sie dir halt nicht. Da bin ich der Sache mal nachgegangen — mit drei Arbeiten als Wegweiser.
„Pseudo-Präzision” — was steckt hinter dem Wort?
Der Begriff, um den sich hier alles dreht, heißt Pseudo-Präzision. Pseudo-Präzision heißt im Kern: eine Zahl, die präzise aussieht, deren Messmethode diese Präzision aber gar nicht sichert.
Stell dir eine Personenwaage vor, die um ±3 kg schwankt — und dir trotzdem „62,347 kg” anzeigt. Die drei Nachkommastellen sehen exakt aus, verdienen aber kein bisschen Vertrauen. Bei KI-Kennzahlen läuft’s genau gleich.
Schön beobachten kann man das am „Prompt-Suchvolumen”. Die Analyse von jaeckert-odaniel zeigt, woran es hakt: Die Daten stammen aus Clickstream- und Panel-Schätzungen und hängen stark an Desktop-Chrome.
Heißt konkret: Die Nutzung in den Mobil-Apps fällt hinten runter. Und die Leute mit so einer Browser-Erweiterung sind eh eher tech-affin, männlich, Fachkräfte — nicht der Durchschnitt.
Rechnet man von dieser schiefen Stichprobe auf alle hoch, wächst die Verzerrung einfach mit. Auf dem Bildschirm steht am Ende trotzdem eine schöne, glatte Ganzzahl.
Sprich: hübsch angezeigt, im Kern aber grob geschätzt.
Kippt die KI wirklich bei jeder Umformulierung um?
Das betrifft nicht nur Suchvolumen. Klar, ein Suchvolumen und ein LLM-Bewertungs-Score sind zwei Paar Schuhe. Aber das Grundproblem ist dasselbe: Ohne Blick auf die Messbedingungen tappst du in dieselbe Falle.
Hua und Kollegen haben in „Flaw or Artifact?” (EMNLP 2025) mal genau hingeschaut. Getestet wurden 7 große Sprachmodelle über 6 Benchmarks und 12 Templates.
Es geht um die sogenannte Prompt-Sensitivität — also das Phänomen, dass dieselbe Frage in anderer Formulierung ein anderes Ergebnis bringt. Und was kam raus?
Ein Großteil dieser „riesigen Leistungsschwankungen” ist eher ein Artefakt der Auswertungsmethode als eine echte Schwäche des Modells. Ein Artefakt ist ein scheinbares Ergebnis, das erst durch die Art des Messens entsteht.
Log-Likelihood und exakter Textabgleich haben die Unterschiede wohl größer aussehen lassen, als sie sind. Wechselt man zu LLM-as-Judge — die KI bewertet die Antwort selbst —, sinkt die Streuung, und die Rangfolge der Modelle wird konsistenter.
Heißt: Was nach „die KI kippt schon bei einem anderen Wort um” aussah, war zu großen Teilen die Messung, nicht das Modell.
Welchen Zahlen darf ich dann überhaupt noch trauen?
Also alle KI-Zahlen ab in die Tonne? Nein, natürlich nicht. Eine gut gebaute Kennzahl ist echt wertvoll — man muss halt nur wissen, woran man eine erkennt.
Errica und Kollegen schlagen dafür zwei Metriken vor: Sensitivität und Konsistenz. Die Sensitivitäts-Metrik misst, wie stark sich die Vorhersagen bei einer Umformulierung ändern — und das sogar ohne Ground-Truth-Labels, also ohne dass man die „richtige” Antwort vorher kennen muss. Ganz schön praxistauglich.
In derselben Arbeit liegt die Genauigkeitsschwankung durchs Paraphrasieren bei 3,2 % bis 10 %.
Die Zahl auswendig zu lernen, bringt dir wenig. Wichtiger ist die Frage dahinter: Sind Definition, Reproduzierbarkeitsbedingungen und Vergleichsachse sauber angegeben? Und passen die angezeigten Stellen zur — also zur kleinsten Einheit, die die Methode überhaupt unterscheiden kann?
Denn ist die Messauflösung gröber als die angezeigten Nachkommastellen, dann sind die Nachkommastellen halt Zierde. Eine Zahl ohne sichtbare Quelldaten, Stichprobe und Rechenweg bleibt darum ein Richtwert — egal, wie fein sie tut.
Fazit: Erst die Herkunft der Zahl prüfen, dann der Nachkommastelle glauben
Die Nachkommastelle in einem KI-Dashboard sieht nach Präzision aus. Ob dahinter Clickstream, Panel, echte Logs oder ein Experiment steckt, sieht man ihr aber nicht an — und genau das entscheidet, ob sie was taugt.
Meine Reihenfolge ist deshalb simpel. Erst schaue ich, aus welchen Daten die Zahl kommt und ob sie reproduzierbar ist. Steht dazu nichts, wandert die Zahl eben nicht auf den Platz des Haupt-KPI (KPI = die Kennzahl, an der du den Erfolg festmachst).
Und in der Entscheidung lese ich sie nie allein, sondern neben reproduzierbaren Kennzahlen — der Auftauchrate über mehrere Modelle oder dem Trend über die Zeit. So zieht dich die hübsche Nachkommastelle nicht am Nasenring durch die Manege.
Die gute Nachricht bleibt ja: KI-Sichtbarkeit lässt sich sauber messen, wenn Definition, Bedingungen und Auflösung zusammenpassen. Dann wird aus der Zahl auch ein Wachstumshebel und nicht bloß Deko.
Willst du die konkrete Falle beim Prompt-Suchvolumen zuerst sehen? Dann lies als Nächstes „4.200 Prompts im Monat”: Kann man dieser Zahl bei der KI-Sichtbarkeit eigentlich trauen? — da wird genau dieser eine Wert im Detail auseinandergenommen.
Quellen
- jaeckert-odaniel.com, „Prompt search volume: Real data or all guessed?”, 2025-12-16, Link
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, „Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025 Main Conference, arXiv:2509.01790
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, „What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
Verwandte Beiträge
- Beitrag zum Prompt-Suchvolumen — warum diese eine Zahl aus schiefen Panels stammt und höchstens als Richtungspfeil taugt.
- Antwortet die KI wirklich jedes Mal anders, oder misst du nur falsch? — wie viel der berühmten KI-Schwankung eigentlich aus dem Messinstrument kommt.
