Du fängst im Job mit KI an, und es kommt immer dieselbe Sorge. „Wenn ich das ein bisschen falsch frage, kommt nur Müll raus.“ „Wir sollten lieber die richtigen Prompt-Vorlagen auswendig lernen.“
Versteh ich. Die Versuchung ist groß, eine Prompt-Sammlung rumzureichen und die ganze Firma darauf zu eichen.
Aber genau hier will ich mal kurz stoppen. Bevor wir den ganzen Betriebsaufwand draufpacken — Vorlagen, Schulung, die Prompt-Polizei —, hat eigentlich mal jemand nachgemessen, wie stark die Antwort überhaupt schwankt?
Denn „die schwankt halt stark“ ist eine Annahme. Keine Messung.
Schauen wir uns also zwei Studien an. Die eine setzt eine Zahl auf die Empfindlichkeit der Modelle. Die andere fragt, ob diese Empfindlichkeit überhaupt echt ist — oder ob unser Messgerät sie sich ausdenkt.
„Wenn ich’s ein bisschen falsch frage, ist dann alles im Eimer?“
Erst mal die naheliegende Frage: Wenn du einen Prompt umformulierst, wie stark ändert sich die Antwort? Nicht „ändert sie sich überhaupt“ — ein bisschen tut sie das immer —, sondern: wie stark?
Ein Team um Errica ist da konkret geworden (Errica et al., NAACL 2025). Sie haben zwei Maße aufgestellt, um das festzunageln:
- Sensitivität: wie stark sich die Vorhersage verschiebt, wenn man den Prompt umformuliert.
- Konsistenz: wie stabil die Vorhersagen über Umformulierungen derselben Eingaben bleiben.
Umformulieren heißt hier im Kern: paraphrasieren — gleicher Sinn, andere Worte. Sprich, du sagst genau dasselbe auf zwei Arten und schaust, ob das Modell zuckt.
Und was kam raus? Über mehrere Klassifikationsaufgaben lag der Genauigkeits-Ausschlag bei 3,2 bis 10%. Nicht null. Aber meilenweit weg von „ein falsches Wort und alles bricht zusammen“. Viele behandeln ihren Prompt, wie ein Sprengmeister das rote Kabel behandelt — und das Kabel geht halt fast nie hoch.
Es steckt aber noch ein nützlicherer Fund drin. Was den Ausschlag gab, war nicht die oberflächliche Wortstellung — es war die Bedeutung dahinter. Heißt: Worauf es ankommt, ist nicht die magische Formulierung. Es ist, klarzumachen, was das Modell eigentlich entscheiden soll.
Vielleicht ist nicht die KI wackelig — vielleicht ist unser Lineal krumm
Jetzt die schärfere Frage, aus einer Studie von Hua und Kollegen (Hua et al., EMNLP 2025). Sie fragen: Ist hohe Empfindlichkeit eine Schwäche des Modells — oder eine Täuschung, die die Bewertungsmethode erzeugt? Geprüft an sieben großen LLMs (den Sprachmodellen hinter ChatGPT), über sechs Benchmarks und zwölf Vorlagen.
Auf dem Prüfstand: zwei klassische Bewertungsverfahren.
- Log-Likelihood-Scoring (bewerten nach der Wahrscheinlichkeit, die das Modell jeder Antwort zuweist — nicht nach der Antwort, die es tatsächlich gibt).
- Exakter Text-Abgleich (die Antwort zählt nur, wenn sie Zeichen für Zeichen mit dem Lösungsschlüssel übereinstimmt).
Und beide markieren Antworten, die dasselbe bedeuten, als Fehler — und lassen das Modell dadurch viel zappeliger aussehen, als es ist. Nimmt man stattdessen LLM-as-Judge (ein fähiges Modell entscheidet, ob zwei Antworten dasselbe meinen), sank die Leistungs-Varianz, und die Rangfolgen wurden konsistenter.
Heißt: Ein Teil von „die KI ist instabil“ war nie die KI. Es war das Lineal. Und wenn das Lineal krumm ist, ist jede Messung damit auf dieselbe Weise falsch — beruhigend oder alarmierend, aber falsch.
Fazit: Prüf deine Bewertung, bevor du den magischen Satz jagst
Dass der Prompt das Ergebnis ändert, stimmt schon. Aber sein Leben mit der Suche nach der einen Zauberformel zu verbringen, ist nicht der Hebel. Was diese zwei Studien zeigen: Ein guter Teil von „der Prompt ist das Problem“ war in Wahrheit die Grobheit der Bewertung und der Exakt-Abgleich-Reflex, der alles aufbläht.
Das Erste, was du in deinem Setup prüfen solltest, ist also nicht die Formulierung — es ist, wie du die Antworten bewertest. Wertest du etwas als falsch, weil es nicht Zeichen für Zeichen passt, obwohl der Sinn stimmte? Wirfst du gute Antworten raus, weil sie nicht die erwartete Zeichenkette trafen? Reparier das, und ein Großteil des scheinbaren Wackelns beruhigt sich von selbst.
Danach darf deine interne Prompt-Regel erfrischend klein sein: nenn das Ziel, die Rahmenbedingungen und das Ausgabeformat — und dann hör auf. Vielleicht lieg ich bei der genauen Aufteilung daneben. Aber in dieser Reihenfolge lässt dich die Angst „frag ich falsch, ist alles hin“ ganz leise wieder los.
Quellen
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
