Du gibst ChatGPT die langweilige Hälfte einer Wettbewerbsrecherche, und zurück kommt ein Absatz ohne den kleinsten Zweifel.
Und du lehnst dich zurück. Kennst du das? Passiert halt ganz automatisch.
Nur: Der teure Fehler ist nicht die KI, die „weiß ich nicht” sagt. Der teure Fehler ist die KI, die sich mit fester Stimme irrt. Ein bisschen wie der Kollege, der die Folien vergessen hat, aber mit dem Laserpointer eine echte Wucht ist. Sicheres Auftreten überzeugt eben auch ohne Inhalt.
Die Frage ist also: Ist diese Sicherheit reine Bühne? Oder sitzt da drin wirklich etwas, das die eigene Antwort bewertet?
Genau dem sind drei Arbeiten mal nachgegangen. Kurzfassung schon vorweg: Die Sicherheit gibt es wirklich, nur ist sie kein Messgerät für Richtigkeit. Schauen wir uns die Lücke an.
„Meint die KI das ernst, oder sagt sie es nur so?”
Fangen wir bei Google DeepMind an, mit „How do LLMs Compute Verbal Confidence?” (Quelle). Untersucht wurden Gemma 3 27B und Qwen 2.5 7B. Die Frage dahinter: Wenn ein Modell in Worten sagt, wie sicher es sich ist — woher kommt dieser Wert eigentlich?
Spannend ist ja vor allem die Methode. Das Team hat den Informationsfluss im Modell Stück für Stück gekappt und vertauscht und so den Weg des Sicherheits-Signals nachverfolgt.
Und dieses Signal wird nicht hinterher dazugedichtet. Es entsteht an der Position der Antwort, wird direkt danach zwischengelagert und wieder hervorgeholt, wenn die Sicherheit in Worte gefasst wird.
Heißt, da drin läuft eine echte Selbsteinschätzung. Kein Theater.
Damit liegt der nächste Schritt nahe: einfach nach der Sicherheit fragen. Nur wird’s genau hier teuer, wenn man dann stehen bleibt.
Nur: Ton und Zweifel laufen auseinander
Die Meta-Arbeit „Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations” (Quelle, EMNLP 2025) misst den Abstand zwischen zwei verschiedenen Dingen.
Das eine ist die verbale Unsicherheit: wie unsicher die Antwort klingt. Das andere ist die semantische Unsicherheit: wie weit die Maschine intern zwischen den möglichen Antworten streut.
Manchmal schwankt das Modell innerlich und sagt die Sache trotzdem im Brustton der Überzeugung. Manchmal windet es sich mehr, als es müsste.
Und dieser Abstand sagt vorher: Je weiter Ton und innerer Zustand auseinanderliegen, desto eher stimmt die Antwort nicht.
Der Tonfall ist damit ein Hinweis auf den inneren Zustand — der Zustand selbst ist er nicht.
Und was passiert, wenn man an dieser Stelle eingreift?
Es gibt nämlich auch eine gute Nachricht. Greift man zur Laufzeit gezielt in die verbale Unsicherheit ein, sinken selbstsichere Halluzinationen bei Kurzantworten im Schnitt um rund 30 %.
Das ist halt Labor, nicht der Tab in deinem Browser. Dass dein Werkzeug so etwas eingebaut hat, würde ich erstmal nicht voraussetzen.
Sprich: Wenn du liest, was eine KI über eine Marke erzählt — deine oder die vom Wettbewerb —, ist die nützliche Frage nicht, ob sie sich sicher gab.
Sondern ob das Ding so gebaut ist, dass es zeigt, was es nicht weiß.
Überschätzung ist nicht bloß eine Sprechgewohnheit
Noch eine Ebene tiefer geht das „Wired for Overconfidence” von 2026 (Quelle): Es verfolgt falsche, aber selbstsichere Antworten bis auf die Schaltungsebene. Zwei Modelle, Qwen2.5-3B-Instruct und Llama-3.2-3B-Instruct. Drei Datensätze: PopQA, MMLU und NQOpen.
In den mittleren bis späten Schichten finden die Autoren Bauteile, die die geäußerte Sicherheit aufblähen — sie nennen das den „Confidence Mover Circuit”.
Und was kam raus, als sie genau dort eingegriffen haben? Gemessen wird das am ECE (Expected Calibration Error), sprich: am durchschnittlichen Abstand zwischen behaupteter Sicherheit und tatsächlicher Trefferquote.
Und der Abstand schrumpfte in allen drei Datensätzen:
- Bei PopQA sank der ECE um 40 bis 97 %, der Brier-Score verbesserte sich um 43 bis 70 %.
- Bei MMLU sank der ECE um 33 bis 57 %.
- Bei NQOpen um 81 bis 83 %.
„Erklärt dieser eine Schaltkreis jetzt alles?”
Die Namen der Kennzahlen musst du dir übrigens nicht merken. Entscheidend ist, dass der Abstand zwischen behaupteter Sicherheit und tatsächlicher Trefferquote kleiner wurde — und zwar, indem ganz bestimmte Bauteile angefasst wurden.
Doch Vorsicht mit der schnellen Deutung. „SCIURus” von der NAACL 2025 (Quelle) legt nahe, dass Unsicherheit und Faktentreue aus geteilten Teilen desselben Netzes kommen.
Wohlgemerkt: Die Arbeiten schauen eben auf leicht verschiedene Phänomene. „Ein Überschätzungs-Schaltkreis erklärt alles” ist deshalb mehr, als bisher jemand gezeigt hat.
Trotzdem bleibt der tragende Punkt: Überschätzung ist wohl eine Eigenschaft der Mechanik, keine Stil-Macke.
Daraus wird ein Auswahlkriterium für Tools: nicht nur „zeigt es überhaupt ein Sicherheitsniveau an?”, sondern „wogegen wurde dieses Niveau eigentlich geprüft?”.
Fazit: Der sichere Ton löst eine Prüfung aus, keine Übernahme
In der Sicherheit einer KI steckt also durchaus ein Signal. Von einer Garantie ist sie trotzdem weit entfernt. Behandle den bestimmten Ton deshalb als Aufforderung — erst prüfen, dann verwenden —, nicht als Grund, ihn zu übernehmen.
Bevor ein Satz in eine Präsentation wandert, schau in der Antwort nach drei Dingen: Quellenlink, Datum der Erhebung und ein ausdrückliches „das konnte ich nicht belegen”. Was das Modell nicht belegen kann, kommt nicht in den Fließtext, sondern in eine Klärungsnotiz.
Und stell dieselbe Frage ruhig mehrfach, über mehrere Modelle hinweg. In die Entscheidung geht dann nur das ein, was diese Runde übersteht. Denn gegen einen sehr bestimmten Ton hilft nichts so gut wie der Beweis, dass er sich schlicht nicht wiederholen lässt.
Wenn du das Urteil von innen heraus aufbauen willst, ist Versteht die KI wirklich – oder klingt sie nur klug? Wir schauen ins Innere der passende Anschluss.
Quellen
- Kumaran, D. et al. (Google DeepMind), „How do LLMs Compute Verbal Confidence?”, arXiv:2603.17839, 2026, arxiv.org
- Ji, Z. et al. (Meta), „Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations”, EMNLP 2025, arXiv:2503.14477, arxiv.org
- Teplica, C. et al. (NYU), „SCIURus: Shared Circuits for Interpretable Uncertainty Representations in Language Models”, NAACL 2025, aclanthology.org
- Zhao, T. et al. (University of Virginia), „Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs”, arXiv:2604.01457, 2026, arxiv.org
