„Ich habe die KI nach unserem Firmenprofil gefragt, und die Zahlen stimmten nicht”
Kennst du diese Meldung im Postfach?
Ich habe sie früher mit einer bequemen Erklärung abgeräumt: Das Modell hat vorher aufgehört zu lernen, klar weiß es das nicht.
Nur war die Zahl, die an dem Tag danebenlag, drei Jahre alt und die ganze Zeit veröffentlicht.
Wenn ausgerechnet Älteres festsitzen sollte, warum trifft es dann bei der einen Firma und bei der nächsten nicht?
Jemand hat über 197.000 Fragen zu US-börsennotierten Unternehmen gestellt und jede Antwort mit den offiziellen Angaben abgeglichen.
Wie gut kennt eine KI die Geschäftszahlen eines Unternehmens?
Es hängt an der Größe des Unternehmens und daran, wie lesbar die veröffentlichten Unterlagen sind.
Agam Shah und vier Mitautoren am Georgia Institute of Technology stellten Modellen über 197.000 Fragen zu Finanzdaten US-börsennotierter Unternehmen und glichen jede Antwort einzeln mit den offiziellen Zahlen ab (2025 veröffentlicht, angenommen bei COLM 2025, arXiv:2504.00042).
Größere Unternehmen, solche mit mehr Aufmerksamkeit von Investoren und solche mit schlichter geschriebenen Unterlagen wurden genauer beantwortet.
Dieselbe Studie fand: Je größer das Unternehmen und je aktueller das Geschäftsjahr, desto häufiger erfand das Modell mit voller Überzeugung falsche Zahlen.
Richtig gekannt zu werden und nicht erfunden zu werden, sind zwei verschiedene Dinge.
Die Annahme „vor dem Stichtag weiß es Bescheid” nachgemessen
Der Trainingsstichtag markiert nur, bis wann das Material reicht, aus dem ein Modell gelernt hat. Dass es bei allem danach wackelt, ist bekannt.
Gemessen hat diese Studie das, was davor liegt.
Das Vorgehen ist schlicht. Über 197.000 Fragen zu Finanzposten US-börsennotierter Unternehmen bauen und jede Antwort einzeln gegen die offizielle Angabe halten.
Danach prüfen, wie vier Signale mit der Trefferquote laufen: Marktkapitalisierung, Aufmerksamkeit von Privatanlegern, Aufmerksamkeit institutioneller Anleger und Lesbarkeit der Unterlagen.
Als Erstes zerbrach die Annahme, alles vor der Linie sei bekannt. Je weiter das Geschäftsjahr zurücklag, desto niedriger die Trefferquote.
Den Unterschied machten Größe — und Lesbarkeit
Bei großen Unternehmen stimmen die Zahlen häufiger. So weit hätten das die meisten getippt.
Interessant ist, dass die Lesbarkeit der Unterlagen neben der Marktkapitalisierung ins Gewicht fiel. Gleiche Größe, andere Schreibweise, anderes Ergebnis.
Das Lesbarkeitsmaß bewertet im Kern, ob ein Dokument in schlichten Sätzen geschrieben ist und die Zahlen dort stehen, wo man sie ablesen kann.
Und das ist eine Stellschraube, an der ein Unternehmen wirklich drehen kann. Die Marktkapitalisierung lässt sich heute nicht erhöhen. Die Kernaussagen der Zahlen heute in klarem Text und lesbaren Ziffern neu zu schreiben, schon.
Das war für mich der befreiendste Punkt der ganzen Studie.
Der Befund zur Investorenaufmerksamkeit zeigt in dieselbe Richtung: Was Menschen oft lesen und zitieren, bleibt auch auf der Modellseite eher hängen.
Das Paradox: Über größere Firmen wird mehr erfunden
Hier hört die reine gute Nachricht auf. Bei größeren Unternehmen und aktuelleren Geschäftsjahren stiegen die Halluzinationen.
Halluzination heißt hier: Das Modell antwortet mit einem Sachverhalt, den es nicht gibt, und klingt dabei vollkommen sicher. Passiert das mit euren Zahlen, zitiert sie jemand von außen ungeprüft.
Weil mehr Material herumliegt, hört das Modell auf zu schweigen und baut etwas Plausibles zusammen. Wie die Prüfungskandidatin, die genau im bestgelernten Fach jede Lücke mit einer selbstbewussten falschen Antwort füllt, statt sie leer zu lassen.
Große Unternehmen sind also eher beides: genau gekannt und frei erfunden zitiert.
„Über uns weiß die KI genau Bescheid, also passt das schon” folgt daraus nicht.
Wie sich das von außerhalb der USA liest
Der Geltungsbereich sind Finanzdaten US-börsennotierter Unternehmen. Ob das auf andere Sprachräume, nicht börsennotierte Firmen oder nicht-finanzielle Unternehmensangaben übertragbar ist, zeigt die Studie nicht.
Auch das Lesbarkeitsmaß ist auf die Eigenheiten der Unterlagen zugeschnitten, die bei der US-Wertpapieraufsicht eingereicht werden. Ein anderes Offenlegungsregime muss denselben Maßstab nicht vertragen.
Die bewerteten Modelle und der Fragensatz sind Stand Veröffentlichung; ob das Muster nach Modell-Updates hält, gehört nachgeprüft.
Mit allen drei Einschränkungen bleibt eines übrig: Der Hebel, den das Unternehmen selbst in der Hand hat, war die Lesbarkeit seiner Veröffentlichungen.
Legt eure Zahlen dorthin, wo ein Modell sie lesen kann
Eine Handlung reicht zum Anfangen. Öffnet die Seite mit euren Ergebnissen und Zahlen und schaut, ob ein Modell sie lesen könnte.
Stecken Beträge und Stückzahlen nur in Bildern und Grafiken? Stehen Geschäftsjahr und Einheiten als Text im Fließtext? Diese zwei Punkte zu beheben verändert bereits das verfügbare Material.
Dazu gehört die Angewohnheit, Antworten mehrfach und über mehrere Modelle zu prüfen. Wenn eure Zahlen in einem Durchlauf richtig herauskommen, ist das Paradox oben damit nicht ausgeschlossen.
Richtig gekannt werden und nicht erfunden werden. Zwei getrennte Prüfungen — das ist das Mitzunehmende.
Quellen
- Agam Shah und vier Mitautoren (Georgia Institute of Technology), “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, veröffentlicht 2025, angenommen bei COLM 2025, arxiv.org (über 197.000 Fragen zu Finanzdaten US-börsennotierter Unternehmen, jede Antwort gegen die offiziellen Angaben geprüft. Die Trefferquote stieg mit Marktkapitalisierung, Aufmerksamkeit von Privatanlegern und institutionellen Anlegern sowie Lesbarkeit der Unterlagen und fiel bei älteren Geschäftsjahren. Halluzinationsraten stiegen bei größeren Unternehmen und aktuelleren Geschäftsjahren. Geltungsbereich sind Finanzdaten US-börsennotierter Unternehmen; das Lesbarkeitsmaß ist auf Einreichungen bei der US-Wertpapieraufsicht zugeschnitten; bewertete Modelle und Fragensatz sind Stand Veröffentlichung.)
