„Die KI kennt uns doch, warum kriegt sie es dann trotzdem falsch hin?”
Du fragst ChatGPT nach deiner eigenen Firma, und was zurückkommt, ist fast richtig.
Das Gründungsjahr liegt ein Jahr daneben. Das Hauptprodukt wird so beschrieben, wie es vor zwei Repositionierungen mal war. Und das alles steht ja wortwörtlich auf eurer Über-uns-Seite. Da, wo es jeder lesen kann.
Ging mir genauso. Ich hab mal den kompletten Firmentext in einen Chat gekippt, dann nach dem Gründungsjahr gefragt — und bekam mit voller Überzeugung eine Zahl, die ich zehn Sekunden vorher selbst reingegeben hatte. Nur eben um ein Jahr verschoben.
Das Ding ist aber: Noch merkwürdiger wird es, wenn du die Frage umdrehst. Beschreib deine Firma korrekt — Branche, Spezialgebiet, Kundschaft — und frag, um welche Firma es sich handelt. Ein Mensch sagt „ach, das klingt doch nach den und den”. Das Modell schweigt.
Zwischen dem, was in den Trainingsdaten steckt, und dem, was hinten rauskommt, klafft also eine Lücke. Genau die hat sich ein Forschungsteam mit einem bewusst künstlichen Experiment vorgenommen.
Erfundene Menschen, mit Absicht auswendig gelernt
Die Arbeit gehört zur Reihe Physics of Language Models von Zeyuan Allen-Zhu und Kolleginnen und Kollegen bei Meta FAIR. Der Name ist Programm: Die Physik hat ihre Gesetze aus möglichst nackten Experimenten gezogen, also macht man das mit Sprachmodellen genauso — unter kontrollierten Bedingungen statt mit dem, was das Internet halt so hergibt.
Der Kniff dabei: Das Team hat einen großen Stapel Lebensläufe für Menschen geschrieben, die es gar nicht gibt. Bei echten Promis kannst du nie ausschließen, dass das Modell die Antwort irgendwo anders aufgeschnappt hat. Bei erfundenen Personen weißt du exakt, was es weiß — die Lebensläufe, die du reingegeben hast, und sonst nichts.
Danach wurde auf diesen Lebensläufen trainiert und abgefragt: Geburtstag, Arbeitgeber, solche Sachen. Gemessen wurde, wie oft die richtige Antwort kam, während man die Bedingungen variierte.
Gemerkt hat es sich das Modell schon. Rauskriegen ist die andere Frage
Und was kam raus? Das erste Ergebnis hat mich am meisten überrascht.
Wenn jeder Lebenslauf in einer einzigen sauberen Vorlage geschrieben war, konnte das Modell die Fragen dazu praktisch gar nicht beantworten.
„Extraktion” heißt in dieser Forschung im Kern: einen gelernten Fakt auf Zuruf wieder rausholen, wenn jemand danach fragt. Und das Auswendiglernen selbst hat funktioniert, die Information war drin. Sie kam nur nicht, wenn man sie rief.
Kennst du das, wenn dir ein Name auf der Zunge liegt und trotzdem nicht rauswill? Ungefähr so sieht das aus.
Was das Modell dann doch noch zum Reden bringt
Was hilft also dagegen? Was das Team als wirksam identifiziert hat, war die Vielfalt der Formulierungen beim Lernen. Derselbe Fakt in anderer Wortstellung, in einem anderen Satzbau, in einem anderen Umfeld, immer wieder. Dann rückt das Modell den Fakt auch in Frageform flüssig raus.
Blieb die Formulierung dagegen ein einziges Schema, half nachträgliches Zusatztraining kaum noch.
Ob ein Fakt später abrufbar ist, entscheidet sich weitgehend schon beim Lernen.
Warum die KI vom Merkmal aus kaum zu euch zurückfindet
Der Nachfolger der Reihe schaut sich an, was ein Modell mit vorhandenem Wissen anstellen kann. Denn manche Nutzungsarten gehen leicht, andere scheitern strukturell.
Leicht geht das schlichte Nachschlagen. „Wann hat A Geburtstag?” — gespeicherten Fakt greifen, ausgeben, fertig. Sobald aber mehrere Fakten nebeneinandergelegt und sortiert oder verglichen werden müssen, bricht die Genauigkeit deutlich ein, solange das Modell seine Zwischenschritte nicht ausschreiben darf.
Am schlechtesten lief die Rückwärtssuche. Merkmale rein, Frage nach der zugehörigen Person — die Leistung lag nahe null. Sprich: eine Tür, die sich nur von einer Seite öffnen lässt. Und das war selbst bei Modellen auf GPT-4-Niveau nicht anders.
Vorwärts geht das, rückwärts fällt alles um.
„Kennen” und „sagen können” sind da drin zwei Paar Schuhe
Legt man die Befunde nebeneinander, zeigt sich eine Linie. Für ein Modell sind Wissen haben und Wissen ausgeben können zwei verschiedene Eigenschaften, nicht dieselbe Sache mit zwei Namen.
Bei uns Menschen ist das eben nicht so, und genau daher kommt der Denkfehler. Wer etwas weiß, sagt es doch auf Nachfrage. Also schließen wir gedanklich: „steht in den Trainingsdaten” heißt „die KI kann das beantworten”. Diese Studien ziehen unter diese Annahme einen dicken Strich.
Der Hebel — und das ist der Teil, den du dir merken solltest — ist die Bandbreite der Formulierungen, in denen ein Fakt aufgetaucht ist. Ein Modell lernt weniger einen Satz auswendig als vielmehr den Fakt, der über viele verschiedene Wortlaute hinweg immer wieder auftaucht. Und genau den kann es zurückgeben.
Heißt, nicht nur die Menge der Erwähnungen zählt, sondern auch ihre Vielfalt.
Fazit: Lass nicht eine einzige Formulierung die ganze Arbeit machen
Was heißt das jetzt konkret für Marketing, PR und Brand?
Der erste Punkt: Eure wichtigen Fakten müssen da draußen in mehreren Stimmen und Kontexten existieren. Eine korrekte Zeile im Unternehmensprofil ist halt nicht die Ziellinie. Pressemeldungen, erklärende Artikel, FAQ-Seiten, Erwähnungen durch Dritte — dass derselbe Fakt in unterschiedlichem Gewand wieder auftaucht, ist nach dieser Forschung die Bedingung dafür, dass daraus abrufbares Wissen wird statt totem gespeichertem Text.
Der zweite Punkt betrifft die Rückwärtssuche. Wenn jemand fragt „welche Anbieter machen X?” oder „wer ist in der Branche für Y bekannt?”, ist das genau die Richtung, in der Modelle schwach sind — selbst wenn ihr sachlich perfekt passt. Deshalb bringt Sichtbarkeit, die euren Namen direkt mit dem Merkmal verknüpft, mehr als die Hoffnung, die KI schlussfolgere sich schon zu euch zurück.
Und darüber liegt eine unspektakuläre, aber tragende Gewohnheit: nachschauen statt vermuten. Was ein Modell tatsächlich über euch ausgibt, und bei welcher Frageform, lässt sich von außen nicht herleiten. Man misst es, ändert die Art, wie die Fakten rausgehen, und schaut wieder hin. Das ist der Schritt zwischen „die KI kennt uns” und „die KI erzählt es richtig”.
