„Wie viel von unserem Fachgebiet kann ich der KI eigentlich überlassen?“
Je tiefer du in den KI-Einsatz kommst, desto schwerer wiegt diese Frage. Du hast deine Produktdaten und dein Branchenwissen ins Modell gekippt – und die Antwort trifft trotzdem daneben.
Mir ging’s genauso naiv los: „Daten rein, dann antwortet sie schon.“ In der Praxis passiert ständig das Gegenteil – „müsste sie eigentlich wissen, gibt sie aber nicht raus“.
Genau diese Lücke nimmt Physics of Language Models, Part 3 (3.1 bis 3.3) mit kontrollierten Experimenten auseinander.
Der Kern: Es sind drei getrennte Wände. Wie du lehrst, wie du fragst, und wie viel reinpasst.
Wand 1: Ein Fakt in nur einer Formulierung bleibt nicht hängen
Der erste Befund ist angenehm praxisnah. Die KI ruft denselben Fakt schlechter ab, wenn er nur in einer einzigen, festen Formulierung auftaucht.
Die Forscher nutzten synthetische Biografie-Daten und verglichen: denselben Fakt einmal geben – oder ihn in verschiedenen Formulierungen und Reihenfolgen wiederholen.
Das Ergebnis war eindeutig. Mit nur einer Formulierung bewegte sich die Genauigkeit kaum. Mischte man Umformulierungen und umgestellte Varianten dazu, stieg die Abruf-Genauigkeit.
Genau deshalb ist „den Originaltext einmal in den RAG kippen, fertig“ schwach. Eine Zusammenfassungs-Version, eine FAQ-Version, eine Stichpunkt-Version – dasselbe aus mehreren Blickwinkeln zu zeigen, ist das, was zieht.
Wand 2: Dreh die Frage um, und die Genauigkeit bricht weg
Die zweite Wand ist die Richtung, aus der du fragst. Eine Vorwärts-Frage beantwortet das Modell sauber, doch bei einer sackt die Genauigkeit tendenziell ab.
Denk an „Auf welcher Universität war A?“ – mühelos beantwortet – gegen „Wer war auf der Uni X?“, wo es kippt. Gleicher Fakt, umgekehrte Richtung.
Das schlägt im Support und bei Produktempfehlungen unbemerkt durch. Wenn die echten Fragen mit der Bedingung statt mit dem Subjekt beginnen, verlierst du Antworten, solange du es nicht einplanst.
Wand 3: Es gibt eine Decke dafür, wie viel sie wissen kann
Die dritte Wand ist die Kapazität. Part 3.3 zeigt ein Skalengesetz, das die Parameterzahl mit der Menge an Wissen verknüpft, die ein Modell halten kann.
Kurz: Größer heißt nicht unendlich mehr Speicher. Das Modell hochzuskalieren erhöht die Kapazität – aber direkt gekoppelt an die Kosten.
Deshalb lohnt es sich zunehmend, die Arbeit auf einen RAG-Aufbau und einen klar abgegrenzten Geltungsbereich aufzuteilen, statt alles ins Modell selbst pressen zu wollen.
Fazit: Starte deinen RAG mit „mehr Formulierungen“ und „Frage umschreiben“
Wenn die KI auf Wissen, das du ihr gegeben hast, nicht antwortet, ist der Sprung zu „das Modell ist schwach“ verfrüht. Wie diese Forschung zeigt, liegt es nicht nur daran, wie viel sie weiß – sondern daran, ob die gespeicherte Formulierung und die Formulierung deiner Nutzer zusammenpassen.
Bei RAG und internen Wissensbasen: Registriere einen Schlüssel-Fakt nicht als einen einzigen Satz. Halte ihn in mehreren Formen – Zusammenfassung, FAQ, Stichpunkte. Und wenn eine echte Frage scheitert, schreib die Frage selbst in eine schlichte Vorwärts-Bestätigung um und frag erneut. Diese unspektakulären Anpassungen ziehen oft, bevor ein Modellwechsel überhaupt etwas bringt.
Quellen
- Zeyuan Allen-Zhu, Yuanzhi Li, „Physics of Language Models: Part 3.1, Knowledge Storage and Extraction“, arXiv:2309.14316, 2023. Link zum Paper
- Zeyuan Allen-Zhu, Yuanzhi Li, „Physics of Language Models: Part 3.2, Knowledge Manipulation“, arXiv:2309.14402, 2023. Link zum Paper
- Zeyuan Allen-Zhu, Yuanzhi Li, „Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws“, ICLR 2025. Link zum Paper
- Physics of Language Models – die gesamte Reihe: Projektseite
Verwandte Artikel
- Wenn die KI „nachdenkt“ – tut sie das wirklich? — die echte Reichweite und Grenze des Schlussfolgerns
