Fast jeder hat inzwischen mal den eigenen Firmennamen bei ChatGPT eingetippt. Einfach, um zu sehen, was zurückkommt.
Bei der einen Branche steht dein Name da. Bei der Branche nebenan: nichts. Ging mir genauso, und irgendwann wundert man sich halt schon gar nicht mehr.
Nur bleibt da eine Sache hängen: Wie entscheidet so ein Modell überhaupt, dass du „eine Firma von der Sorte” bist?
Denn wenn eine Struktur dahintersteckt, kann man daran arbeiten. Ist es Zufall, kann man es nicht. Das Ding ist: dazwischen liegen Welten.
Genau da hat ein Team das Modell mal aufgemacht. Der Sache bin ich nachgegangen.
Wie merkt sich eine KI, dass jemand „eine Software-Firma” ist?
Die Arbeit ist im April 2026 auf arXiv erschienen (R). Thema ist das , auf Deutsch die Bindung. Heißt im Kern: getrennte Informationen werden zu einem Paket verschnürt. „Firma Müller” und „Software-Anbieter” hängen zusammen und schwirren nicht als zwei lose Wörter herum.
Ohne das geht gar nichts. Weder ein Gespräch noch ein Absatz lässt sich verfolgen, wenn man nicht weiß, wer da eigentlich was gemacht hat. Im Schließen über Beziehungen sind Modelle ja längst richtig gut — nur konnte niemand sagen, wie sie innen drin diese Pakete schnüren.
Das Team ist es mit der angegangen. Sprich: Man zerlegt das Modell bis auf die Bauteile und schaut nach, welches davon die Antwort gemacht hat. Für dich im Marketing heißt das: Ein Mechanismus, den man benennen kann, ist einer, den man irgendwann auch messen kann.
Der Aufbau, grob:
- zwei Familien offener Modelle
- ein kontrollierter Datensatz mit Entitäten (Personen, Organisationen) und annotierten Relationen
- die Frage: Lässt sich allein aus den internen Signalen ablesen, um welche Entität und welche Relation es gerade geht?
Und was kam raus? Ein Karteischrank
Gefunden wurde: Ordnung. Deutlich mehr Ordnung, als ich erwartet hätte. Das Team nennt es Cell-based Binding Representation — eine Darstellung in Zellen: ein kleiner Unterraum, eine Zelle, pro Paar aus Entität und Relation.
Stell dir eine Wand voller Schließfächer vor. „Firma Müller, Relation 1” hat ihr Fach, „Firma Müller, Relation 2” das daneben. Das Merkmal liegt drin, und wenn das Modell antwortet, macht es genau diese Klappe auf.
Kurios wird es bei der Geometrie. Projiziert man die internen Signale auf die richtige Ebene, ordnen sich die Zellen zu einem Raster — Millimeterpapier im Kopf der KI, quasi.
Welche Zelle es gerade ist, lässt sich mit einer simplen linearen Rechnung auslesen, und das hielt über verschiedene Themengebiete und über beide Modellfamilien hinweg. Also keine Marotte eines einzelnen Modells. Und bei anderem Kontext? Die Zellen fliegen nicht auseinander, sie verschieben sich als Block über eine einzige Verschiebung — Gelerntes aus einem Kontext lässt sich also mitnehmen.
Wohlgemerkt: Das ist kein zusammengeschustertes Auswendiglernen, sondern ein Adresssystem, das sich wiederverwenden lässt.
Schön und gut — aber benutzt das Modell dieses Raster auch?
Hier meldet sich zu Recht der skeptische Teil: Ein hübsches Muster beweist erst mal nichts. Ein Raster zu finden heißt noch lange nicht, dass das Modell es verwendet. In der Natur ist einiges an eleganter Struktur am Ende doch reine Deko.
Deshalb kam das zum Einsatz: Man tauscht einen Teil des internen Signals aus, während das Modell läuft, und schaut, ob die Antwort kippt. Das ist der Unterschied zwischen „hängt zusammen” und „verursacht”. Zwei Befunde kamen dabei raus:
- Manipuliert man den Zellen-Unterraum, ändert sich die Vorhersage darüber, um welche Relation es geht, systematisch
- Zerstört man ihn, sackt die Fähigkeit ab, relationale Fragen zu beantworten
Das Raster ist also keine Deko, sondern tragende Wand.
„Firma Müller macht Software” kam eben nicht aus einem Bauchgefühl. Es kam aus einer ganz bestimmten Schublade.
Wie weit darf man das jetzt hochrechnen?
Zwei Vorbehalte, ehrlich benannt — mir ist lieber, du glaubst mir auch beim nächsten Artikel.
Das hier ist eine Analyse auf einem kontrollierten, annotierten Datensatz mit zwei Modellfamilien. Sie erklärt nicht das komplette Verhalten eines Massensystems wie ChatGPT, und das behauptet das Team auch nicht.
Und: Zu verstehen, wie Bindung entsteht, ist etwas anderes, als sie gezielt ansteuern zu können. „Schreib es so, dann landest du in der Zelle” — das hat bisher niemand nachgewiesen. Kann kommen, ist aber offen.
Trotzdem, klein ist der Befund nicht. Struktur heißt: beobachtbar, und im Prinzip bearbeitbar. Bei Zufall hast du beides nicht.
Fazit: Leicht bindbar machen, dann messen
Übersetzen wir das mal ins Marketing. Ob eine KI dich als „eine der Firmen in dieser Kategorie” nennt, hängt daran, ob die Bindung zwischen deiner Marke und diesem Merkmal im Modell überhaupt existiert. Ist sie nie entstanden, taucht dein Name dort nicht auf.
Das ist ein Strukturproblem, keine Laune. Also ist die Antwort auch strukturell — zwei Handlungen, und bewusst nicht mehr:
- Mach „wir sind in dieser Kategorie” zu einem konstanten, fast langweiligen Fakt: gleiche Worte, gleiche Kategorie, auf der eigenen Seite wie in dem, was Dritte über dich schreiben
- Miss, in welche Kategorien die Modelle dich heute stecken — fehlst du ausgerechnet in deiner, ist das ein Signal für eine schwache Bindung
Fakten hinlegen, neu binden lassen, wieder messen.
Sieht nach Umweg aus, ist aber der kürzeste Weg, den ich kenne. Innen ist so ein Modell am Ende deutlich aufgeräumter, als sein Verhalten nach außen vermuten lässt — lohnt sich also, mal nachzusehen, was gerade in deiner Schublade liegt.
Quellen
- Qin Dai, Benjamin Heinzerling, Kentaro Inui, „Cell-Based Representation of Relational Binding in Language Models”, arXiv:2604.19052, 21. April 2026, arxiv.org (Mechanistisch-interpretierbare Analyse, wie LLMs Entitäten, Relationen und Attribute binden. Gefunden wurde eine Cell-based Binding Representation: ein niedrigdimensionaler linearer Unterraum — eine „Zelle” — pro Paar aus Entität und Relationsindex. Der Index ist per PLS-Regression linear dekodierbar, gilt über Domänen und Modellfamilien hinweg und bildet im projizierten Aktivierungsraum ein gitterartiges geometrisches Muster. Kontextspezifische Repräsentationen hängen über Translationsvektoren zusammen, was Transfer zwischen Kontexten erlaubt. Eingriffe per Activation Patching auf diesen Unterraum verändern die Relationsvorhersage systematisch, seine Zerstörung verschlechtert die Leistung — der Unterraum ist also kausal beteiligt. Umfang: zwei Modellfamilien und ein kontrollierter, mit Entitäten und Relationen annotierter Datensatz. Einschränkung: Analyse in kontrollierter Umgebung, die das Verhalten produktiv eingesetzter Großmodelle nicht vollständig erklärt.)
