Du fragst eine KI etwas, und zurück kommt eine Antwort, die passt schon irgendwie.
Nur: Erklär mal, warum ausgerechnet diese Antwort rauskam. Da wird es sofort schwammig, oder?
Dieses schwammige Gefühl nennen wir dann „Blackbox” — und damit hat sich die Sache für die meisten erledigt.
Ging mir genauso. Abgelegt unter „weiß man halt nicht”, fertig.
Nur wird an dieser Kiste seit ein paar Jahren ziemlich beharrlich geschraubt. Und die Leute sind weiter gekommen, als ich dachte.
Wie weit sieht man heute eigentlich ins Modell hinein?
Das Paradebeispiel ist die Monosemanticity-Reihe von Anthropic.
Sperriges Wort, simple Bedeutung: ein Ding, eine Bedeutung. Gesucht wird nach Teilen im Modell, die genau einem Begriff entsprechen — und nicht einem Brei aus allem gleichzeitig.
Und das Spannende daran sind nicht die hübschen Visualisierungen.
Sondern: Findet man so ein internes Merkmal und dreht daran, ändert sich die Ausgabe des Modells. Heißt, das sind keine Etiketten, die man nachträglich draufklebt. Das kommt echten Reglern schon ziemlich nahe.
Angefangen hat es mit 4.096 „Bedeutungseinheiten”
Ausgangspunkt ist Towards Monosemanticity, 2023 von Anthropic veröffentlicht.
Aus einem einlagigen Transformer mit 512 Neuronen holten sie per Sparse Autoencoder 4.096 interpretierbare Merkmale heraus. Ein Sparse Autoencoder ist dabei nichts anderes als ein Verfahren, das einen verworrenen inneren Zustand in wenige sinnvolle Einzelteile zerlegt.
Und die Merkmale landeten in erstaunlich klaren Kategorien: DNA-Sequenzen, Juristensprache, HTTP-Anfragen, hebräischer Text, Nährwerttabellen.
Bei so konkreten Beispielen fühlt es sich plötzlich an, als schaue man wirklich hinein.
Wichtig ist dabei der Wechsel der Analyseeinheit. Nicht mehr das einzelne Neuron, sondern die Kombination von Merkmalen. Also weg von „eine Glühbirne, eine Bedeutung”, hin zu: aus einem gemischten Signal die Bedeutungsanteile herausziehen.
Bei Claude 3 Sonnet waren es dann rund 34 Millionen
Schön und gut, nur war das ein Winzmodell. Klappt das auch in der Größenordnung, die wir im Alltag benutzen?
Genau deshalb kam 2024 Scaling Monosemanticity: Aus einer mittleren Schicht von Claude 3 Sonnet wurden rund 34 Millionen Merkmale extrahiert. Etwa das 8.000-Fache der 4.096 von vorher.
Und das sind keine bloßen Wort-Etiketten. Berichtet werden Merkmale vom Konkreten bis zum Abstrakten: die Golden Gate Bridge, Michael Jordan, „täuschendes Verhalten”.
Noch interessanter: Derselbe Begriff tauchte als Merkmal auf, das über mehrere Sprachen und sogar über Bilder hinweg geteilt wird. Also kein englisches Wort, sondern eher ein Begriffs-Klumpen, auf den verschiedene Eingaben zeigen.
Dreh am Regler, und die KI redet anders
Das berühmte Experiment: Verstärkt man das Golden-Gate-Bridge-Merkmal künstlich, driftet die Antwort des Modells Richtung Brücke.
Das ist keine Metapher. Und es ist auch kein Regler, an dem im Produkt irgendein Nutzer drehen könnte.
Denn es geht ja um etwas anderes:
Interne Aktivierung, absichtlich verändert — mit kausaler Wirkung auf das, was hinten rauskommt.
Damit wird „die KI reiht doch bloß plausibel klingende Wörter aneinander” halt ein bisschen billig als Beschreibung. Da drin sitzen Merkmale, die an Begriffen hängen, und die reden bei der Antwort mit.
Wohlgemerkt: Anthropic berichtet auch von Merkmalen rund um Sicherheit — Täuschung, Anbiederung, Verzerrung, gefährliche Inhalte. Und genau da wird’s für Marken-Leute halt praktisch relevant.
Die Schaltungen zeigen auch die Marotten des Modells
2025 ging Circuit Tracing dann einen Schritt weiter und verfolgte nicht mehr nur einzelne Merkmale, sondern wie sie sich zur Antwort verketten.
Untersucht wurde Claude 3.5 Haiku, und der interne Rechenweg wird als Attribution Graph dargestellt. Sprich: eine Landkarte, welches Merkmal auf welches gewirkt hat.
Ein paar Beispiele sind richtig gut. Beim Übersetzen waren die Begriffsdarstellungen der mittleren Schichten sprachübergreifend geteilt. Beim Schreiben eines Reimgedichts wählte das Modell das Reimwort vor der Zeile aus. Und beim Addieren liefen ein grober und ein präziser Rechenweg parallel.
Heißt: „Die KI sagt bloß Wort für Wort das nächste vorher” — so wird es ja gern erklärt, aber intern laufen offenbar deutlich mehr Vorbereitung und Schaltung mit.
Ein bisschen wie in der Kochshow, wo der Moderator „und jetzt rühren wir um” sagt, während zehn Vorbereitungsschritte außerhalb des Bildes passiert sind. Kein Wunder, dass man am fertigen Teller nichts davon sieht.
Fazit: Schau auf die Marotten, nicht nur auf den Wortlaut
Was hat nun jemand aus Marketing oder Brand davon?
Ehrlich gesagt: kein Werkzeug für morgen früh. Keine Firma kann heute „die internen Merkmale zur eigenen Marke” prüfen, und Anthropics Arbeit ist Modellverständnis- und Sicherheitsforschung, kein Messfeature für Anwender. Markenbewertung behandelt sie nicht direkt.
Aber sie verschiebt, wie viel eine einzelne Antwort wert ist. Unter dem Satz, den du liest, können Merkmale für Personen, Orte, Gefährlichkeit, Anbiederung und Verzerrung mitmischen.
Wenn eine KI also auffällig vorsichtig über deine Marke redet, oder die Risiken übermäßig betont, oder im Vergleich mit dem Wettbewerb in eine bestimmte Richtung kippt — dann ist das eben nicht zwingend nur Formulierungsrauschen. Es kann an der internen Darstellung oder an gelernten Verknüpfungen liegen.
Und daraus wird eine ziemlich schlichte Handlung.
Nicht eine Antwort einmal anschauen und gut.
Vergleiche über mehrere Fragen, mehrere Modelle, mehrere Kontexte.
Und notiere mehr als „Marke kam vor”: notiere, mit welchen Eigenschaften und welchem Eindruck sie vorkam.
Monosemanticity heißt nicht, dass wir jetzt in der KI lesen können. Aber „die Antwort der KI ist eine Blackbox, da gibt es nichts zu messen” — das heißt eben zu früh aufgeben, wenn selbst Merkmale und Schaltungen längst auf dem Tisch liegen.
Quellen
- Bricken et al. (Anthropic, 2023), „Towards Monosemanticity: Decomposing Language Models With Dictionary Learning”, Transformer Circuits Thread
- Templeton et al. (Anthropic, 2024), „Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”, Transformer Circuits Thread
- Lindsey et al. (Anthropic, 2025), „Circuit Tracing: Revealing Computational Graphs in Language Models”, Transformer Circuits Thread
