„Das neue Modell ist halt einfach schlauer.” Diesen Satz hast du dieses Jahr auch schon viermal gehört, oder?
Ich nicke da immer brav mit. Und merke dann, dass ich gar nicht sagen könnte, worauf sich dieses „schlauer” eigentlich bezieht.
Das Ergebnis sieht man ja: bessere Antworten, bessere Werte. Das Stück dazwischen — die Strecke, auf der das Ding tatsächlich schlauer wird — bleibt zu.
Nur: Ein paar Leute haben angefangen, genau dieses Stück aufzumachen. Kein fertiges Modell sezieren, sondern eines beim Wachsen begleiten.
Und dabei kommt raus: Die Bauteile im Inneren teilen sich während des Trainings still und leise die Arbeit auf.
„Schön und gut — aber was passiert da drin, während sie lernt?”
Im Zentrum steht eine Arbeit von Timaeus, einem Forschungsinstitut, angenommen als Spotlight auf der ICLR 2025: „Differentiation and Specialization in LLMs” (zur Studie).
Angeschaut hat sich das Team ein Bauteil namens Attention Head. Heißt im Kern: das kleine Ding, das beim Lesen eines Satzes entscheidet, auf welche Wörter die KI überhaupt guckt. In einem einzigen Modell stecken davon jede Menge.
Und jetzt kommt das Spannende — nämlich, wie diese Köpfe ganz am Anfang aussehen.
Kurz nach Trainingsstart verhalten sie sich alle ungefähr gleich. Da ist praktisch kein Unterschied in der Aufgabe.
In der Studie heißt dieser Zustand „undifferenziert”. Mit fortschreitendem Training driften dieselben Köpfe dann in verschiedene Rollen auseinander. Ganz schön ordentliches Aufwachsen, muss man sagen.
Wie eine befruchtete Eizelle, aus der Organe werden
„Erst sehen alle gleich aus, dann wird die Arbeit verteilt” — das kennst du doch von irgendwoher.
Genau: aus der Biologie. Eine befruchtete Eizelle teilt sich immer weiter, bis aus den einen Zellen Herz wird und aus den anderen Nerv.
Bei den KI-Bauteilen läuft es ähnlich. Denk an einen Jahrgang Neuer, der am ersten Tag noch komplett austauschbar wirkt und nach der Einarbeitung halt teils im Vertrieb, teils in der Buchhaltung landet.
Worauf haben sich die differenzierten Köpfe denn nun spezialisiert? Beobachtet wurden zum Beispiel diese Rollen:
- Der simple Job, aus dem Wort davor das nächste vorherzusagen (Bigram, also die Verbindung zweier direkt benachbarter Wörter)
- Ein Muster wiederfinden, das vorher schon mal auftauchte, und es erneut anwenden (Induction, also eine Regel aus dem Kontext wiederholen)
Und obendrauf tauchte etwas auf, das vorher niemand beschrieben hatte: „Multigram-Schaltkreise”, die etwas komplexere Muster verarbeiten.
Genau das ist der Lohn dafür, dem Training zuzuschauen: Struktur, die man am fertigen Modell schlicht nicht sieht.
Und wie misst man bitte, dass ein Bauteil „fertig ausgebildet” ist?
Berechtigte Frage: Wie soll man Rollenverteilung im Inneren überhaupt messen? Das ist der eigentliche Kniff der Arbeit.
Verwendet wurde eine Kennzahl auf Basis der singulären Lerntheorie. Das ist der mathematische Rahmen, den Sumio Watanabe aufgebaut hat, um das Lernen von Modellen sauber zu analysieren, mit denen die übliche Statistik nicht gut klarkommt — neuronale Netze eben.
Legt man diese Kennzahl an jeden einzelnen Kopf an, bekommt man eine Zahl dafür, wie weit dieses Bauteil gerade ausgebaut ist.
Und jetzt der Punkt, auf den es ankommt: Diese innere Veränderung siehst du nicht, wenn du nur auf die Noten der KI schaust.
Wie schlau ein Modell im Training ist, misst man normalerweise daran, wie der Testfehler (der Loss) fällt. Aber selbst wenn diese Kurve auf den ersten Blick schön glatt nach unten läuft, läuft drinnen ein stufenweiser Strukturwandel mit — die Arbeitsteilung, ganz heimlich.
Sprich: nicht das fertige Modell statisch sezieren, sondern die Veränderung entlang der Zeitachse des Trainings verfolgen. Diese Sichtweise nennt die Studie .
Am einfachsten gedacht als: der Forschung am Innenleben von KI wird eine Achse hinzugefügt — die Zeit.
Fazit: Frag nicht nur nach der Punktzahl, sondern ob sich die KI erklären lässt
Was diese Arbeit zeigt: Die Schlauheit einer KI stapelt sich nicht glatt auf. Sie entsteht stufenweise, indem die Bauteile drinnen nacheinander ihre Rolle zugewiesen bekommen.
Bauteile, die anfangs alle gleich aussahen, werden im Training zu Spezialisten — und das lässt sich inzwischen an einer anderen Stelle beobachten als in der Ergebniszahl. Das ist ein ziemlich großer Schritt.
Natürlich gilt die Einschränkung: Bestätigt wurde das an kleinen Modellen mit etwa zwei Schichten. Dass in den riesigen Modellen dasselbe passiert, kann man daraus so nicht ableiten. Den Abzug sollte man ehrlich mitrechnen.
Mitnehmen würde ich als Marketer oder Entscheiderin aber Folgendes: Die Annahme „KI ist eine Blackbox, also bleibt einem nur, nach dem Leistungsscore zu urteilen”, fängt an zu bröckeln.
Wächst die Forschung, die nach dem Innenleben fragen kann, wächst eben auch die Chance, nachzuprüfen, warum diese KI so entschieden hat.
Wenn du also eine KI bewertest oder auswählst: nicht einfach die vorgezeigten Scores schlucken. „Kann irgendwer erklären, was da drin passiert?” ist eine Frage, die von Jahr zu Jahr schwerer wiegt — und im Hinterkopf kostet sie dich nichts.
Ehrlich, dass beim Zuschauen mit einem lernenden Modell so viel abfällt, hätte ich nicht gedacht. Wenn’s dich auch gepackt hat, fang klein an: Halt beim nächsten überraschenden Ergebnis kurz inne und frag dich, warum ausgerechnet diese Antwort kam.
Quellen
- Timaeus Research, „Differentiation and Specialization in LLMs”, ICLR 2025 (Spotlight), 2024, Link
