„Wird die KI eigentlich immer weiter schlauer, wenn man sie nur groß genug macht?”
Seit Jahren hörst du das an jeder Ecke: Je größer die KI, desto schlauer. Und bei jedem neuen Modell steht die Parameterzahl vorne dran, Hunderte Milliarden, Billionen, und irgendwo im Hinterkopf legst du das ab unter „am Ende zählt halt die Größe”.
Ging mir genauso. Bei jedem Release frage ich als Erstes: Und, wie viel größer ist das Ding diesmal?
Nur, wenn man mal kurz stehen bleibt, ist das schon eine seltsame Sache. Warum sollte größer denn schlauer bedeuten? Und hält das überhaupt weiter an?
Lange konnte darauf keiner sauber antworten. Es war eine Faustregel — eine ziemlich verlässliche, aber eben eine Faustregel. 2025 kam dann eine Arbeit, die dieses „warum” von innen heraus beantwortet. Da bin ich der Sache mal nachgegangen.
Was heißt „größer ist schlauer” denn genau?
Erst mal die Grundlage. In der KI gibt es die Skalierungsgesetze: Je mehr Trainingsdaten, Rechenleistung und Modell du reinsteckst, desto besser wird die Leistung — und zwar erstaunlich gleichmäßig.
Gemessen wird diese Leistung daran, wie sehr die Vorhersagen danebenliegen. Der Fachbegriff dafür ist der . Heißt im Kern: je kleiner, desto schlauer. Mehr musst du dir davon nicht merken.
Das Spannende ist, wie sauber diese Kurve ausfällt. So viel mehr Größe, so viel weniger Loss. Und das immer wieder. Denn genau darauf konnten die Firmen ihr Geld setzen: einfach größer bauen.
Und jedes Jahr raunt jemand, jetzt sei aber Schluss mit der Steigerung. Und jedes Jahr altert diese Prognose schlecht (das große „gleich ist Schluss” kennt man ja inzwischen). Die Kurve läuft eben weiter.
Nur eins hat gewurmt. Das war reine Empirie: ausprobiert, kam so raus.
Sauber ist nicht gleich erklärt: Warum die Kurve sich so verhält, konnte keiner sagen.
Der Schlüssel: Wie vollgestopft so eine KI innen drin ist
Der Schlüssel zu diesem „warum” ist ein Phänomen namens .
Superposition heißt: Die KI merkt sich sehr viel mehr Merkmale, als sie Bauteile dafür hat. Ein Merkmal ist so ein kleiner Anhaltspunkt, mit dem die KI die Welt liest — „das klingt nach höflichem Text”, „hier geht’s ums Kochen”. Tausende solcher Blickwinkel.
Normal gedacht: 100 Bauteile, also maximal 100 Merkmale. Denkste.
Eine echte KI stopft in diese hundert Bauteile mehrere tausend Merkmale hinein und verschiebt dabei die Richtung jedes einzelnen ein Stückchen, damit sie nebeneinander wohnen können. Wie ein Schrank, in dem mehr Papier steckt, als Fächer da sind: schräg reingeschoben, und trotzdem siehst du von jedem Blatt noch die Kante.
Aufgedröselt hat das Anthropic schon 2022 an kleinen Modellen (R). Das wurde zum Ausgangspunkt der Interpretierbarkeitsforschung, also der Arbeit, die drinnen im Modell mitliest.
Genau dieses Vollstopfen erzeugt das Skalierungsgesetz
Und jetzt kommt das Neue. Eine Arbeit vom MIT (Liu, Liu, Gore und Kollegen, ausgezeichnet als Best Paper Runner-Up bei der NeurIPS 2025) zeigt: Diese Superposition ist das Skalierungsgesetz von innen (R).
Das Team hat den Bereich theoretisch analysiert, in dem Merkmale stark überlagert sind — also weit über die Zahl der vorhandenen Bauteile hinaus reingequetscht werden. Und daraus fällt eine klare Beziehung heraus:
Erhöhst du die Zahl der Bauteile, also die Breite des Modells, sinkt der Loss umgekehrt proportional dazu.
Doppelte Breite, ungefähr halb so viel danebengehauen.
Genau diese Umkehrbeziehung steckt hinter der Kurve, die wir alle als „größer ist schlauer” kennen. Und das Schöne daran: Die Beziehung hält unter ziemlich breiten Bedingungen und hängt nicht daran, wie fein die Merkmale im Detail verteilt sind. Du drehst ein bisschen an den Annahmen, und die Kurvenform bleibt stehen.
Wenn etwas so stabil ist, ist das kein Zufall mehr. Das sieht nach Struktur aus.
Neu ist: Die Faustregel hat endlich einen Grund
Und das ist der eigentliche Punkt der Arbeit.
Das Skalierungsgesetz war immer reproduzierbar — miss nach, es kommt dasselbe raus. Was fehlte, war der Mechanismus. Das „warum” hing in der Luft.
Jetzt lässt sich die Kurve aus der Geometrie herleiten, mit der eine KI ihre Merkmale ineinanderstopft. Sprich: Die Superposition, die Anthropic gefunden hat, und das Skalierungsgesetz, auf das sich die Firmen verlassen, sind ein und dieselbe Linie, von zwei Enden her gezeichnet.
Wohlgemerkt: Dem Größerbauen, das alle betrieben haben, weil es eben wirkt, ist damit ein Rückgrat gewachsen — nämlich, warum es wirkt. Schlauer wird die KI davon natürlich nicht. Aber der Blick darauf ändert sich schon.
Fazit: „Größe bringt noch was” lässt sich jetzt mit Begründung sagen
Was heißt das nun für Leute im Marketing oder für die, die Budgets freigeben?
Zum einen ist es eine Beruhigung. Der Trend der Branche, einfach größer zu bauen, dürfte noch eine Weile weiter tragen. Zumindest nach allem, was man bis jetzt sieht, ist es kein Glücksfall, dass Größe wirkt — es steckt im inneren Bau der KI. Du musst also vorerst nicht damit planen, dass die Schlauheit der großen Modelle in nächster Zeit plötzlich an eine Decke stößt.
Zum anderen — und das ist der Teil, den ich wirklich im Auge behalten würde: Wenn du weißt, warum es wirkt, hast du einen Boden für die Frage, wie weit es wirkt und wo es anfängt, zäh zu werden. Das Vollstopfen hat irgendwo geometrische Grenzen, und je näher man denen kommt, umso flacher dürfte diese umgekehrt proportionale Kurve irgendwann werden. Aber die Einschätzung kommt jetzt aus der Struktur und nicht aus dem Bauchgefühl.
Wohin Leistung und Kosten der KI laufen, landet ziemlich direkt in deinem Budget und in deiner Tool-Auswahl. Eine Stufe tiefer nachzufragen, ist unspektakulär, ja. Aber genau das bewahrt dich davor, zwischen Hype und Untergangsstimmung hin- und herzuschwanken.
Nicht bei „größer ist wohl schlauer” stehen bleiben — die nächste Frage lautet: warum, und bis wohin.
