„Wir sind auf dem neuesten Modell.” Kaum fällt der Satz im Meeting, entspannt sich der Raum.
Ging mir am Anfang genauso. Zwei Tools nebeneinander in der Vergleichstabelle, und mein Blick wandert ganz automatisch zur größeren Zahl (auf die Spalte daneben schaut ja keiner).
Das Ding ist: Größe ist eine deutlich seltsamere Größe, als das Datenblatt vermuten lässt. Sie zählt schon — aber halt nicht für sich allein, und nicht immer in die Richtung, die man erwartet.
Sortiert wird das von einer Forschungslinie, die unter dem Namen Scaling Laws läuft. Auf Deutsch: Regeln dafür, wie viel besser ein Modell wird, wenn man es größer macht und mit mehr Daten füttert. Dahinter stecken Arbeiten von OpenAI, DeepMind und einem Team von Google Research.
Da bin ich der Sache mal nachgegangen.
Größer machen hilft — und zwar erstaunlich regelmäßig
Ausgangspunkt ist eine Arbeit von Kaplan und Kollegen bei OpenAI aus dem Jahr 2020, „Scaling Laws for Neural Language Models”.
Gezeigt wird darin: Der Loss eines Sprachmodells sinkt regelmäßig, wenn Modellgröße, Datensatzgröße und Rechenaufwand beim Training wachsen. Der Loss heißt im Kern: der Fehler des Modells beim Vorhersagen des nächsten Textstücks.
Und dieser Zusammenhang hat einen Namen: Potenzgesetz. Sprich: Du drehst an einer der drei Schrauben, und der Fehler sinkt planbar, nicht zufällig.
Der Zusammenhang hielt über mehr als sieben Größenordnungen. Der Skalierungsexponent liegt bei etwa 0,076 für die Modellgröße und bei etwa 0,095 für die Datensatzgröße. Und größere Modelle erreichten denselben Loss mit weniger Daten. Die Exponenten selbst brauchst du in deinem Job ja nicht. Wichtig ist, was daraus folgt.
Der Gewinn durch Skalierung lässt sich vorher abschätzen. Genau das machte aus „einfach größer bauen” einen Plan statt einer Hoffnung.
Aber ein großes Modell auf Diät bleibt untertrainiert
Die Korrektur kam schnell. 2022 veröffentlichten Hoffmann und Kollegen bei DeepMind das Chinchilla-Paper, „Training Compute-Optimal Large Language Models”. Trainiert wurden dafür über 400 Sprachmodelle, von 70 Millionen bis 16 Milliarden Parametern, mit 5 Milliarden bis 500 Milliarden Token. Ein Token ist übrigens das kleine Stück, in das ein Modell Text zerlegt (ungefähr ein Wort oder ein Wortteil).
Und was kam raus?
Bei gleichem Rechenbudget solltest du Modellgröße und Tokenzahl ungefähr im gleichen Verhältnis hochziehen.
Doppelt so großes Modell, doppelt so viele Trainingsdaten. Chinchilla wurde nach diesem Prinzip gebaut, mit 70 Milliarden Parametern. Und es schlug die bestehenden Modelle — darunter Gopher mit 280 Milliarden, also der vierfachen Größe — über eine große Bandbreite von Evaluierungsaufgaben hinweg.
Das Bild dazu: der Neuzugang mit dem beeindruckenden Lebenslauf und null Praxisstunden. Der Titel auf der Visitenkarte ist echt. Die Feldarbeit fehlt halt — und das fällt genau in den Situationen auf, für die du ihn geholt hast.
Zwei ganz verschiedene Gründe, warum eine KI nicht besser wird
Ein Teil fehlt noch, und der zahlt sich im Meeting am meisten aus. Denn Bahri und Kollegen von Google Research und der Johns Hopkins University sind der Frage nachgegangen, was diese Skalierungsgesetze überhaupt erzeugt. Die Antwort steht in einem PNAS-Paper von 2024, „Explaining Neural Scaling Laws”.
Die Autoren trennen den Ursprung der Skalierung in zwei Sorten:
- Variance-limited — der Engpass ist das statistische Rauschen einer endlichen Datenstichprobe.
- Resolution-limited — der Engpass ist die Fähigkeit des Modells, die Welt fein genug abzubilden.
Heißt im Klartext: Wackelt die Antwort, weil zu wenig Daten da sind, oder weil das Modell nicht fein genug hinschaut? Gleiches Symptom, eben ein anderes Gegenmittel.
Und genau da greife ich selbst gern mal daneben. Wenn ein KI-Tool bei unserer Branche schwache Antworten liefert, ist der erste Reflex: „Dann nehmen wir halt ein stärkeres Modell.” (Meist im selben Meeting, in dem das Problem aufgetaucht ist.) Nur könnten genauso gut die Evaluierungsdaten verzerrt sein, oder dem Tool fehlt schlicht der Kontext, der die Frage beantwortbar macht. Ein Modellwechsel repariert davon doch gar nichts.
Worauf der Blick stattdessen gehört
Was heißt das jetzt für dich, wenn du Marketing, PR oder Marke verantwortest? Vor allem eins: Lass den Modellnamen nicht länger das ganze Performance-Argument allein tragen.
Wohlgemerkt: Scaling Laws sind ein allgemeiner Befund übers Training, kein Urteil über ein einzelnes Produkt. Ab hier lese ich sie als Hinweis für die Evaluierung, nicht als direkten Beleg für irgendein Tool.
Trotzdem: Wenn du KI einsetzt, um zu sehen, wie über deine Marke geredet wird, kaufst du ja keine „allgemein schlauen Antworten”. Du willst Antworten, die in deiner Kategorie tragen, gegen deinen Wettbewerb, im Kontext deiner Kunden. Denn allgemeine Leistung und Eignung für den Zweck sind zwei verschiedene Dinge. Und gehören getrennt bewertet.
Drei Dinge, die du in der nächsten Demo auseinanderziehen solltest:
- welches Modell darunter läuft
- mit welchen Daten und welchem Kontext evaluiert wurde
- welche Kennzahl für diesen Zweck als gut oder schlecht galt
Fazit: Frag, was gemessen wurde — nicht, welches Modell lief
Ja, Scaling Laws sagen: Größer ist tendenziell besser. Aber Chinchilla zeigt, dass die Effizienz kippt, sobald Größe und Datenmenge aus der Balance geraten. Und die PNAS-Arbeit sagt: Eine Stagnation kann von dünnen Daten kommen, oder von begrenzter Kapazität. Zwei Probleme, zwei verschiedene Lösungen.
„Ist das neueste Modell, passt schon” ist als Entscheidungsgrundlage also ziemlich grob.
Die Frage, die deine Entscheidung wirklich ändert, ist nicht, welches Modell ein Tool fährt. Sie lautet: Mit welchen Daten wurde getestet, was wurde gemessen, wie weit wurde geprüft? Für Markenarbeit heißt das konkret: Liefert es sinnvolle Antworten in deiner Kategorie und in deinem Wettbewerbsumfeld?
Also beim nächsten Vergleich nicht bei der Spalte „welche KI” aufhören — weiterlesen bis „womit getestet” und „was gemessen”.
Quellen
