„ChatGPT oder Claude – wer kann mehr?” Und an dieser Frage hängst du fest
Du willst eine KI ins Unternehmen holen, und prompt steht diese Frage im Raum. Jeder Anbieter sagt: „Wir sind die Besten.” Daneben liegen die Benchmark-Punkte fein säuberlich aufgereiht. Klingt nach einer einfachen Entscheidung.
Ist es aber nicht.
Denn die Punktzahl allein bringt dich nicht ins Ziel. Sobald die Modelle im echten Betrieb laufen, merkst du nämlich: Selbst zwei Modelle, die ganz oben auf der Liste stehen, liefern bei der Ausgabe nicht gleich verlässlich. Mal sitzt jede Antwort, mal eiert das angeblich stärkere Modell rum.
Genau in diese Lücke ist eine Forschungsreihe von Microsoft Research gegrätscht: „Physics of Language Models”.
Die Reihe läuft seit 2023 und stellt eine alte Frage neu: Wie misst man die Fähigkeit einer KI eigentlich richtig? Die Kernbotschaft ist denkbar schlicht – die heutigen Leistungs-Ranglisten liest man leicht falsch, wenn man das Testdesign nicht mitbetrachtet.
Der heutige Benchmark trennt „Verstehen” und „guter Tipp” kaum auseinander
Erst mal kurz, was ein „Benchmark” überhaupt ist: ein gemeinsamer Test, mit dem man KIs vergleicht. Man lässt sie Aufgaben lösen, zählt die richtigen Antworten und macht daraus eine Rangliste.
Klingt sauber. Das Problem steckt im Material.
Misst man nämlich nur mit Aufgaben in natürlicher Sprache, dann schleppen die zu viele Variablen mit sich herum. Das Vokabular, der Kontext, die Formulierung – und dazu noch die Vorab-Vertrautheit, die das Modell schon aus seinen Trainingsdaten mitbringt. Das alles vermischt sich.
Heißt, am Ende lässt sich kaum noch sagen, ob das Modell die Aufgabe wirklich verstanden hat – oder ob es nur ein Muster wiedererkannt hat, das ihm bekannt vorkam.
Und hier wird es richtig heikel. Stichwort : Wenn das Material aus dem Test schon im Training mit dabei war, fällt die Punktzahl höher aus, als die echte Fähigkeit hergibt. Als hätte das Modell den Spickzettel vorher gesehen.
Genau hier hat Physics of Language Models angesetzt – und das Problem von der Wurzel her angepackt, nämlich beim Bau des Tests selbst.
Ein Test, bei dem keiner spicken kann
Statt natürlicher Sprache hat das Forschungsteam auf synthetische Daten gesetzt. Sprich: einen Test, bei dem der Prüfer jede einzelne Bedingung selbst kontrolliert. Nichts Bekanntes aus dem Training kann sich da reinmogeln.
Und sie sind noch einen Schritt weiter gegangen. Die Aufgaben werden mit einer erzeugt, also nach festen Grammatikregeln. Der Clou daran: So lässt sich für jede richtige Antwort zurückverfolgen, welches strukturelle Verständnis sie überhaupt hervorgebracht hat.
Mit diesem Aufbau kann man echtes strukturelles Verstehen sauber von bloßer Mustererkennung trennen. Hat das Modell die Struktur durchschaut – oder hat es nur einen passend aussehenden Treffer geraten? Genau das wird endlich sichtbar.
Das ist im Grunde dasselbe Vorgehen wie im Physik-Experiment. Du änderst eine Variable nach der anderen und verfolgst, was Ursache und was Wirkung ist.
Und genau daher kommt der Name der Reihe: Physics of Language Models.
Für dich zählt nicht die Punktzahl, sondern das Messverfahren
Klingt bis hierhin nach reiner Forschung. Im Alltag ist es aber genau andersrum wichtig.
Bei der KI-Auswahl ist nämlich nicht entscheidend, „welches Modell wie viele Punkte hat”, sondern: unter welchen Messbedingungen diese Punktzahl überhaupt zustande kam.
Das gilt besonders, wenn deine Arbeit voll mit Markenkontext oder Fachjargon steckt. Da hängt die echte Genauigkeit daran, ob das Testdesign deinen tatsächlichen Daten ähnelt – oder eben an ihnen vorbeimisst.
Willst du wissen, ob ein Modell bei deiner Arbeit nicht danebenliegt, dann lies die Bewertungsbedingungen, nicht die Rangliste. Wer diesen Schritt überspringt, erlebt nach der Einführung halt schnell das böse „Das war doch ganz anders versprochen”.
Fazit: Erst das Testdesign, dann die Punktzahl
Wenn man das Ganze zusammennimmt, ist das Riskanteste beim KI-Vergleich genau das hier: allein aus einer Punktzahl abzuleiten, „dieses Modell ist das stärkste”. Was Physics of Language Models zeigt, ist nämlich: Eine Punktzahl wird erst lesbar zusammen mit dem Testdesign, der Art der Datenerstellung und dem Umgang mit den Fehlern.
Also: Beim Anbietervergleich nicht nur auf die Score-Tabelle starren, sondern die Bewertungsbedingungen, die Reproduzierbarkeit und die Fehlerarten mitprüfen. Welche Fehler hat das Modell gemacht, und lässt sich das Ergebnis überhaupt wiederholen?
Und für die interne Validierung gibt es einen ganz simplen Trick: Leg ein paar geschäftsrealistische Fragen fest, fixiere sie, und miss mehrere Modelle unter identischen Bedingungen wiederholt. Schon damit lässt du dich von einer hübschen Rangliste nicht mehr so leicht herumschubsen.
Das hier ist übrigens nur der Einstieg in Microsofts laufende Forschungslinie „Physics of Language Models” – aber als Denkwerkzeug für die nächste Anbieterauswahl steht es schon für sich.
Quellen
- Zeyuan Allen-Zhu, Yuanzhi Li, „Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, ICML 2023, arXiv:2305.13673
- Physics of Language Models – Projektseite: physics.allen-zhu.com
