„Die haben doch alle hohe Punkte – nehm ich halt irgendeine?”
Du vergleichst zwei KI-Tools, die Benchmark-Noten liegen dicht beieinander, und im Kopf macht es klick: „Eigentlich egal, welche ich nehme.” Kennst du das?
Ging mir am Anfang genauso. Nur: Sobald du die Dinger wirklich auf deine Aufgaben loslässt, fällt eben auf, dass zwei Modelle mit gleicher Note ganz unterschiedlich bröckeln. Das eine fasst sauber zusammen, patzt aber beim Abwägen zweier Optionen.
Im vorigen Teil haben wir gesehen, dass eine KI im Inneren die Satzstruktur nachbaut. Heute schauen wir uns an, was diese Tiefe überhaupt entscheidet: das Design des Modells.
Quelle ist dieselbe Studie wie letztes Mal – Physics of Language Models (arXiv:2305.13673). Die Frage dabei: Wie verändert das Design, an welcher Stelle das Modell im Job versagt?
Allein die Art, Positionen zu speichern, macht einen Unterschied im Verständnis
Das Team hat mehrere Bauformen an verschachtelten Daten gegeneinander antreten lassen. Der erste klare Unterschied steckte ausgerechnet darin, wie ein Modell die Position der Wörter speichert.
Das heißt im Kern: der Trick, mit dem das Modell merkt, wo im Satz ein Wort gerade steht. Davon gibt es grob zwei Sorten – absolute Position (fester Platz, „Wort Nummer 7”) und relative Position (Abstand, „drei Wörter hinter dem Subjekt”).
Und das Ergebnis war eindeutig.
Die relative Variante (RoPE-Familie) schlug die absolute durchgehend. Nicht nur in einem Spezialfall, sondern quer durch die Tests.
Der Grund ist eigentlich intuitiv. Beim Verstehen eines Satzes zählt halt nicht „an welcher Stelle steht das Wort”, sondern „was hängt mit was zusammen”. Abstände sagen mehr über Struktur als feste Plätze.
Heißt für dich: Statt dich in feine Datenblatt-Zahlen zu verbeißen, bringt es mehr, zu wissen, welches Verfahren drinsteckt.
Manchmal gewinnt gerade die Bauform mit Fesseln
Jetzt kommt der überraschende Teil – der Vergleich von GPT-Typ und BERT-Typ. Der BERT-Typ darf Wörter vor und hinter der aktuellen Stelle gleichzeitig sehen, der GPT-Typ liest stur von links nach rechts. Klingt, als müsste der BERT-Typ klar vorne liegen, oder?
Ist aber nicht so einfach. Bei tief verschachtelten Strukturen schnitt unter bestimmten Bedingungen der GPT-Typ besser ab.
Der Grund: Wer nur nach links schauen darf, muss die Struktur wirklich mitführen, um zu antworten. Die Fessel zwingt das Modell quasi, den Bauplan im Kopf zu behalten, statt sich rechts schon mal die Antwort abzuschauen.
Wohlgemerkt: Die fortschrittlicher wirkende Bauform ist eben nicht automatisch die stärkere. Welcher Weg gewinnt, hängt am Einsatzzweck.
In der Praxis zählt nicht der Schnitt, sondern wo die Fehler liegen
Übersetzt in die Auswahl heißt das: Auf die Durchschnittsnote allein zu schauen, reicht nicht. Spannend ist, wo ein Modell kippt – sprich die Art der .
Zwei Modelle mit derselben 90er-Note sind nicht gleich, wenn das eine bei Vergleichsfragen schwächelt und das andere bei langen Wenn-dann-Ketten. Für dein Geschäft ist das ein ganz anderes Risiko.
Heißt: Vor der Auswahl prüfst du, ob die Schwachstelle ausgerechnet auf deine Hauptaufgaben fällt.
Fazit: Nicht das „klügste” Modell wählen, sondern das, das bei dir seltener patzt
Bei der Modellauswahl zählt eben nicht nur die hohe Gesamtnote. Im Job entscheidet mehr, wo ein Modell an der wichtigen Stelle bröckelt – und ob ein Mensch das Bröckeln überhaupt mitkriegt. Du suchst also nicht die KI, die am schlausten wirkt, sondern die, die bei deiner Art zu arbeiten am seltensten danebenliegt.
Praktisch heißt das: Leg pro Kandidat drei bis fünf echte Arbeitsaufgaben fest und lass sie unter gleichen Bedingungen mehrfach durchlaufen. So vergleichst du nicht Demo-Glanz, sondern Verhalten unter deiner Realität.
Und beim Anbieter-Gespräch fragst du alle mit demselben Fragebogen ab: schwache Bedingungen, Nähe der Testdaten zu deinem Fall, Umfang der menschlichen Prüfung. Dann vergleichst du am Ende Betriebsrisiko statt Foliengestaltung.
Quellen
- Zeyuan Allen-Zhu, Yuanzhi Li, „Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, ICML 2023, arXiv:2305.13673
- Physics of Language Models – Projektseite: physics.allen-zhu.com
