Rechnet ChatGPT auswendig? Ein Team hat sich dafür eigene Aufgaben gebaut

„Die würfelt doch nur wahrscheinliche Wörter zusammen”

Diesen Satz hört man immer wieder, sobald im Büro das Thema KI aufkommt. Das Ding versteht halt nichts, es reiht nur plausible Wörter aneinander.

Ging mir am Anfang genauso, bei Mathe erst recht. Denn gerade eine Aufgabe mit mehreren Schritten schien mir die perfekte Gelegenheit, ein Sprachmodell beim Abschreiben zu erwischen.

Nur: Wäre es reines Auswendiglernen, müsste das Modell an ungewohnten Aufgaben komplett scheitern. Tut es aber nicht. Gib ihm eine Textaufgabe, die es noch nie gesehen hat, und es kommt meistens durch.

Was passiert da also drinnen?

Genau der Sache ist ein Team nachgegangen — auf die einzige saubere Art, die es dafür gibt: Es hat sich die Aufgaben selbst gebaut.

Aufgaben, deren Lösung das Modell nirgends gelesen haben kann

Die Arbeit gehört zur Reihe „Physics of Language Models”, die Zeyuan Allen-Zhu mit seinem Team bei Meta FAIR betreibt (R). Die Idee ist aus der Physik geliehen: Statt darüber zu streiten, was ein Modell „wirklich” tut, baut man ein Experiment, das kontrolliert genug für eine klare Antwort ist.

Der Clou steckt in den Daten. Das Team hat einen großen Stapel Textaufgaben auf Grundschulniveau komplett neu erzeugt, statt irgendwas aus dem Netz zu ziehen.

Wohlgemerkt: Das ist der entscheidende Unterschied. Bei Aufgaben aus dem Netz lässt sich nie ausschließen, dass die Lösung schon im Training mitgelaufen ist.

Bei Aufgaben, die es vorher schlicht nicht gab, schon. Heißt, wenn das Modell so eine löst, dann hat es sie wirklich gelöst.

Kein Gedächtnis, sondern Arbeit im Moment.

Auswendig gelernte Schablonen erklären das nicht

Und raus kam: Mit auswendig gelernten Schablonen lässt sich die Lösungsweise nicht erklären.

Mit Schlussfolgerungsprozess sind hier schlicht die Zwischenschritte gemeint, die das Modell geht, bevor es sich auf eine Antwort festlegt. Das Team hat ins Modell hineingeschaut und dort so etwas wie eine Planung gefunden: Hat es die Aufgabe einmal gelesen, schätzt es schon vorab ab, welche Größen die Antwort später braucht.

Sprich: Da wird keine auswendig gelernte Formel eingesetzt, sondern eine Route, die pro Aufgabe neu gelegt wird.

Nur ist es eben nicht deine Route. Das Modell legt sich Größen in einer Reihenfolge zurecht, die kein Mensch wählen würde, und rechnet nebenbei Zahlen aus, die die Aufgabe gar nicht braucht — auf Vorrat sozusagen.

Wie ein Koch, der erst mal das gesamte Gemüse in der Küche kleinschneidet und dann überlegt, was es zum Abendessen gibt. Der Teller stimmt am Ende, der Weg dahin ist reichlich unmenschlich.

Zeig ihm einen Fehler, und es wird besser

Der Folgeteil der Reihe wird praktisch: Wie trainiert man diese Rechen-KI, damit sie genauer wird (R)? Und da kommt ein ziemlich verdrehtes Ergebnis heraus.

Naheliegend wäre ja, nur saubere Musterlösungen zu zeigen. Richtige Antworten rein, richtige Antworten raus.

Doch dann hat das Team absichtlich Abläufe ins Training gemischt, in denen sich das Modell erst vertat und sich sofort selbst korrigierte. Und die Genauigkeit beim Schlussfolgern lag höher als beim Training mit reinen Musterlösungen.

Und dafür braucht es keine große Maschinerie. Kein Hin und Her über mehrere Runden aus Antwort, Kritik und neuem Versuch — es reichte, Korrektur-Beispiele ins ganz normale Training zur Vorhersage des nächsten Satzes einzustreuen.

Fehlversuche waren kein Ausschuss, sondern Lehrmaterial.

Es denkt schon — nur eben nicht wie wir

Legt man beide Arbeiten nebeneinander, zeigt sich eine Linie. Das Modell ist nicht „bloß Auswendiglernen”. Es denkt aber auch nicht so wie du.

Da drin liegt echte Planung, und genau deshalb kippt es bei einer neuen Aufgabe nicht um. Diese Planung hat halt ihre eigenen Marotten, quer zur menschlichen Intuition.

„Klug” und „menschenähnlich” gehören in zwei verschiedene Schubladen.

Und dieser Abstand — es denkt, nur anders — ist genau der Teil, der auf deinem Schreibtisch landet.

Fazit: Nicht den schönen Rechenweg prüfen, sondern das Ergebnis

Übersetzen wir das mal in den Alltag. Für deinen Schreibtisch bleibt am Ende wenig übrig — aber das Wenige zählt.

Erstens: Nimm eine KI-Antwort nicht deshalb ab, weil man ihr die Denkarbeit ansieht. Die Planung ist echt, schon klar.

Nur hat sie fremde Marotten, und ein plausibel aussehender Weg sagt dir null darüber, ob der Satz am Ende stimmt. Guck also nicht darauf, wie glatt die Erklärung klingt, sondern darauf, ob die Schlussaussage mit der Wirklichkeit zusammenpasst. Bei Zahlen und Eigennamen sowieso: einmal gegenprüfen, egal wie souverän der Text klingt.

Zweitens: Wenn du die KI etwas korrigieren lässt, gib ihr Fehler und Korrektur zusammen. „Schreib es so” liefert nur das Ziel. „Das hier ist falsch, richtig wäre das” liefert die Route — und genau die baut das Modell intern neu auf.

Kritik wirkt eben besser, wenn die Reparatur gleich mitkommt.

Vielleicht ist das auch zu viel Deutung für zwei Arbeiten über Grundschul-Mathe. Die Richtung stimmt trotzdem: Die KI wirkt klug, und ich glaube, sie ist es auch — nur ist ihre Klugheit keine verlängerte Version unserer.

Nutz sie also ruhig. Prüf die letzte Zeile trotzdem selbst. Genau diese unspektakuläre Angewohnheit trägt auf der langen Strecke.