„Zwei alte Mails reinkopiert, und auf einmal schreibt das Ding gut”
Du bittest die KI um irgendwas. Kommt Mittelmaß zurück. Also kopierst du zwei, drei Beispiele rein, wie du es eigentlich haben willst, fragst nochmal — und die zweite Antwort ist auf einmal eine ganz andere Liga.
Kennst du das?
Bei mir passiert das ja ständig. Wenn ich einen Mail-Entwurf will und vorher ein paar alte Mails in den Prompt packe, sehe ich den Unterschied sofort.
Nur: Gleich danach kommt der Zweifel. Lernt das Ding jetzt wirklich aus den Beispielen, oder war das einfach Glück? Es fühlt sich an, als würde es wirken. Und auf ein Gefühl baut man halt ungern eine Team-Routine, weil keiner sagen kann, ob der Trick morgen noch zieht.
Genau die Frage hat sich mal jemand richtig angeschaut. Schauen wir es uns an.
Der Trick heißt Few-Shot. Was drinnen passiert, heißt anders
Erst ein Begriff, dann geht’s weiter. Beispiele in den Prompt zu kippen nennt man Few-Shot-Prompting — „few-shot” heißt einfach „mit ein paar Beispielen”. Gar kein Beispiel ist Zero-Shot, zwei oder drei sind Few-Shot. Mehr steckt in der Unterscheidung nicht drin.
Und was dabei in der KI passiert, heißt .
In-Context-Learning heißt im Kern: Die KI stellt ihr Verhalten auf die Beispiele im Prompt ein, ohne dass irgendwas nachtrainiert wird. Innen drin wird nichts umgeschrieben, die Parameter sind exakt dieselben wie eine Sekunde vorher. Und trotzdem antwortet sie anders. Sprich: Der Hebel liegt bei dir im Prompt, nicht im Warten auf das nächste bessere Modell.
Die offene Frage war nur: Darf man das überhaupt Lernen nennen — oder sieht es bloß verdammt gut danach aus?
Was Berkeley durchgerechnet hat
Genau da ist ein Team der University of California, Berkeley rangegangen: Ruiqi Zhang, Spencer Frei und Peter L. Bartlett. Veröffentlicht 2024 im JMLR, einer der zentralen Fachzeitschriften des maschinellen Lernens (Studie).
Was haben sie gemacht? Sie haben einen Transformer — die Architektur, auf der die heutigen KI-Systeme aufsetzen — bis auf die Knochen vereinfacht und sein Training mit Mathematik sauber durchverfolgt. Die echten Modelle sind halt zu verwurstelt, um sie exakt durchzurechnen. Also lässt man nur das Wesentliche stehen und knackt die kleinstmögliche Variante ganz.
Und was kam raus?
- Trainiert man lange genug, landet das Modell verlässlich in seinem bestmöglichen Zustand (Konvergenz zum globalen Minimum).
- In diesem Zustand ist sein In-Context-Learning so treffsicher wie der theoretisch beste Vorhersager für die vorliegenden Daten.
Auf Deutsch: In dem Moment, in dem die KI deine Beispiele liest, baut sie sich eine Vorhersageregel, die zu genau diesen Beispielen so gut passt wie nur irgend möglich.
Das Ding legt seine Hand erst, wenn es deine schon gesehen hat.
Nicht schlecht, das Ding, muss man schon sagen.
Warum das echtes Büffeln ist und keine Show
Jetzt wird’s interessant. Das Team hat nämlich obendrein gezeigt, dass die Rechnung, die das Modell intern fährt, im Ergebnis dasselbe tut wie das altbekannte Verfahren aus dem maschinellen Lernen: sich anhand von Beispielen Stück für Stück verbessern.
Heißt, die KI startet beim Anblick deiner Beispiele mitten im Prompt sowas wie eine frische Runde Regel-Lernen aus Daten.
Das Gefühl, dass da gerade gelernt wird, war also keine Einbildung. Beispiele wirken, weil das Ding so gebaut ist.
Das Kleingedruckte: bewiesen ist es in einer „linearen” Welt
Zwei Vorbehalte, und beide zählen.
Der Beweis trägt in einem bewusst vereinfachten, linearen Aufbau. Dass in einem so riesigen, vielschichtigen System wie ChatGPT haargenau dasselbe passiert, kann bislang keiner behaupten. Das Team sagt das selbst: Die Ausweitung auf komplexere Szenarien steht noch aus. Am Eingang einer großen Höhle brennt jetzt eine sehr helle Lampe. Hinten ist es weiter dunkel.
Und der zweite Vorbehalt ist der, der dich im Alltag trifft. In-Context-Learning gilt nur für diese eine Sitzung. Was die KI aus deinen Beispielen gezogen hat, ist weg, sobald du das Chatfenster zumachst. Behalten tut sie davon eben nichts.
Fazit: Die Beispiele musst du aufheben, die KI tut es nicht
Runtergebrochen auf deinen Alltag ist die Sache simpel. Beispiele in den Prompt zu setzen ist kein Aberglaube und kein Glücksbringer, sondern ein vernünftiger Zug, gedeckt von der Funktionsweise des Systems. Die Berkeley-Arbeit zeigt: Die KI baut sich aus dem, was sie vor sich hat, die bestmögliche Art zu antworten. Ihr also ein, zwei Beispiele hinzulegen, die deinem Wunschergebnis ähneln, ist rechnerisch genau richtig.
Praktisch heißt das eine einzige Gewohnheit: Hör auf, die guten Beispiele als Geheimwissen von irgendwem zu behandeln. Wenn ihr im Team mit KI arbeitet, gehören die funktionierenden Beispiele halt in ein Template, das jedes Mal mit reinkopiert wird.
Denn der Prompt, der dir heute den Tag gerettet hat, wandert von allein in keinen neuen Chat.
Und zieh eine klare Grenze zwischen zwei Dingen, die gern verwechselt werden. In-Context-Learning deckt die Anpassung im Moment ab. Dass ein Modell die Informationen und Regeln deiner Firma dauerhaft mit sich rumträgt, ist ein anderes Problem mit anderer Maschinerie — da kommst du mit Prompt-Bastelei nicht hin. Wer diese Linie im Kopf hat, verkürzt die nächste Diskussion à la „können wir das nicht einfach über den Prompt lösen?” ganz erheblich.
Das Feld ist jung, endgültig ist da wenig. Aber dass Beispiele wirken, ist eben doch eine gut begründete Sache. Fang ruhig damit an, einem Prompt, den du eh benutzt, ein einziges Beispiel beizulegen — und schau, was sich bewegt.
Quelle
- Ruiqi Zhang, Spencer Frei, Peter L. Bartlett (UC Berkeley), „Trained Transformers Learn Linear Models In-Context”, JMLR Vol.25, 2024, Link
