Immer öfter packen Leute, bevor sie eine Pitch-Präsentation bauen, ein paar Wettbewerber in ChatGPT und fragen: „Wer davon ist am stärksten?“ oder „Ranke die mal für mich.“
Kenn ich aus dem Büro. Kurz vorm Meeting die Kandidatenliste reinkippen und das Modell sortieren lassen.
Und das Ranking, das rauskommt, landet dann eins zu eins in der Folie — als „die objektive Einschätzung der KI“.
Nur, eine Sache lässt mir keine Ruhe. Wenn du dieselben Namen in anderer Reihenfolge reinpackst, kommt dann dasselbe Ranking raus?
Du kennst das bestimmt: „Moment, das war doch eben nicht die Reihenfolge.“ Jemand hat jetzt mal genau gemessen, wie groß dieses Wackeln ist. Und die Zahl ist größer, als ich gedacht hätte. Schauen wir mal rein.
Was „die Reihenfolge ändert die Antwort“ eigentlich heißt
Erst die Klartext-Version. Position Bias heißt im Kern: Die Reihenfolge, in der du die Kandidaten zeigst, ändert, welchen das Modell wählt. Du willst, dass es nach Inhalt urteilt — aber der Platz, auf dem eine Option steht, zerrt an der Bewertung.
Bei uns Menschen ist das ja genauso. Leg jemandem drei Optionen nebeneinander, und die in der Mitte wirkt irgendwie wie die sichere Wahl. (Derselbe Reflex, der dich im Supermarkt zum Produkt im mittleren Regal greifen lässt.) Das Modell hat seine eigene Version von diesem Sog — und der knabbert halt leise an der Stabilität seiner Empfehlungen.
Die eigentliche Frage ist: Wie groß ist das Wackeln? Ist es winzig, gut, dann ignorier’s. Ist es das nicht, dann ist „lass die KI ranken“ ein wackligerer Move, als er aussieht.
Ein RMIT-Team hat die Liste neu gemischt und das Wackeln gemessen
Genau diese Frage haben sich Ethan Bito und Kollegen vorgenommen (die Studie). Sie ließen LLaMA 3.3 70B — ein großes Modell — Filme und Bücher empfehlen.
Sie nahmen zwei Standard-Datensätze: MovieLens für Filmbewertungen und die Buchbewertungen von Amazon. Die Methode war angenehm simpel. Nimm dieselbe Kandidatenmenge, misch die Reihenfolge, frag noch mal nach einer Empfehlung — und miss, wie stabil das Ergebnis über die Mischungen bleibt.
Der Maßstab war ein „Konsistenz-Score“: 1,0 heißt, das Ranking rührt sich beim Umsortieren nicht, 0 heißt, es kommt jedes Mal anders raus.
Und was kam raus?
Je länger die Kandidatenliste, desto mehr zerfiel die Konsistenz.
- Filme: 0,67 Konsistenz bei 10 Kandidaten, runter auf 0,47 bei 30 (ein Fall um 0,20 Punkte, rund 30 %).
- Bücher: 0,55 bei 10 Kandidaten, runter auf 0,47 bei 30 (etwa 15 %).
Heißt: Je mehr Optionen du die KI abwägen lässt, desto mehr entscheidet „die Reihenfolge das Ranking“. Bei zehn Kandidaten hält das Filmergebnis noch etwa zwei von drei Malen. Zieh auf dreißig hoch, und fast die Hälfte wird nur noch von der Position hin- und hergeschoben. Mehr Kandidaten rein — und das Urteil wird weich.
Das Team verbindet das mit „Lost in the Middle“ — der bekannten Angewohnheit von Modellen, Infos in der Mitte einer langen Eingabe zu verschlucken. Ein Kandidat, der mittig in der Liste parkt, wird blasser behandelt, als er ist. Und wenn deine Marke gerade auf Platz 15 steht, ist das kein schöner Gedanke.
Änder, wie du fragst, und das Wackeln schrumpft
Jetzt der Teil, der die Sache vor dem kompletten Frust rettet. Das Team hat auch eine andere Frageweise getestet, RISE. Statt die ganze Liste reinzukippen und ein einziges Ranking zu verlangen, lässt du das Modell einen wählen, zur Seite legen, den nächsten wählen, und so weiter.
Damit klettert die Konsistenz bei 30 Kandidaten wieder hoch: bei Filmen von 0,47 auf 0,69 (rund 46 % besser als die Standardfrage), bei Büchern von 0,47 auf 0,65 (rund 38 % besser).
Der Punkt ist: Sie haben das Modell nicht neu gebaut. Sie haben nur die Frage geändert. Gute Nachricht. Aber sie zeigt eben auch, wie fragil das schlichte „ranke die mal alle“ von Anfang an war.
Fazit: Behandle ein KI-Ranking als eine Ziehung, nicht als das Urteil
Die Lehre ist also nicht „KI kann nicht urteilen“. Sondern: Eine einzelne „empfohlene Reihenfolge“ aus einem Modell ist ein Würfelwurf, keine Messung — schon die reine Eingabe-Reihenfolge verschiebt sie um rund ein Drittel.
Zwei kleine Dinge würde ich an deiner Nutzung ändern. Erstens: mischen und mehr als einmal fragen. Statt den einen Durchlauf zu feiern, in dem du vorne warst, sortier die Liste um, lass sie ein paar Mal laufen und schau, ob du stabil weit oben stehst. Allein das bewahrt dich davor, auf eine Glücks-Anordnung reinzufallen.
Zweitens: weniger auf einmal beurteilen lassen. 30 Einträge in einem Rutsch zu ranken ist genau die Stelle, wo der Position Bias am schlimmsten ist — also eng es auf die fünf oder zehn ein, die wirklich zählen. Und wenn du viele Vergleichsachsen hast, verteil sie auf getrennte Fragen. Die Antworten halten besser.
Du wirst der KI mit der Zeit mehr solche Urteile überlassen. Und allein das Wissen „die Reihenfolge kann die Antwort kippen“ ändert, wie viel Gewicht du auf ein einzelnes Ranking legst. Wenn’s das nächste Mal drauf ankommt: misch deine eigene Liste und frag dreimal, bevor du’s glaubst.
Quelle
- Ethan Bito, Yongli Ren, Estrid He (2025), „Evaluating Position Bias in Large Language Model Recommendations“, arXiv:2508.02020, arXiv
