„Und diese Zahl — wer hat da eigentlich gefragt?“
Du hast die Zahl selbst herausgesucht, und trotzdem kannst du sie nicht verteidigen, sobald jemand einmal nachhakt.
Bei wie vielen Fragen dein Name fällt: kannst du zeigen. Wie viel sich seit letztem Monat bewegt hat: kannst du auch zeigen. Zwei echte Zahlen.
Hakt jemand nach, wer diese Frage gestellt hat, wird der Boden weich.
Bei mir hat die Annahme jahrelang gehalten, dass gleicher Wortlaut auch gleiche Bedingungen heißt. Gleiche Wörter rein, gleiches Spielfeld halt.
Und dann hat jemand eine einzige Zeile über die fragende Person davorgesetzt, und es kamen andere Marken zurück. 2.000 Durchläufe davon. Was sich dabei verschoben hat, ist der Stoff für heute.
Empfiehlt die KI verschiedenen Leuten verschiedene Marken?
Ja. Wortgleiche Frage, davor ein „Du bist Inhaber eines kleinen britischen Unternehmens“ — und die Überschneidung zwischen den beiden Markenlisten sinkt um 0,12 bis 0,20.
Bewegt hat sich vor allem das Mittelfeld. Bei Mid-Market-Marken wurden zwischen zwei Personas bis zu 75 % der Namen ausgetauscht, während Kategorieführer rund 80 % ihrer Plätze behielten, egal wer gefragt hat.
Die Arbeit ist ein Preprint — also online, bevor irgendwer von außen sie begutachtet hat — von Will Jack, Noah Lehman, Keller Maloney und Sarah Xu vom Team Unusual.ai, am 28. Mai 2026 auf arXiv hochgeladen (die Studie).
Gemessen wurde an kommerziellen Chats, die ihre Antwort auf laufende Suchergebnisse stützen. Zehn Personas × acht Fragen × drei Modell-Konfigurationen × zehn Wiederholungen, macht 2.000 Durchläufe.
Eine Persona heißt im Kern: eine Zeile Vorspann, die sagt, was für ein Mensch da fragt. Zehn Stück haben sie von Hand gebaut, aus Branche, Firmengröße, Position und Region — ein Solo-Gründer in den USA, eine Einkaufsleiterin im Konzern, der Inhaber eines kleinen britischen Betriebs, und sieben weitere in der Art.
Der erste Platz steht fest. In der Mitte werden Stühle frei.
Wie bekannt eine Marke ist, entscheidet darüber, wie stark die fragende Person durchschlägt. Die Studie sortiert die Marken nach Bekanntheit in Stufen und gibt für jede Stufe an, wie viel der Aufstellung beim Personawechsel ersetzt wurde.
Über die drei Modell-Konfigurationen hinweg sehen die Spannen so aus:
- Kategorieführer: 20–29 %
- Mid-Market: 39–75 %
- Regionale Anbieter: 27–33 %
Der Erste wird eh jedem genannt, sein Stuhl ist also festgeschraubt. In der Mitte dagegen leeren sich die Stühle und füllen sich wieder, sobald die fragende Person wechselt.
Das liest sich nach schlechter Nachricht und ist mal genau andersrum gemeint. Ein Stuhl, der nicht festgeschraubt ist, ist ein Stuhl, auf den du dich setzen kannst.
Wie viel kommt zurück, wenn du einfach zweimal fragst?
Das Maß für die Überschneidung heißt hier Jaccard-Index und bewertet auf einer Skala von 0 bis 1, wie viel zwei Aufstellungen gemeinsam haben — je näher an 1, desto mehr stehen dieselben Marken da.
Zwischen verschiedenen Personas lag diese Überschneidung bei 0,22–0,35. Und bei gleicher Persona, einfach mehrfach gefragt, kam sie auch nur auf 0,42–0,51.
Heißt, dieselbe Person bekommt auf dieselbe Frage ja jedes Mal eine fast zur Hälfte andere Aufstellung. Der Persona-Effekt kommt da noch obendrauf.
Was bleibt dann von einem „wir waren diesen Monat unter den Empfehlungen“, einmal gemessen? Ungefähr so viel wie ein Charakterurteil nach einer Runde Schere-Stein-Papier. Wenn deine Marke nicht die Nummer eins der Kategorie ist, ist das monatliche Rein und Raus wohl eher die Struktur der Sache als das Rauschen deiner Messung.
Sprich: Die Reihenfolge zählt. Erst wiederholen, dann nach Personas trennen. Fehlt eins von beidem, lässt sich der Abstand nicht lesen.
Wie weit trägt das für die eigene Marke?
Alle vier Autoren arbeiten bei Unusual.ai, einem Anbieter für KI-Markensichtbarkeit — und „man muss pro Persona messen“ passt denen natürlich gut ins Geschäft. Fünf weitere Dinge begrenzen, wie weit diese Zahlen tragen.
- Zum Begutachtungsstand steht nirgends etwas: es ist ein Preprint
- Zehn handgebaute Personas, nur auf Englisch, konzentriert auf USA, UK und EU
- Gemessen an einem einzigen Tag, Schwankungen über Tage hinweg sind damit ungeprüft
- Die Long-Tail-Spezialisten hatten in allen Bedingungen zu wenig Fälle (unter 30 pro Zelle) und bekommen deshalb gar keine Zahl
- Die Anthropic-Konfiguration deckt nur 4 der 8 Fragen ab
Und kausal ist hier nichts. Belegt ist: Wechselt die fragende Person, wechselt das Ergebnis. „Schreib eine Persona dazu und du kriegst die Empfehlung“ steht da nirgends.
Die beiden Anbieter haben sich übrigens auch nicht gleich verhalten. Beim Anthropic-Modell schlug die Persona stärker durch (die 0,20), und 43 bis 52 % seiner Empfehlungen hingen an gar keinem abgerufenen Suchergebnis. Bei den OpenAI-Konfigurationen sind es 8–29 %.
Die Autoren vermuten dahinter, wie stark eine Antwort auf Wissen aus dem Training statt aus der Suche zurückgreift, und schreiben ehrlich dazu, dass der Mechanismus offen ist. Für mich ist das der Grund, jedes Modell für sich zu messen. Wobei ein einziger Messtag halt dünner Boden ist, und vielleicht lehne ich mich da schon zu weit raus.
Stell dieselbe Frage als zwei oder drei deiner Kundentypen
Als eine Linie im Report gehalten, plättet KI-Sichtbarkeit die ganze Bewegung zwischen den Fragenden zu einem Mittelwert. Und bei einer Marke im Mittelfeld sitzt dieser Mittelwert doch auf einem ordentlichen Stühlerücken.
Was du zuerst änderst, ist nur die Art, wie du fragst. Schreib zwei, drei deiner wichtigsten Kundentypen auf, schick deine übliche Frage jeweils mit einem davon als Vorspann los, und leg die Ergebnisse nebeneinander.
Denn beim Mitteln hebt sich die Stufe mit den freien Stühlen gegen die Stufe mit den besetzten auf. Getrennt siehst du endlich, in wessen Antwort dein Name fehlt.
Und von wem ist diese Zahl eigentlich? Das ist die Beschriftung, die ich gern auf der Kurve hätte — bevor ich die Kurve lese.
Quellen
- Will Jack, Noah Lehman, Keller Maloney, Sarah Xu (Unusual.ai), „Persona Conditioning of Brand Recommendations in Retrieval-Augmented Commercial Chat: A Prominence-Stratified Cross-Provider Audit“, arXiv-Preprint 2605.30207v1, 28. Mai 2026, arxiv.org (faktorielles Design aus 10 Personas × 8 Fragen × 3 Modellkonfigurationen × 10 Wiederholungen = 2.000 Durchläufe. Die Konfigurationen sind GPT-5.4-mini mit niedrigem und mit hohem Reasoning-Effort sowie Claude-sonnet-4.6 mit niedrigem Effort. Ein vorangestellter Persona-Satz senkt die Jaccard-Ähnlichkeit der Empfehlungsmenge um −0,12 [95-%-Intervall −0,153, −0,091], −0,16 [−0,194, −0,139] und −0,20 [−0,263, −0,156], und keines der drei Intervalle enthält die Null. Zwischen verschiedenen Personas liegt die Ähnlichkeit bei 0,22 bis 0,35, innerhalb derselben Persona bei 0,42 bis 0,51. Wechselquote der Empfehlungen nach Bekanntheitsstufe: Kategorieführer 23 %/29 %/20 %, etablierte Herausforderer 5 %/13 %/23 %, Mittelfeld 75 %/67 %/39 %, regionale Anbieter 27 %/33 %/—. In der Formulierung des Abstracts halten Kategorieführer rund 80 % Konstanz, im Mittelfeld werden bis zu 75 % ausgetauscht. Empfehlungen ohne Bezug zu einer abgerufenen Quelle machen bei Anthropic 43 % bis 52 % aus, bei OpenAI 8 % bis 29 %. Grenzen: Alle Autoren arbeiten bei Unusual.ai, einem Anbieter für KI-Markensichtbarkeit mit kommerziellem Interesse an diesem Ergebnis; der Begutachtungsstand ist nicht angegeben; die Long-Tail-Stufe ist in allen Zellen unterbesetzt, mit weniger als 30 Markennennungen je Zelle; die sonnet-Zellen decken nur 4 der 8 Fragen ab; die Personas sind 10 handgeschriebene, nur auf Englisch und auf die USA, Großbritannien und die EU konzentriert; Varianten in der Formulierung des Vorspanns wurden nicht getestet; gemessen wurde an einem einzigen Tag, zeitliche Drift bleibt also unbewertet; und die von den Autoren vorgeschlagene Erklärung — dass die Persona auf die Generierung aus Vorwissen wirkt und nicht auf den Abruf — ist unbestätigt)
