„Bestes CRM-Tool” — fragt das eigentlich irgendjemand so?
Wenn du die KI-Sichtbarkeit deiner Marke misst, sieht deine Prompt-Liste vermutlich so aus: „bestes CRM-Tool”, „beste Projektmanagement-Software”. Kurz, sauber, gut vergleichbar.
Hab ich auch so gemacht. Ist ja auch praktisch.
Aber denk mal an dein letztes echtes ChatGPT-Gespräch. Da standen keine zwei Wörter. Da stand ein halber Absatz — Teamgröße, Budget, plus die eine Spezialanforderung aus deinem Laden.
Nur: Wenn echte Fragen so aussehen, dann misst ein reines „best”-Set ein Gespräch, das draußen kaum stattfindet. Genau diese Lücke hat sich jemand mal im Detail angeschaut.
Echte Fragen sind 71 % länger — und deutlich persönlicher
Thomas Peham von Otterly AI hat Hunderte echte ChatGPT-Prompts mit den geschätzten Prompts verglichen, die Tracking-Tools erzeugen (die Analyse).
Das Ergebnis ist ziemlich eindeutig:
- Durchschnittslänge: geschätzt 8,8 Wörter, echt 15,1 — also 71 % länger
- Personalpronomen: in 18,8 % der geschätzten, aber 52,1 % der echten Prompts (2,8-fach)
- Problemorientierte Formulierungen: 7,1 % gegen 21,1 % (dreifach)
- Erstes Wort: geschätzte Prompts hängen an „best”, echte starten mit „what” und „I”
Echte Nutzer wollen kein Ranking, sie schildern eine Lage. „Wir sind fünf Leute, so viel Budget, was passt zu uns?” Das ist keine Suchanfrage mehr. Das ist halt eine Beratung.
Nicht das Wort entscheidet, sondern die Frage dahinter
Jetzt könntest du sagen: Dann tausch ich „best” eben gegen „top”. Reicht das?
Eher nicht. Denn ein NAACL-2025-Paper von Errica und Kollegen hat gemessen, wie stark die Genauigkeit von Sprachmodellen schwankt, wenn man dieselbe Frage nur umformuliert: um 3,2 bis 10 % (die Studie). Spürbar, ja. Aber der große Hebel ist das nicht.
Der große Hebel ist die Bedeutungsstruktur. Sprich: Ob du ein Ranking abfragst oder eine Entscheidung unter Bedingungen, ändert die Art der Antwort — nicht bloß ihre Färbung.
Und die Bedingungs-Variante ist genau die, die echte Nutzer dauernd tippen.
Auch deine Test-Prompts gehören auf den Prüfstand
Ein dritter Befund passt dazu. Mburu und Kollegen haben KI-generierte Umfragefragen untersucht: schnell erstellt, aber anfällig für ausufernde Formulierungen und (das Paper).
Heißt, die Fragen in deinem Mess-Set sind selbst Prüfmaterial. Lässt du dir von einer KI „typische Kundenfragen” generieren, kommen tendenziell kurze, kommerzielle Häppchen raus — exakt die Schieflage, die Otterly gemessen hat.
Die Lösung ist nicht, das Generieren sein zu lassen. Die Lösung ist, die langen Beratungsfragen mit echten Bedingungen bewusst dazuzumischen.
Fazit: Miss nicht nur „best”, miss die Beratung
Wenn dein KI-Sichtbarkeits-Tracking nur aus kurzen „best”-Prompts besteht, misst du etwas Echtes — aber etwas Schmales. Die Fragen echter Käufer haben Teamgröße, Budget und Einschränkungen gleich mit im Gepäck.
Konkret heißt das zweierlei. Erstens: Bau dein Prompt-Set zweistufig — die kurzen „best”-Prompts behalten (die sind über die Zeit vergleichbar), Beratungsfragen mit echten Bedingungen dazu. Zweitens: Halte deinen Content gegen dieselben Fragen. Beantwortet deine Seite „was passt in dieser Situation?” — oder nur „das können wir alles”?
Wer beide Fragetypen misst, sieht, wie die KI im echten Beratungsmoment über die eigene Marke redet. Und genau da fällt die Entscheidung.
Quellen
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026-02-03, Otterly AI
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
