Lass dir von der KI eine Umfrage schreiben, und das Tempo ist echt beeindruckend. Du tippst grob dein Ziel rein, und Sekunden später liegen dreißig Fragen da.
Wer schon mal einen Nachmittag vor einem leeren Fragebogen gesessen hat, weiß: allein das fühlt sich wie ein Geschenk an.
Ging mir genauso. Man lehnt sich da halt gern dran.
Aber jetzt kommt der Haken, der später zubeißt. Die Umfrage geht raus, die Antworten kommen zurück — und die Streuung ist riesig. Die Auswertungsachsen passen nicht zusammen, und die halbe Stichprobe scheint eine leicht andere Frage zu beantworten.
Und dann ist es schnell abgehakt mit „die KI taugt eben nichts”. Nur: Das ist eine Annahme, keine Diagnose.
Schauen wir uns also drei Studien an, die zeigen, wo die Qualität wirklich bricht: bei der Fragen-Generierung, bei der Prompt-Empfindlichkeit und dabei, wie echte Menschen fragen.
„Der Entwurf sieht top aus — warum kippen dann die Antworten?”
Fangen wir mit dem offensichtlichen Widerspruch an: Die Fragen lesen sich gut. Was ist also faul dran?
Ein Team um Mburu hat sich das genau angeschaut (Mburu et al., Journal of Engineering Education, 2025). Sie haben eine Methode gebaut, um Umfragefragen mit einem LLM (dem Sprachmodell hinter ChatGPT) zu erzeugen und sie vorab mit SQRA zu prüfen — einem strukturierten Check, der jede Frage vor dem Versand durchleuchtet.
Die gute Nachricht ist echt: Die KI war richtig stark darin, kontextpassende Fragen zu formulieren. Wär das die ganze Geschichte, könntest du das Design abgeben und Kaffee holen gehen.
Aber dieselbe Studie zeigt den Haken. Die Entwürfe kamen langatmig raus, doppeldeutig (zwei Fragen in eine gequetscht) und voller Fachjargon.
Heißt: „schnell geschrieben” und „einsatzbereit” sind zwei völlig verschiedene Dinge. Der Entwurf ist ein Startpunkt im Kostüm eines fertigen Produkts.
Gleiche Bedeutung, andere Wörter — und die Zahl verschiebt sich
Jetzt das feinere Problem, aus einer Studie von Errica und Kollegen (Errica et al., NAACL 2025). Ihr Befund: Selbst eine Umformulierung, die dasselbe meint, kann das gemessene Ergebnis um 3,2 bis 10 % verschieben.
Bei einer Umfrage ist das übel. Wenn zwei fast identische Fragen leicht unterschiedlich formuliert sind, kannst du nicht mehr sagen, ob der Unterschied in den Antworten aus einer Differenz in der Absicht kommt oder nur aus der Formulierung.
Signal und Rauschen tragen denselben Anzug.
Sprich: KI-Fragen sauber einzusetzen, hängt nicht nur davon ab, was du fragst. Die Formulierung über alle Fragen hinweg konsistent zu halten, gehört jetzt zur Qualitätssicherung — und nicht zum Kleingedruckten, das man überspringt.
Die KI rät kurz und kommerziell. Echte Leute nicht.
Drittens ein Vergleich von Otterly AI (Peham, Otterly AI, 2026). Sie haben echte ChatGPT-Prompts gegen die gestellt, von denen man annimmt, dass Nutzer sie tippen. Die echten waren im Schnitt 71 % länger, mit deutlich mehr persönlichen Fürwörtern und viel problemorientierterer Sprache.
Genau diese Lücke landet im Umfragedesign. Bittest du die KI, „die Fragen zu schreiben, die Leute stellen würden”, driftet sie zu kurzen, verallgemeinerten, leicht kommerziellen Formulierungen.
Und so lässt du ganz nebenbei die unordentliche, konkrete Sorge weg, die ein echter Teilnehmer mit sich rumträgt. Also genau das, wofür du die Umfrage überhaupt gestartet hast.
Fazit: Kürz die Entwurfszeit, nicht die Qualitätsprüfung
Die KI für Umfragefragen zu nutzen, macht den ersten Entwurf tatsächlich schnell. Aber schnell heißt nicht, dass die Qualitätsprüfung gleich mitautomatisiert ist. In allen drei Studien wiederholt sich dasselbe Muster: Die KI ist super darin, eine Rohfassung rauszuhauen — und der letzte Job, sie so zu schleifen, dass Teilnehmer sie nicht missverstehen, bleibt beim Menschen.
Was du also vor dem Absenden prüfen solltest, ist nicht der Feinschliff des Entwurfs, sondern drei schlichte Dinge: Ist jede Frage genau eine Frage und nicht zwei? Sind die Begriffe über alle Fragen hinweg einheitlich? Hat der Teilnehmer genug Kontext, um sich die Situation vorzustellen?
Das ist die Grenze, die ich zur Regel machen würde: Die KI übernimmt den schnellen Entwurf, und die Entscheidung „darf das raus?” bleibt beim Menschen. Vielleicht liege ich bei der genauen Aufteilung daneben — aber diese Linie bewusst zu ziehen, ist die billigste Versicherung gegen Daten, die sauber aussehen und in Wahrheit nichts sagen.
Quellen
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog
