On demande un questionnaire à l’IA, et la vitesse est bien réelle. Vous tapez un objectif en gros, et trente questions tombent en quelques secondes.
Pour qui a déjà passé un après-midi devant un questionnaire vide, ça ressemble à un cadeau.
Moi aussi, je m’appuie dessus. C’est dur de résister.
Mais voilà le piège, celui qui mord plus tard. Le sondage part, les réponses reviennent, et la dispersion est énorme : les axes d’analyse ne s’alignent pas, et la moitié des gens semble répondre à une question légèrement différente.
Et on a vite fait de trancher : « c’est l’IA qui est mauvaise ». Sauf que c’est une supposition, pas un diagnostic.
Alors regardons trois études qui pointent où la qualité se fissure vraiment : la génération des questions, la sensibilité au prompt, et la façon dont les vraies gens formulent leurs questions.
« Le brouillon est nickel, alors pourquoi les réponses s’écroulent ? »
Commençons par la tension évidente : les questions se lisent bien, donc où est le problème ?
Une équipe menée par Mburu s’est penchée sur la question (Mburu et al., Journal of Engineering Education, 2025). Elle a construit une méthode pour générer des questions avec un LLM (le modèle de langage derrière ChatGPT) et les pré-valider avec SQRA, une revue structurée qui inspecte chaque item avant l’envoi.
La bonne nouvelle est réelle : l’IA excellait à formuler des questions bien adaptées au contexte. Si l’histoire s’arrêtait là, vous délégueriez la conception et iriez chercher un café.
Mais la même étude signale le hic. Les brouillons sortaient longs, à double sens (deux questions tassées en une) et bourrés de jargon.
Autrement dit : « écrit vite » et « prêt à l’emploi », ce sont deux choses différentes. Le brouillon est un point de départ déguisé en produit fini.
Même sens, d’autres mots — et le chiffre bouge
Passons au problème plus fin, tiré d’une étude d’Errica et de ses collègues (Errica et al., NAACL 2025). Leur trouvaille : même une reformulation qui veut dire la même chose pourrait faire varier le résultat mesuré de 3,2 à 10 %.
Pour un sondage, c’est vicieux. Si deux items quasi identiques sont formulés un peu différemment, on ne sait plus si l’écart dans les réponses vient d’une différence d’intention ou juste de formulation.
Le signal et le bruit portent le même costume.
Ce qui veut dire quoi ? Que bien utiliser des questions générées par l’IA ne tient pas seulement à ce que vous demandez. Garder une formulation cohérente d’un item à l’autre entre désormais dans le contrôle qualité, et non dans les petits caractères qu’on saute.
L’IA vise court et commercial. Les vraies gens, non.
Troisième point, une comparaison d’Otterly AI (Peham, Otterly AI, 2026). Ils ont aligné les prompts réels de ChatGPT face à ceux qu’on suppose que les gens tapent. Les vrais étaient en moyenne 71 % plus longs, avec bien plus de pronoms personnels et un langage bien plus centré sur le problème.
Cet écart atterrit pile sur la conception d’un questionnaire. Demandez à l’IA « d’écrire les questions que les gens poseraient », et elle dérive vers une formulation courte, généralisée, un brin commerciale.
Et là, sans le vouloir, vous ratez le souci concret et situé que traîne un vrai répondant. C’est-à-dire exactement ce que vous vouliez trouver en lançant le sondage.
Conclusion : coupez le temps de brouillon, pas le contrôle qualité
Utiliser l’IA pour rédiger des questions rend vraiment le premier jet rapide. Mais rapide ne veut pas dire que le contrôle qualité s’est automatisé avec. Dans les trois études, le même schéma revient : l’IA est excellente pour sortir une version brute, et le dernier travail — la mettre en forme pour que les répondants ne la lisent pas de travers — reste du côté humain.
Ce qu’il faut donc vérifier avant d’envoyer, ce n’est pas le vernis du brouillon, mais trois choses simples : chaque item est-il une seule question et pas deux ? Le vocabulaire est-il cohérent d’un item à l’autre ? Le répondant a-t-il assez de contexte pour se représenter la situation ?
C’est la ligne que je poserais comme règle : laisser l’IA gérer le brouillon rapide, et garder la décision « ça, on peut l’envoyer ? » du côté d’un humain. Je me trompe peut-être sur le partage exact des tâches — mais tracer cette ligne explicitement reste l’assurance la moins chère contre des données qui ont l’air propres et qui, au fond, ne disent rien.
Sources
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog
