Vous ouvrez votre outil de visibilité IA, curieux de voir sur quelles questions il vous juge. Et là, petite déception : les prompts qu’il analyse ne ressemblent pas du tout à ce que vos clients tapent pour de vrai.
Hex-ko aussi a tiqué la première fois. « ChatGPT, quel est le meilleur logiciel de compta ? » : sec, générique, presque robotique. Alors qu’un vrai humain écrirait plutôt trois lignes brouillonnes, avec son contexte à lui et son problème du moment.
Sauf que la vraie question, la voici : est-ce que ça invalide toute la mesure ? Si l’outil se trompe sur les questions, pourquoi lui faire confiance sur les réponses ?
Deux analyses récentes ont regardé ça de près. La première met vrais et faux prompts côte à côte. La seconde démonte un chiffre qui a pourtant l’air très sérieux. On creuse.
« Si l’outil invente les questions, à quoi bon lire ses résultats ? »
C’est le doute légitime. La plupart des outils ne regardent pas de vrais utilisateurs taper : ils estiment les prompts à votre place, à partir de mots-clés et d’un peu de flair. Reste à savoir à quel point ces estimations tombent à côté.
Vrais prompts, prompts estimés : Otterly a mis les deux face à face
Otterly AI a analysé des centaines de prompts ChatGPT réels et les a comparés aux prompts « estimés » que fabriquent les outils. Le contraste saute aux yeux.
- Longueur : 8,8 mots en moyenne pour les estimés, contre 15,1 pour les vrais.
- Pronoms à la première personne (« je », « mon », « chez nous ») : 18,8 % côté estimé, 52,1 % côté réel.
- Formulations orientées problème (« comment régler… », « pourquoi mon… ») : 7,1 % contre 21,1 %.
Autrement dit, les vraies personnes écrivent plus long, plus perso, plus « j’ai un souci ». Les prompts estimés, eux, sonnent comme une requête Google déguisée. Deux bêtes différentes, vraiment.
Et pourtant, le classement des marques tient debout
Voilà le retournement qui sauve la mesure. Malgré ces écarts d’entrée, Otterly note que le classement des marques obtenu ressort « assez similaire » dans les deux cas.
Autrement dit : les mots pour poser la question changent, mais les marques que l’IA finit par citer, elles, bougent peu. Un prompt estimé n’est donc pas une copie du réel. C’est une carte approximative, assez juste pour voir où vous vous situez face à un concurrent.
À utiliser pour lire une position relative, pas pour croire au chiffre absolu.
Concrètement, pour vous : si l’outil vous place derrière tel concurrent sur dix questions estimées, l’écart est sans doute réel. Mais le « 3e » exact, lui, ne mérite pas qu’on cale un budget dessus.
Le piège du chiffre qui fait trop sérieux
Passons au vrai danger. Une analyse critique de jaeckert-odaniel.com s’attaque au « volume de recherche de prompts » : ce chiffre qui vous annonce, l’air de rien, combien de fois par mois les gens taperaient telle question.
Le souci, c’est ce qu’il y a dessous.
- La collecte s’appuie surtout sur du clickstream Chrome desktop, et rate une grosse part de l’usage mobile.
- Extrapoler à partir de panels déjà biaisés amplifie l’erreur à chaque étape.
Résultat : un « 8 400 par mois » qui a l’air chirurgical, mais dont le sol se dérobe dessous. C’est de la fausse précision. Une balance qui affiche trois décimales n’est pas plus exacte pour autant : elle est juste plus bavarde.
La précision d’affichage n’est pas l’exactitude de la mesure.
Pour vous, ça veut dire : ce genre de volume est bon pour un « tiens, des gens demandent peut-être ça », pas pour trancher une décision. Le promouvoir en KPI (indicateur clé qui pilote vos choix), c’est habiller une hypothèse en certitude.
Conclusion : vérifiez d’où viennent les prompts avant de faire confiance
Avant de vous fier à un outil, posez-lui une question toute bête : d’où sortent ses prompts estimés ? De vrais journaux de conversation, de simples termes de recherche recyclés, ou d’une génération par IA ? Les trois n’ont pas la même valeur, et un outil honnête le précise.
Deuxième réflexe : regardez si la méthodologie annonce sa couverture mobile. Un panel qui ne voit que le desktop vous raconte la moitié de l’histoire, et pas forcément la vôtre.
Le bon usage, au fond, tient en une phrase. Les prompts estimés sont un appui de comparaison, à poser à côté de vos propres données (trafic, conversions, ce que vos clients vous disent), et surtout pas un KPI principal qu’on lit en valeur absolue.
En clair : traitez ces chiffres comme un classement relatif, jamais comme une vérité au chiffre près, et vérifiez toujours la source des prompts avant d’y adosser la moindre décision. Le reste, c’est de l’affichage qui rend bien.
Sources
- Thomas Peham (Otterly AI), « Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries », otterly.ai
- jaeckert-odaniel.com, « Prompt search volume: Real data or all guessed? », jaeckert-odaniel.com
