« Je pose la même question à l’IA, et j’ai une réponse différente à chaque coup »
Vous l’avez peut-être déjà fait, ce petit rituel devenu courant chez les marketeurs : taper le nom de sa boîte, ou celui d’un concurrent, dans ChatGPT, pour voir si elle ressort. « Quelle est la meilleure entreprise dans tel secteur ? », et on guette son propre nom dans la réponse. C’est le nouveau miroir de l’ère IA, et l’envie d’aller s’y regarder se comprend tout à fait.
Sauf que ceux qui ont recommencé l’expérience plusieurs fois sont sans doute tombés sur le même agacement. À l’instant, votre marque sortait en troisième position ; on relance la même question, et elle a purement et simplement disparu. De quoi rester un moment devant son écran à se demander : laquelle des deux réponses est la « vraie » ?
D’habitude, on balaie ce phénomène d’un revers de main : « bah, l’IA, c’est comme ça, c’est aléatoire ». Mais que se passerait-il si cette instabilité suivait une règle ? Et, mieux encore, si cette règle était quelque chose que vous pouviez contrôler ?
C’est précisément ce qu’une étude a tenté de mesurer : jusqu’où la fameuse « variabilité » des réponses se laisse prédire par le type de question posée. Le tout sur 14 000 interrogations bien réelles.
D’abord, comment mesure-t-on cette instabilité ?
L’enquête vient de l’équipe de recherche de Conductor, un éditeur d’outils de visibilité IA. Et l’échelle a de quoi impressionner : 14 000 questions posées au total, avec les réponses de quatre IA — ChatGPT, Perplexity, Claude et Gemini — soigneusement enregistrées.
L’idée maligne, c’est d’avoir trié ces questions selon leur « intention », en sept grandes catégories. L’, autrement dit, c’est ce que l’utilisateur cherche vraiment à faire en posant sa question. « Lequel acheter ? » relève de l’achat ; « A ou B, lequel est le meilleur ? » de la comparaison ; « C’est quoi, au juste, tel truc ? » de l’éducation. Sept types, donc, classés par objectif.
Sur cette base, l’instabilité a été mesurée avec deux règles différentes.
- Le taux de concordance des marques : on pose deux fois la même question, et on regarde la proportion de marques qui apparaissent dans les deux réponses.
- Le taux de stabilité du nº1 : la toute première marque recommandée est-elle la même lors des deux passages ?
Plus ces deux chiffres sont élevés, plus l’IA « répond pareil ». Voyons donc ce que ça donne.
Le résultat : l’achat part dans tous les sens, la comparaison ne bouge presque pas
Et là, les chiffres sont franchement parlants. Selon l’intention de la question, la stabilité varie en marches d’escalier bien nettes.
La catégorie la plus instable, et de loin, c’est l’intention d’achat. Son taux de concordance des marques tombe à seulement 40%. Pour reprendre la formule de l’équipe de recherche : quand on lance deux fois une requête d’achat, sur les 10 marques apparues, 4 seulement se retrouvent dans les deux réponses. Les 6 autres changent de visage à chaque interrogation.
À l’inverse, la plus stable, c’est l’intention de comparaison : son taux de stabilité du nº1 grimpe à 91%. Demandez « A ou B, lequel est le meilleur ? » et, à peu de chose près, la même marque arrive en tête à chaque fois. C’est la même IA, la même question — et pourtant, entre l’achat et la comparaison, on ne vit pas dans le même monde.
L’intention éducative, elle, a une bizarrerie à part : l’éventail des marques citées reste plutôt cohérent, mais le taux de stabilité du nº1 ne dépasse pas 30%. Plus étonnant encore, entre 45 et 72% de ces questions n’ont renvoyé aucune marque. Quand on lui demande « c’est quoi, tel concept ? », l’IA préfère manifestement répondre en généralités plutôt que de sortir un nom d’entreprise.
Pourquoi les questions « d’achat » sont-elles les plus instables ?
Là où ça devient éclairant, c’est que cette instabilité épouse à peu près l’encombrement du terrain sur lequel porte la question.
Une question d’achat, du genre « bon, finalement, lequel j’achète ? », ouvre sur une foule de marques candidates. Beaucoup de choix, et difficiles à départager. Sur un terrain aussi encombré, l’IA va piocher à chaque fois une liste légèrement différente. C’est un peu comme une pochette-surprise : le contenu change à chaque ouverture, certains jours on tombe sur la bonne marque, d’autres jours elle manque à l’appel.
La comparaison, à l’opposé, arrive déjà avec ses candidats triés sur le volet — « A ou B ». Le plateau est restreint, les protagonistes sont fixés d’avance, et la réponse n’a plus tellement de marge pour vaciller. D’où sa stabilité, tout simplement.
Et il y a un autre facteur à ne pas négliger : chaque IA a ses manies. Pour une même question, ChatGPT resserre sa réponse autour de 5 marques en moyenne, là où Gemini en aligne 9,2. Perplexity et Claude se situent entre les deux. Or plus une IA cite de marques, plus le casting a, mécaniquement, de chances de changer d’une fois à l’autre.
Autrement dit, selon l’IA avec laquelle vous mesurez, la « tendance naturelle à l’instabilité » n’est déjà pas la même au départ.
La conclusion : pour mesurer votre présence IA, figez d’abord l’intention de la question
Si on résume tout ça : l’instabilité des réponses d’une IA n’a rien d’un caprice. Elle se joue en grande partie sur le type d’intention de la question posée. L’achat est condamné à varier, la comparaison ne bronche presque pas. Vous pouvez suivre exactement le même nom de marque : selon votre façon de poser la question, le paysage que vous observez change du tout au tout.
Alors, si vous voulez suivre votre présence dans les IA dans la durée, il y a une seule chose à faire en priorité.
Figer l’« intention » de la question avec laquelle vous mesurez.
Suivre quelque chose dans le temps, ça veut dire mesurer sans cesse dans les mêmes conditions. Si vous posez une question d’achat aujourd’hui et une question de comparaison la semaine prochaine, vous ne saurez jamais démêler ce qui, dans la variation de vos chiffres, vient de vos actions et ce qui vient du simple bruit. Vous voulez suivre un effet de façon stable ? Choisissez la comparaison. Vous voulez sentir les remous réels du terrain ? Prenez l’achat. Dans les deux cas, on fixe l’intention par avance, puis on mesure toujours dans les mêmes conditions. C’est le point de départ.
Et il y a un réflexe tout aussi important : ne pas s’emballer sur un seul résultat. Le jour où votre marque s’évapore d’une réponse d’achat, ce n’est pas forcément l’échec de vos actions — c’est peut-être juste une zone qui, par nature, bouge sans arrêt. Voilà pourquoi il vaut mieux décider d’emblée de lire les choses en moyenne, ou en tendance sur plusieurs passages. On s’évite ainsi de se faire balader pour rien.
Comme prochaine étape, prenez quelques questions seulement — deux ou trois par intention — qui décrivent bien votre marque, et mettez en place, même tout petit, un dispositif qui les mesure régulièrement sur la même IA et le même nombre de fois. Plutôt que de réagir au témoignage isolé d’un voisin (« j’ai demandé ça à l’IA, et hop, ma marque est apparue/disparue »), vous lirez enfin vos propres chiffres avec votre propre règle. C’est, sans doute, le vrai premier pas pour cohabiter sereinement avec la visibilité IA.
Sources
- Jia-Rong Li (Conductor), « AI Brand Recommendation Study: Why Intent Type Predicts AI Output Consistency », 2026, conductor.com
