On tape « les meilleures marques de mon secteur ? » dans ChatGPT, on note les noms qui sortent. Puis on relance la même question le lendemain, et la liste a changé. Une marque qu’on n’avait jamais vue débarque, une autre a disparu.
Hex-ko aussi s’est fait avoir au début : on en conclut vite que tout ça est instable, et qu’autant ne rien mesurer du tout.
Sauf que renoncer maintenant, c’est un peu jeter le thermomètre parce qu’on ne sait pas le lire. Le problème n’est peut-être pas que rien n’est mesurable. C’est qu’on regarde le mauvais chiffre.
On va donc voir trois travaux qui, mis bout à bout, racontent la même chose : la réponse danse, oui, mais pas autant qu’on croit, et il existe un indicateur qui, lui, tient debout.
« Encore une marque différente de tout à l’heure ? Autant laisser tomber »
C’est la réaction la plus répandue chez les marketeurs qui testent : on relance, ça bouge, on décrète la mesure inutile. Et on passe à autre chose.
Le réflexe se comprend. Si la même question donne un palmarès différent à chaque fois, à quoi bon noter quoi que ce soit ?
Mais voilà le hic : ce qui bouge dans ces tests, c’est presque toujours le rang — qui est premier, qui est deuxième. Or le rang d’une seule réponse, c’est l’information la plus fragile qui soit. Renoncer à cause de lui, c’est renoncer un cran trop tôt.
La vraie question, ce n’est pas « est-ce que ça bouge ? » (ça bouge, toujours un peu). C’est « de combien, et qu’est-ce qui, là-dedans, reste stable assez longtemps pour qu’on puisse le suivre ? ».
Reformuler la question ne fait bouger la réponse que de 3 à 10%
D’abord, posons un chiffre sur l’instabilité. Quand on reformule une question sans en changer le sens, de combien la réponse du modèle se déplace-t-elle ?
L’équipe d’Errica a mesuré ça pour de bon (Errica et al., NAACL 2025). Le concept central, c’est la sensibilité au prompt : de combien la prédiction du modèle se déplace quand on reformule la consigne. Autrement dit, vous dites la même chose de deux façons, et vous regardez si le modèle bronche.
Et le résultat ? Sur plusieurs LLM (les modèles de langage derrière ChatGPT et consorts), l’écart dû à la simple paraphrase est ressorti à 3,2 à 10%. Pas zéro. Mais à des kilomètres de « une reformulation et tout s’effondre ».
Il y a mieux caché là-dedans. Ce qui faisait vraiment bouger l’aiguille, ce n’était pas l’habillage des mots en surface : c’était la structure de sens en dessous. Donc l’instabilité due à « j’ai mal tourné ma phrase » est bien plus petite qu’on ne l’imagine.
Et si votre façon de mesurer amplifiait elle-même l’instabilité ?
Maintenant, un soupçon plus dérangeant : et si une partie du tremblement qu’on observe n’était pas dans le modèle, mais dans notre instrument ?
C’est exactement ce que creuse l’équipe de Hua (Hua et al., EMNLP 2025). Ils passent sept LLM au crible, sur six bancs d’essai croisés avec douze gabarits de question. Et ils trouvent qu’une bonne part de la variation apparente était un artefact de la méthode d’évaluation — pas une vraie nervosité du modèle.
La preuve par le changement de règle. En passant d’une notation par vraisemblance ou par correspondance exacte (la réponse ne compte que si elle colle au corrigé caractère par caractère) vers LLM-as-Judge (un modèle compétent décide si deux réponses veulent dire la même chose), la variance a baissé et les classements se sont stabilisés.
Autrement dit, le protocole d’évaluation — l’ensemble des règles avec lesquelles on note et on compare une même cible — faisait bouger les résultats plus que le modèle lui-même. Quand la règle est grossière, chaque mesure prise avec elle exagère le désordre.
Et concrètement, pour vous : avant de conclure « l’IA est ingérable », il faut regarder comment on compte. Une mauvaise règle de comptage fabrique de l’instabilité qui n’existe pas.
Sur 2 961 requêtes réelles, le taux d’apparition tenait là où le rang dérapait
Reste à savoir ce qui, en pratique, reste stable. La réponse vient d’une enquête à grande échelle de SparkToro et Gumshoe, menée par Rand Fishkin (SparkToro/Gumshoe).
Le dispositif : 600 personnes ont interrogé 3 IA, pour 2 961 requêtes au total. Et le verdict sur le rang est sans appel. Reproduire exactement la même liste d’une fois sur l’autre : moins de 1% des cas. Retrouver le même ordre : autour de 0,1%. Le palmarès, donc, ne se reproduit quasiment jamais.
Mais — et c’est là que tout bascule — le taux d’apparition d’une marque précise, lui, était stable. La fréquence à laquelle un nom donné ressort, indépendamment de sa place dans la liste.
L’exemple parle de lui-même : une marque très en vue est apparue dans 97% des 71 fois où elle pouvait l’être. Le rang valsait d’une requête à l’autre, mais « à quelle fréquence elle sort » se suivait sans peine. C’est ça, l’indicateur qui tient : pas la position, mais la présence répétée.
Conclusion : suivez le taux d’apparition, pas le palmarès d’une seule réponse
Donc non, il ne faut pas renoncer à mesurer l’AI Visibility (la visibilité de votre marque dans les réponses des IA). Il faut arrêter de lire une réponse unique comme un tableau de classement, et regarder à quelle fréquence votre marque apparaît sur des requêtes répétées, posées dans les mêmes conditions.
Pour ça, le levier tient dans deux étapes à verrouiller en amont. D’abord la conception de la question : la même formulation à chaque passage, pas une variante improvisée. Ensuite les conditions d’agrégation : combien de fois on répète, et comment on calcule le taux d’apparition. Ces deux réglages stabilisés, le reste du tremblement se calme presque tout seul.
Et au moment de choisir un outil de suivi, posez-lui trois questions très concrètes : publie-t-il le nombre de répétitions par mesure, la méthode d’agrégation du taux d’apparition, et la période sur laquelle il compare ? Un tableau de bord qui ne vous sert qu’un classement, sans dire comment il l’a obtenu, ne doit pas devenir le moteur principal de vos décisions — c’est précisément le genre de chiffre qui valse.
Sources
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
- Fishkin, R. (SparkToro / Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products”, 2025, sparktoro.com
