« L’IA ne répond jamais deux fois la même chose, comment lui faire confiance ? »
Dès qu’une équipe commence à utiliser l’IA au travail, la remarque finit toujours par tomber : « je pose deux fois la même question, j’obtiens deux réponses différentes ». Et franchement, la réaction est saine.
Hex-ko aussi s’est fait avoir : même question, formulation différente en retour, et cette impression désagréable de sol qui bouge.
Sauf que le problème, c’est la conclusion qu’on en tire. Passer de « les réponses varient » à « l’IA est inutilisable », c’est aller un peu vite. Parce que des travaux récents suggèrent qu’une partie de cette variabilité ne vient pas du modèle lui-même : elle est gonflée par la façon dont on la mesure.
Une étude s’est justement penchée sur la question. Allons voir ce qu’elle raconte.
La « sensibilité au prompt » mesure-t-elle vraiment le modèle ?
Premier concept à poser : la sensibilité au prompt. Autrement dit, à quel point le résultat bouge quand on reformule la question. En général, on la traite comme un défaut du modèle, point final.
L’équipe de Hua et ses collègues (l’étude) est allée un cran plus loin : et si cette sensibilité était en partie fabriquée par la méthode d’évaluation elle-même ? Pour le vérifier, ils ont évalué 7 grands modèles de langage sur 6 benchmarks et 12 gabarits de questions, afin de séparer ce qui tremble côté modèle et ce qui tremble côté instrument.
La question paraît évidente une fois posée. Presque personne ne la posait.
Une bonne part de l’instabilité serait un artefact de mesure
Le résultat ? Une part importante de la sensibilité observée pourrait être un artefact de la méthode d’évaluation. Autrement dit : les manies du thermomètre font paraître la fièvre plus forte qu’elle n’est.
Les évaluations classiques reposent souvent sur le score de log-vraisemblance (on regarde comment les probabilités se répartissent) ou sur la correspondance exacte des réponses (le texte doit coïncider au caractère près). Pratique à automatiser, parce que la machine adore. Mais ces méthodes rejettent des réponses qui veulent dire la même chose — comme si « OK » et « pas de souci » comptaient pour deux avis différents.
Les auteurs ont donc refait l’exercice avec un LLM-juge, qui évalue au niveau du sens. Résultat : la variance des performances diminue, et le classement des modèles devient plus cohérent. Attention, cela ne veut pas dire que « l’IA est stable » : cela veut dire que la largeur du tremblement dépend de ce qu’on accepte comme bonne réponse.
Côté marques : les listes fluctuent, le taux d’apparition tient bon
Passons à des données plus proches du marketing. Dans une enquête SparkToro/Gumshoe, 600 volontaires ont envoyé des demandes de recommandation à ChatGPT, Claude et l’IA de Google, pour un total de 2 961 exécutions. Et les chiffres sont délicieusement contre-intuitifs :
- moins de 1 % de chances d’obtenir deux fois la même liste ;
- environ 0,1 % de chances d’obtenir la même liste dans le même ordre ;
- une marque à forte visibilité est apparue dans 97 % de ses 71 exécutions ;
- les grandes marques gardent un taux d’apparition (Visibility%) stable, entre 55 et 77 %.
Le classement d’une réponse isolée est presque aléatoire ; le taux d’apparition sur la répétition, lui, est étonnamment stable.
Un détail que Hex-ko trouve savoureux : les 142 questions rédigées à la main par les participants n’avaient qu’une similarité sémantique de 0,081 — chacun demandait à sa façon — et pourtant, les réponses convergeaient vers des ensembles de marques très proches. Les listes individuelles tremblent ; la tendance collective, elle, finit par se voir.
Conclusion : suivre le taux d’apparition, pas le classement d’un jour
Que retenir ? La variabilité des réponses d’IA est parfois réelle, et parfois grossie par l’instrument de mesure. C’est précisément pour ça qu’un classement pris une seule fois fait un mauvais indicateur : impossible d’y distinguer le hasard de la tendance.
Pour un usage marketing, la démarche solide consiste à répéter des questions de même intention et à faire du taux d’apparition l’indicateur principal — en acceptant les réponses équivalentes sur le fond, plutôt que d’exiger la correspondance exacte. D’autres études devront confirmer jusqu’où ces résultats se généralisent. Mais on passe déjà de « l’IA fluctue, donc inutilisable » à « la fluctuation est un fait, mesurons avec » : et pour la décision, ça change tout.
Sources
