« C’est écrit à la décimale près, donc c’est du sérieux, non ? »
On ouvre un tableau de bord de visibilité IA, ou un rapport d’évaluation de LLM (les grands modèles de langage, ces IA qui génèrent du texte), et là, une avalanche de chiffres bien nets. « 12 847 prompts ce mois-ci », « précision en baisse de 7,3 % ». Hex-ko aussi, au début, se disait qu’un nombre avec autant de décimales devait forcément être solide.
Sauf qu’en IA, le vieux réflexe « c’est précis, donc c’est juste » se casse la figure plus souvent qu’on ne croit. L’affichage descend jusqu’à la décimale, mais la façon de mesurer, elle, ne promet rien de tel.
Et le pire, c’est qu’à l’œil nu, on ne voit pas la différence. Un chiffre grossier déguisé en chiffre précis a exactement la même tête qu’un vrai chiffre précis.
Alors aujourd’hui, on va se donner quelques réflexes simples pour ne pas se laisser mener par le nombre de décimales — en s’appuyant sur ce que disent trois travaux récents.
D’abord, c’est quoi cette « fausse précision » ?
Le mot clé du jour, c’est la fausse précision. Autrement dit : un nombre qui a l’air précis, alors que la méthode qui l’a produit ne garantit pas cette précision.
Prenez un pèse-personne qui varie de ± 3 kg d’une fois sur l’autre, et qui vous affiche pourtant « 62,347 kg ». Les trois décimales sont bien là, alignées au milligramme — mais elles n’inspirent aucune confiance, parce que l’appareil est incapable de mesurer à ce niveau de finesse. Avec les indicateurs d’IA, c’est très exactement le même piège.
Une analyse de jaeckert-odaniel.com pointe précisément ce travers sur le « volume de recherche de prompts ». Ce genre de données repose surtout sur du clickstream (le suivi de la navigation et des clics des internautes) et sur des estimations par panel, biaisées vers Chrome sur ordinateur de bureau.
Autrement dit, l’usage mobile via les applis passe largement à la trappe. Et les utilisateurs d’extensions penchent tech, masculins, cadres — bref, tout sauf un échantillon représentatif.
À partir de là, extrapoler l’usage de tout le monde revient à faire grossir le biais et l’erreur d’autant. Et pendant ce temps, à l’écran, le résultat s’affiche en joli entier bien net. Voilà le « ça a l’air chiffré, mais c’est bancal » en action.
Quand c’est l’instrument qui tremble, pas l’IA
Ce piège ne se limite pas au volume de recherche. Bien sûr, un volume de prompts et un score d’évaluation de LLM, ce ne sont pas les mêmes objets. Mais le principe reste identique : croire un chiffre sans regarder ses conditions de mesure, c’est risqué.
Dans « Flaw or Artifact? », Andong Hua et ses collègues ont évalué 7 grands modèles sur 6 jeux de tests et 12 gabarits de formulation, pour comprendre d’où vient vraiment cette fameuse « sensibilité au prompt ».
La « sensibilité au prompt », c’est ce phénomène où une même question, reformulée autrement, donne un résultat différent. Autrement dit : on change trois mots, et le score bouge.
Ce que montre ce travail, c’est qu’une bonne partie de ces « gros écarts de performance » est plus probablement un artefact de la méthode d’évaluation qu’une vraie faiblesse du modèle. Un artefact, c’est un résultat apparent fabriqué par la façon même de mesurer. La log-vraisemblance et l’appariement exact (deux méthodes de notation automatiques) auraient exagéré les écarts.
En passant à une évaluation par IA juge (le « LLM-as-Judge », c’est-à-dire une IA qui note les réponses d’une autre IA), la variance des performances baisse et la cohérence des classements monte. « Tout change selon la formulation » : l’impression s’apaise nettement dès qu’on change de méthode de mesure.
Et ça rejoint pile notre histoire de volume de prompts. Le thermomètre tremblait, pas le malade.
Un chiffre digne de confiance, ça se reconnaît à quoi ?
Alors, faut-il jeter tous les chiffres d’IA à la poubelle ? Surtout pas. Un indicateur bien conçu, au contraire, rend de fiers services.
Dans leur travail présenté à NAACL 2025, Federico Errica et ses collègues proposent deux métriques : la sensibilité et la cohérence. La métrique de sensibilité mesure combien la prédiction change quand on paraphrase la question — et, détail bien pratique, elle fonctionne sans étiquettes de vérité terrain (c’est-à-dire sans avoir besoin de connaître d’avance la « bonne » réponse).
Dans cette même étude, la variation de justesse due à la paraphrase se situe entre 3,2 % et 10 %.
Mais l’important n’est pas de retenir ce chiffre par cœur. C’est de vérifier qu’une définition claire, des conditions reproductibles et un axe de comparaison accompagnent bien le nombre. En particulier, il faut que les décimales affichées correspondent à sa .
Autrement dit : la plus petite différence que la méthode sait réellement distinguer. Si cette résolution est plus grossière que les décimales à l’écran, alors ces décimales ne veulent tout simplement rien dire.
Un chiffre dont on ne voit ni les données sources, ni l’échantillon, ni le mode de calcul, aussi précis soit-il, mérite donc de rester au rang de simple repère.
Conclusion : avant de croire une décimale, remontez à sa source
Les scores à la décimale près des tableaux de bord d’IA ont tous l’air terriblement précis. Mais tant qu’on ne sait pas si le chiffre vient d’un clickstream, d’un panel, de vrais journaux d’usage ou d’une expérience contrôlée, il reste un indicateur qui fait joli, sans plus.
L’ordre de lecture utile tient en peu de mots. D’abord, on regarde d’où viennent les données et si les conditions sont reproductibles. Un indicateur qui n’explique pas ça, on évite de le placer en KPI (indicateur central de pilotage) principal. Et au moment de décider, on ne le lit jamais seul : on le pose à côté d’indicateurs plus reproductibles, comme le taux d’apparition de votre marque dans les réponses des IA, ou sa tendance dans le temps.
Fait comme ça, mesurer la visibilité d’une marque dans les IA, ce n’est pas une chimère : c’est faisable, et ça vaut vraiment le coup. Toute la différence tient dans le soin qu’on met à définir ce qu’on mesure.
Et si vous voulez voir ce piège en action sur un cas bien concret, l’article « « 4 200 prompts par mois » : d’où sort ce chiffre, au juste ? » déroule exactement ce fil.
Sources
- jaeckert-odaniel.com, « Prompt search volume: Real data or all guessed? », 2025-12-16, jaeckert-odaniel.com
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, « Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs », EMNLP 2025 Main Conference, arXiv:2509.01790
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, « What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering », NAACL 2025, arXiv:2406.12334
Articles liés
- article sur le volume de recherche de prompts — d’où vient vraiment le « volume de recherche de prompts », et pourquoi ne pas en faire un KPI.
- L’IA répond autre chose à chaque fois : défaut de l’IA, ou défaut de la mesure ? — quand les réponses des IA gigotent, c’est souvent la mesure, pas le modèle.
