On commence à utiliser l’IA au travail, et la même peur revient à chaque fois. « Si je formule un peu de travers, la réponse part en vrille. » « Mieux vaut mémoriser les bons modèles de prompt. »
Je comprends. La tentation est grande de faire circuler un recueil de prompts et d’aligner toute la boîte dessus.
Mais c’est là que je veux m’arrêter une seconde. Avant d’empiler le coût d’exploitation — les modèles, la formation, la police du prompt —, est-ce que quelqu’un a vraiment mesuré à quel point la réponse bouge ?
Parce que « elle doit beaucoup bouger », c’est une supposition, pas une mesure.
Allons donc voir deux études. L’une met un chiffre sur la sensibilité des modèles. L’autre demande si cette sensibilité existe vraiment, ou si c’est notre instrument de mesure qui l’invente.
« Si je demande un peu mal, est-ce que tout est foutu ? »
D’abord la question évidente : quand on reformule un prompt, de combien la réponse change-t-elle ? Pas « est-ce qu’elle change » — un peu, toujours —, mais de combien.
L’équipe d’Errica a regardé ça pour de bon (Errica et al., NAACL 2025). Elle a posé deux mesures pour cadrer la chose :
- la sensibilité : de combien la prédiction se déplace quand on reformule le prompt ;
- la cohérence : à quel point les prédictions restent stables entre reformulations des mêmes entrées.
Reformuler, ici, c’est en gros paraphraser : même sens, autres mots. Autrement dit, vous dites exactement la même chose de deux façons et vous regardez si le modèle bronche.
Et le résultat ? Sur plusieurs tâches de classification, l’écart de précision est ressorti à 3,2 à 10%. Pas zéro. Mais à des kilomètres de « un mot de travers et tout s’effondre ». Beaucoup traitent leur prompt comme un démineur traite le fil rouge — sauf que le fil, en général, ne saute pas.
Il y a un résultat plus utile caché là-dedans. Ce qui faisait bouger l’aiguille, ce n’était pas l’ordre des mots en surface : c’était le sens en dessous. Donc ce qu’il faut soigner, ce n’est pas la formule magique. C’est être clair sur ce qu’on veut faire décider au modèle.
L’IA n’est peut-être pas instable : c’est notre règle qui est tordue
Maintenant la question plus pointue, tirée d’une étude de Hua et ses collègues (Hua et al., EMNLP 2025). Ils demandent : cette forte sensibilité, est-ce un défaut du modèle, ou un mirage que fabrique la méthode d’évaluation ? Ils vérifient sur sept grands LLM (les modèles de langage derrière ChatGPT), avec six bancs d’essai et douze modèles de prompt.
Deux méthodes de notation classiques passent sur le gril :
- la notation par vraisemblance (noter d’après la probabilité que le modèle attribue à chaque réponse, pas d’après la réponse qu’il donne vraiment) ;
- la correspondance exacte de texte (la réponse ne compte que si elle colle au corrigé caractère par caractère).
Or les deux comptent comme fautes des réponses qui veulent dire la même chose — et font donc paraître le modèle bien plus nerveux qu’il ne l’est. Avec LLM-as-Judge à la place (un modèle compétent décide si deux réponses signifient la même chose), la variance des performances a baissé, et la cohérence des classements a monté.
Autrement dit, une partie de « l’IA est instable » n’a jamais été l’IA. C’était la règle. Et quand la règle est tordue, chaque mesure prise avec elle est fausse dans le même sens — rassurant ou alarmant, mais faux.
Conclusion : vérifiez votre notation avant de courir après la phrase magique
Que le prompt change le résultat, c’est vrai. Mais passer sa vie à chercher l’incantation gagnante, ce n’est pas là qu’est le levier. Ce que montrent ces deux études, c’est qu’une bonne part de « le prompt est le problème » venait en fait de la grossièreté de la notation et du réflexe de correspondance exacte qui gonflait tout.
La première chose à auditer dans votre dispositif, ce n’est donc pas la formulation : c’est votre façon de noter les réponses. Comptez-vous comme faux ce qui ne colle pas au caractère près, alors que le sens était bon ? Jetez-vous de bonnes réponses parce qu’elles ne tombaient pas sur la chaîne attendue ? Réglez ça, et une grande partie du tremblement apparent se calme tout seul.
Ensuite, votre politique de prompts en interne peut rester minuscule : dites l’objectif, les contraintes et le format de sortie, puis arrêtez-vous. Je me trompe peut-être sur le partage exact, mais dans cet ordre, la trouille du « si je demande mal, tout est foutu » finit par vous lâcher sans que vous y pensiez.
Sources
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
