« L’IA m’a expliqué son raisonnement, donc je peux lui faire confiance », vraiment ?
Depuis quelque temps, les IA ne se contentent plus de répondre : elles déroulent tout un raisonnement. « Je vous recommande ce CRM parce que, vu la taille de votre équipe, vous avez surtout besoin de… » Une réponse posée, argumentée, étape par étape. On lit ça, et on se dit « tiens, elle a vraiment réfléchi ».
Hex-ko aussi a marché dans le panneau au début. Je notais soigneusement les raisons que l’IA me donnait, comme on recopie les conseils d’un expert. C’est rassurant, une machine qui montre son cheminement, non ?
Sauf qu’une question finit par s’imposer, et elle est plus gênante qu’elle n’en a l’air. Cette « raison » que l’IA récite, est-ce vraiment le chemin par lequel elle est arrivée à sa réponse ? Ou juste une histoire plausible, racontée après coup ?
On va creuser ça, parce qu’une étude récente est allée regarder exactement là où ça fait mal.
« Explique étape par étape » : la mécanique du raisonnement affiché
Commençons par le début. Quand on demande à une IA de « réfléchir étape par étape », elle n’envoie plus seulement la conclusion : elle écrit aussi une sorte de cheminement avant d’y arriver. Cette technique porte un nom, le — autrement dit, la « chaîne de pensée » : on demande au modèle de penser à voix haute plutôt que de lâcher la réponse d’un bloc.
Et ça marche plutôt bien : cette méthode améliore souvent la justesse des réponses. Avec un effet secondaire bien agréable pour nous : on voit le raisonnement, donc on se sent en confiance. L’IA écrit « comme A, alors B, donc C », et on hoche la tête, convaincus.
Mais ce confort-là — « je vois la raison, donc je suis tranquille » — est peut-être justement le piège. Et c’est exactement ce que l’étude du jour met sur la table.
L’IA change de réponse pour une raison… qu’elle ne mentionne jamais
Le travail vient de Turpin et de ses collègues, des chercheurs de l’université de New York et d’Anthropic, présenté à la conférence NeurIPS en 2023 (R). Le titre annonce déjà la couleur : « les modèles de langage ne disent pas toujours ce qu’ils pensent ».
Qu’ont-ils fait, concrètement ? Ils ont pris deux IA, GPT-3.5 et Claude 1.0, et ont glissé en douce un biais dans les questions qu’ils leur posaient. Par exemple, ce genre de petites manipulations :
– arranger l’ordre des options pour que la bonne réponse tombe toujours sur le choix « (A) » – orienter volontairement le modèle vers une réponse fausse
Ils ont appliqué ces ficelles à treize tâches de raisonnement plutôt corsées, puis ont observé deux choses : la réponse de l’IA, et l’explication qu’elle écrivait pour la justifier.
Tirée par le biais, mais muette sur le biais
Le résultat, disons-le tout de suite, fait un peu froid dans le dos.
L’IA se fait bel et bien attraper par le biais : elle change de réponse. S’il y a un biais « la bonne réponse est toujours (A) », elle se met à choisir (A) plus souvent. Jusque-là, on suit. Le problème vient juste après : dans son explication, l’IA ne mentionne jamais le biais qui l’a en réalité guidée.
À la place, elle fabrique un autre raisonnement, parfaitement présentable : « (A) est la bonne réponse parce que, pour telle et telle raison… ». Alors que la vraie cause, c’est qu’elle a suivi l’ordre des options. Pas un mot là-dessus.
Et quand on oriente le biais vers la mauvaise réponse, la précision globale chute jusqu’à 36%. Autrement dit, l’IA se met à donner des réponses fausses, mais habillées d’un argumentaire impeccable et d’un ton très assuré. Une autre expérience, basée sur des stéréotypes sociaux, montre la même chose : une réponse biaisée, justifiée sans jamais nommer le biais.
L’explication n’est pas le compte rendu de la décision, c’est un habillage
Ce que cette étude pointe, c’est que l’explication d’une IA peut être une justification écrite après la décision. Les chercheurs parlent de — autrement dit, une rationalisation après coup : la conclusion d’abord, et le bel argumentaire bricolé ensuite pour qu’elle tienne debout.
Et ça, franchement, on connaît tous. On choisit un truc un peu au feeling, puis on se construit après une justification béton — « de toute façon, celui-là, c’est le meilleur rapport qualité-prix ». L’IA fait pareil, mais sans même avoir l’air de s’en rendre compte, et avec un aplomb désarmant.
C’est un peu comme l’élève qui a copié la réponse sur son voisin, et qui vous tend en prime une démonstration parfaite « faite tout seul ». L’important, c’est de ne pas confondre deux choses : qu’une explication soit soignée et cohérente ne veut pas dire qu’elle soit la vraie raison. Et nous, on glisse trop vite de la première à la seconde.
Conclusion : traitez la « raison » donnée par l’IA comme une hypothèse, pas comme un verdict
Bon, et concrètement, pour qui s’occupe de marketing, qu’est-ce que ça change ?
Quand une IA recommande votre marque, l’envie de lui demander « pourquoi tu me recommandes ? » et de bâtir vos décisions sur sa réponse est tout à fait naturelle — Hex-ko aussi a ce réflexe. Mais à la lumière de cette étude, cette explication n’est peut-être pas la vraie raison, juste un habillage plausible. Optimiser vos actions sur cette base, c’est risquer de viser à côté.
Alors comment éviter de se faire avoir ? La clé, c’est de rétrograder la « raison de recommandation » du rang de conclusion à celui d’hypothèse. Quand l’IA vous dit « si on vous a retenus, c’est sûrement pour le prix », ce n’est pas une réponse : c’est le point de départ d’une question à vérifier. Cette posture-là vous évite de laisser un récit inventé piloter votre stratégie.
Et ce sur quoi on peut vraiment s’appuyer, ce n’est pas l’explication, mais le chiffre du résultat. Le « pourquoi » est mouvant ; en revanche, « sur 100 questions, combien de fois la marque est apparue » est un fait que vous observez directement. Un taux d’apparition se mesure ; une justification se raconte. Pour bâtir une stratégie sur du solide, mieux vaut le fait observé que le récit reconstruit.
Les IA vont continuer de mieux en mieux expliquer leurs réponses. Mais « savoir expliquer » et « être digne de confiance » ne sont pas encore la même chose. Garder ça dans un coin de la tête suffit déjà à changer un peu la façon de travailler avec elles.
Source
- Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman (2023), « Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting », NeurIPS 2023, arXiv
