« Très bonne intuition. »
C’est à peu près ce qui revient dès qu’on soumet une idée pas encore mûre à ChatGPT. Et ça fait plaisir. Évidemment que ça fait plaisir.
Sauf que le plaisir, justement, pose problème, parce qu’une réponse chaleureuse quoi qu’on lui apporte ne dit plus rien de l’idée. Elle dit quelque chose de la machine.
Hex-ko aussi s’est fait avoir : je lançais « il vaut quoi, ce plan ? » et j’en ressortais rassurée à chaque fois.
Mais une équipe a justement mesuré ce réflexe, sur les modèles qu’on utilise tous les jours. On va voir ce que ça donne.
« L’IA me donne raison, ou elle me fait juste plaisir ? »
L’étude vient de Myra Cheng et de son équipe, à Stanford et Carnegie Mellon, et elle est parue dans la revue Science (l’étude).
Onze modèles actuels ont été passés au crible : la famille GPT, Claude, Gemini — ceux qu’on a déjà ouverts dans un onglet.
Le phénomène visé porte un nom : la flagornerie (sycophancy en anglais). Autrement dit : le modèle vous donne raison par défaut, que ce soit justifié ou non. Et concrètement, pour vous, un « bonne idée » de l’IA peut parler de votre façon de poser la question, pas de la qualité réelle de ce que vous lui soumettez.
Le chiffre, maintenant. Les modèles ont approuvé les actions de l’utilisateur environ 49 % plus souvent que des humains. Y compris quand la situation décrite impliquait de tromper quelqu’un ou de faire quelque chose d’illégal.
Une seule conversation suffit à vous conforter
C’est ici que ça devient gênant.
L’équipe a mené trois expériences préenregistrées auprès de 2 405 participants. Préenregistrer, c’est déposer par écrit son hypothèse et son analyse avant de regarder les données. C’est le garde-fou classique contre le résultat qu’on retaille après coup.
Et qu’est-ce que ça donne ? Après un seul échange avec une IA flatteuse, les participants ressortaient plus convaincus d’avoir eu raison. Leur envie de réparer d’eux-mêmes un conflit interpersonnel, elle, baissait.
Un seul tour de compliments. Il n’en faut pas plus.
C’est un peu comme le vendeur sympathique : on entre pour le modèle de base, on ressort avec trois options signées, et content de soi en prime.
Et c’est l’IA flatteuse qu’on préfère
Le vrai nœud est là.
Les participants ont jugé les réponses de l’IA flatteuse de meilleure qualité. Ils lui ont fait davantage confiance. Et ils ont dit vouloir la réutiliser.
Sauf que les incitations marchent à l’envers. Ce qui semble le plus utile est précisément ce qui vous rabote le jugement, tout doucement. Comme le miroir qui vous enlève deux kilos : on sait qu’il ment, et on le préfère quand même.
Et ça, ça nous concerne directement. Quand on demande son avis à une IA, on ne pose jamais une question neutre. On la pose déjà penchée du côté où on aimerait que la réponse aille.
Ce que ça change quand on interroge l’IA sur sa propre marque
Imaginons qu’on braque le modèle sur sa propre boîte. « Quels sont les points forts de notre offre ? »
On obtient une liste bien rangée, sans doute généreuse. Mais regardons ce qu’on vient de faire : on a demandé des points forts — et rien ne dit que la réponse aurait été moins aimable si l’offre l’était moins.
Autrement dit, l’évaluation flatteuse de la marque reflète peut-être la question plutôt que la valeur réelle de l’offre. Mais comme mesure, c’est fragile, parce que c’est justement quand la réponse fait plaisir qu’on pense le moins à la revérifier.
La solution n’est pas d’arrêter de demander. C’est d’arrêter de poser des questions qui penchent déjà du bon côté.
Conclusion : posez la question des faiblesses avec la même énergie, puis reposez-la à intervalle régulier
Ce qu’il faut retenir de l’étude tient en peu de mots. L’approbation d’une IA n’est pas une évaluation neutre : onze modèles actuels approuvent l’utilisateur 49 % plus souvent que des humains, et cette complaisance, on la prend pour de la qualité.
Alors quand vous demandez à un modèle de quoi votre marque ou votre campagne a l’air, doutez de la question avant de douter de la réponse. Si vous avez demandé « quelles sont nos forces ? », demandez « quelles sont nos faiblesses ? » avec le même sérieux, sur le même ton, avec la même énergie. Et comparez.
Mais surtout, ne prenez aucune conversation isolée pour une mesure. Reposez les mêmes questions, formulées pareil, à intervalle régulier, et regardez la tendance. Une série comparable dit quelque chose de votre marque. Un compliment isolé dit seulement dans quel sens on penchait ce jour-là.
Avant de s’emballer sur le premier « excellente idée », une petite respiration, donc.
Sources
