« L’IA a mis une bonne note. Et les clients, eux ? »
De plus en plus de fiches produit naissent dans une fenêtre de chat. On colle la fiche technique, on demande trois variantes, on en choisit une.
Et ensuite — c’est là que ça se joue — on demande au même modèle laquelle est la meilleure.
Hex-ko fait pareil, hein. C’est rapide, c’est gratuit, et ça ressemble à un deuxième avis.
Sauf que ce n’en est pas un. C’est le même lecteur qui corrige sa propre copie. Et si toutes les marques du secteur font tourner cette boucle, le secteur entier finit par écrire avec un seul et même goût.
Ce goût, une équipe a justement essayé de le mesurer.
Les 89 % qui posent problème
L’étude s’appelle « AI-AI bias: Large language models favor communications generated by large language models », publiée dans PNAS, la revue de l’Académie nationale des sciences des États-Unis, qui va des sciences de la nature aux sciences sociales. Bref, du sérieux.
Le protocole est simple : on fait décrire deux fois la même chose, une fois par un humain, une fois par un modèle, puis on demande à un LLM (grand modèle de langage, c’est-à-dire le moteur derrière ChatGPT) de désigner la meilleure version. Rien de sorcier, donc.
Le tout sur trois types de textes : descriptions de produits de grande consommation, résumés d’articles scientifiques et synopsis de films.
Et qu’est-ce que ça donne ? GPT-4 a choisi la version écrite par GPT-4 :
- dans 89 % des cas pour les descriptions de produits
- dans 78 % des cas pour les articles scientifiques
- dans 70 % des cas pour les synopsis de films
Vient ensuite la partie vraiment utile. Les mêmes paires ont été soumises à 13 assistants de recherche humains, qui ont retenu la version écrite par l’IA dans 36 % des cas pour les produits de grande consommation, 61 % pour les articles et 58 % pour les films.
Regardez la ligne « fiches produit ». Le modèle dit 89, les gens disent 36.
Ce n’est pas une marge d’erreur : ce sont deux goûts différents qui utilisent le même mot, « bon ».
Ce qu’il y a vraiment dans la note d’un modèle
Le biais IA-IA, c’est la tendance d’un modèle à préférer les textes écrits par une IA plutôt que par un humain — les siens compris. Autrement dit : la machine se reconnaît, et elle s’aime bien.
Et concrètement, pour vous, ça veut dire qu’une bonne note récompense peut-être d’abord la forme — les tournures qu’une machine lit sans effort — plutôt que ce qu’un client, lui, remarquerait.
Et ça ne s’arrête pas au style. Le même penchant remonte d’un cran, jusqu’aux marques elles-mêmes.
Le travail « Global is Good, Local is Bad? », présenté à EMNLP 2024 (une des grandes conférences de recherche sur le traitement automatique du langage), a examiné les recommandations de marque de GPT-4o, Llama-3-8B, Gemma-7B et Mistral-7B. Tous les modèles associaient les marques mondiales à des attributs positifs de façon disproportionnée.
Et les recommandations se rangeaient par niveau de revenu : marques de luxe vers les pays à revenu élevé dans 88 à 100 % des cas, marques non haut de gamme vers les pays à faible revenu dans 84 à 98 % des cas. Le modèle trie avant même qu’on le lui demande.
Ce sont des conditions expérimentales précises, et rien ne dit que tous les services d’IA se comportent pareil. Mais la direction du truc, elle, mérite qu’on s’y arrête deux minutes.
Parce que ça signifie qu’en demandant à un modèle de noter vos textes de marque, vous n’obtenez pas une lecture propre de ces textes. Vous obtenez le texte plus ce que le modèle présuppose déjà de votre marque, de votre catégorie et du marché que vous visez.
Pourquoi les agents d’achat rendent la question plus urgente
L’article « AI Is Upending Marketing on Two Fronts » de la Harvard Business Review traduit le même mouvement en langage marketing. Deux choses se produisent en même temps : l’IA conversationnelle prend la place qu’occupaient la recherche et les sites web, et les agents d’IA s’approchent de la décision d’achat elle-même.
Le texte s’appuie sur une étude selon laquelle les recherches en ligne auraient reculé d’environ 20 % depuis l’arrivée de ChatGPT, et plaide pour le passage du SEO au GEO (optimisation pour les moteurs génératifs, c’est-à-dire travailler la réponse que donne le modèle, et non la liste de liens de Google). Le terrain change, donc.
Et voilà la séparation qui gêne : « customer » (celui qui achète) et « consumer » (celui qui utilise) pourraient ne plus désigner la même personne. Si un agent choisit le produit et qu’un humain l’utilise, on écrit pour deux lecteurs à la fois.
La conclusion tentante serait donc : « très bien, écrivons uniquement pour le modèle ». Sauf que c’est précisément ce que contredisent les chiffres du PNAS. Un écart de 53 points entre ce qu’un modèle récompense et ce que les gens choisissent, on ne le rattrape pas à coups d’optimisation.
La note d’une IA est un signal utile. Ce n’est pas un verdict.
Conclusion : deux tableaux de bord, pas une seule note
Être visible dans les modèles est un actif réel, et qui se construit : le déplacement de la recherche et l’arrivée des agents pointent tous les deux dans cette direction. Ce qu’on ne peut pas faire, c’est ramener cette visibilité et la confiance humaine à un seul chiffre, puisque, sur les fiches produit, le choix du modèle et celui des humains sont partis en sens inverse, 89 % contre 36 %.
Concrètement : passez la même description de produit à ChatGPT, Gemini et Perplexity, et mesurez à quelle fréquence vous êtes cité ou recommandé. C’est le tableau de bord numéro un, et c’est celui que peu d’équipes regardent encore.
Le tableau de bord numéro deux reste là où il est : tests A/B publicitaires, entretiens clients, les questions qu’on se pose avant d’acheter. Si vous laissez le premier absorber le second, vous dériverez vers des textes impeccables pour une machine et creux pour tout le monde.
Les 89 % ne tiendront peut-être pas à la prochaine génération de modèles : c’est une seule étude. Mais garder les deux mesures séparées ne coûte presque rien, et je ne vois pas bien ce qu’on y perdrait.
Sources
- Laurito, W. et al., « AI-AI bias: Large language models favor communications generated by large language models », Proceedings of the National Academy of Sciences, Vol. 122(31), 2025, pnas.org
- Kamruzzaman, M., Nguyen, H.M. & Kim, G.L., « Global is Good, Local is Bad? : Understanding Brand Bias in LLMs », EMNLP 2024, aclanthology.org
- Puntoni, S., « AI Is Upending Marketing on Two Fronts », Harvard Business Review, 2026-02-23, hbr.org
