Depuis quelque temps, avant de monter une présentation commerciale, on colle dans ChatGPT une poignée de concurrents et on demande : « lequel est le plus fort ? » ou « classe-les-moi ».
J’ai vu la scène se jouer à quelques minutes d’une réunion : on balance la liste de candidats, et on laisse le modèle trancher.
Et le classement qui ressort file droit dans la diapo, estampillé « l’avis objectif de l’IA ».
Mais il y a un truc qui me chiffonne. Si vous collez les mêmes noms dans un autre ordre, obtenez-vous le même classement ?
Vous l’avez sûrement remarqué une fois : « tiens, ce n’était pas l’ordre de tout à l’heure ». Eh bien quelqu’un a mesuré exactement l’ampleur de ce tremblement. Et le chiffre est plus gros que je ne l’aurais cru. Allons voir.
« Je change l’ordre et la réponse change » : de quoi parle-t-on ?
D’abord, la version simple. Le biais de position, c’est ça : l’ordre dans lequel on présente les candidats change celui que le modèle choisit. On voudrait qu’il juge sur le fond, mais la place occupée par chaque option tire la note.
On fait pareil, nous. Alignez trois options et celle du milieu paraît, allez savoir pourquoi, le choix prudent. (C’est le même réflexe qui vous fait attraper le produit du rayon central au supermarché.) Le modèle a sa propre version de cette attraction, et elle grignote tout doucement la stabilité de ses recommandations.
La vraie question, c’est l’ampleur du tremblement. S’il est minuscule, on l’ignore, très bien. Mais s’il ne l’est pas, demander à une IA de classer devient plus fragile qu’il n’y paraît.
Une équipe de la RMIT a rebrassé la liste et mesuré le tremblement
C’est justement la question qu’ont prise de front Ethan Bito et ses collègues (l’étude). Ils ont fait recommander des films et des livres par LLaMA 3.3 70B — un gros modèle.
Ils ont utilisé deux jeux de données classiques : MovieLens pour les notes de films, et les notes de livres d’Amazon. La méthode était d’une simplicité rafraîchissante. On prend le même ensemble de candidats, on change l’ordre, on redemande une recommandation, et on mesure à quel point le résultat tient d’un brassage à l’autre.
L’étalon, c’était un « score de cohérence » : 1,0 veut dire que le classement ne bouge pas quand on réordonne, 0 qu’il sort différent à chaque fois.
Et qu’est-ce que ça donne ?
Plus la liste de candidats s’allonge, plus la cohérence se délite.
- Films : 0,67 de cohérence avec 10 candidats, qui tombe à 0,47 à 30 (une chute de 0,20 point, environ 30 %).
- Livres : 0,55 avec 10 candidats, jusqu’à 0,47 à 30 (environ 15 %).
Autrement dit, plus vous donnez d’options à soupeser à l’IA, plus « l’ordre de collage décide du classement ». À dix candidats, le résultat cinéma tient à peu près deux fois sur trois. Poussez à trente, et près de la moitié se fait balader par la seule position. On empile les candidats, et le jugement se ramollit.
Les auteurs relient ça au « perdu au milieu » : cette manie connue des modèles de laisser filer l’information posée au milieu d’une longue entrée. Un candidat garé au centre de la liste est traité plus pâle qu’il ne l’est. Et si votre marque est en 15e position, l’idée ne rassure pas franchement.
Changez la façon de demander, et le tremblement se réduit
Maintenant, la partie qui évite le désespoir complet. L’équipe a aussi testé une autre façon de demander, appelée RISE. Plutôt que de balancer toute la liste et d’exiger un seul classement, on fait choisir un élément au modèle, on le met de côté, il choisit le suivant, et ainsi de suite.
Avec ce changement, la cohérence à 30 candidats remonte : au cinéma de 0,47 à 0,69 (environ 46 % de mieux que la demande standard), aux livres de 0,47 à 0,65 (environ 38 % de mieux).
Le point important : ils n’ont pas refait le modèle. Ils ont juste changé la question. Bonne nouvelle. Mais ça dit aussi à quel point le simple « classe-moi tout ça » était fragile au départ.
Conclusion : un classement d’IA, c’est un tirage, pas le verdict
La leçon n’est donc pas « l’IA ne sait pas juger ». C’est qu’un seul « ordre recommandé » sorti d’un modèle est un coup de dés, pas une mesure — le seul ordre de collage le déplace déjà d’un tiers environ.
Il y a deux petites choses que je changerais dans votre usage. La première : rebrasser et redemander plus d’une fois. Au lieu de fêter le seul essai où vous sortiez premier, réordonnez la liste, lancez-la plusieurs fois, et regardez si vous êtes régulièrement en haut. Rien que ça vous évite de vous faire avoir par un tirage chanceux.
La seconde : juger moins de choses à la fois. Classer 30 éléments d’un coup, c’est exactement là que le biais de position fait le plus de dégâts, alors resserrez sur les cinq ou dix qui comptent vraiment. Et si vous avez beaucoup d’axes à comparer, répartissez-les sur des demandes séparées. Les réponses tiennent mieux.
Vous confierez de plus en plus ce genre de jugements à l’IA. Et rien que savoir que « l’ordre peut déplacer la réponse » change le poids que vous accordez à un classement donné. La prochaine fois que ça compte, rebrassez votre propre liste et posez la question trois fois avant d’y croire.
Source
- Ethan Bito, Yongli Ren, Estrid He (2025), « Evaluating Position Bias in Large Language Model Recommendations », arXiv:2508.02020, arXiv
