« Elles ont toutes la même note, alors autant en prendre une au hasard, non ? »
Quand on compare deux outils d’IA et qu’ils affichent des scores quasi identiques, la tentation est grande de se dire qu’ils se valent. Une note proche, donc un choix sans enjeu.
Sauf qu’une fois en vrai, ce n’est pas si propre. À score égal, les deux ne lâchent pas aux mêmes endroits : l’une résume très bien mais bricole dès qu’il faut comparer, l’autre fait l’inverse.
Hex-ko aussi s’est fait avoir : deux modèles « à égalité » sur le papier, et des résultats qui partaient dans des directions opposées sur les mêmes dossiers.
Dans le précédent article, on a vu que l’IA reconstruit en interne la charpente d’une phrase. Aujourd’hui, on regarde ce qui décide de la profondeur de cette charpente : la conception du modèle. Toujours avec la même série, « Physics of Language Models » (arXiv:2305.13673), de Zeyuan Allen-Zhu et Yuanzhi Li.
La vraie question, c’est : ces différences de conception, elles changent quoi à la façon dont l’IA se trompe chez vous ?
La façon de « ranger les mots » suffit à creuser l’écart
Pour comparer plusieurs conceptions, les chercheurs les ont entraînées sur des phrases à structure imbriquée, parfaitement contrôlées. Le premier écart est apparu sur un point qu’on n’imagine pas décisif : la manière de coder la position des mots.
Un « encodage de position », c’est le mécanisme qui dit au modèle où se trouve chaque mot dans la phrase. Deux grandes familles existent : la position absolue (« ce mot est le 7e ») et la position relative (« ce mot est deux crans après celui-là »).
Le résultat est net : la position relative, façon , a régulièrement dépassé la position absolue sur la compréhension de la structure.
Et au fond, c’est intuitif. Comprendre une phrase, ça ne dépend pas tant du « numéro » de chaque mot que de « qui se rattache à qui ». Autrement dit, pour départager deux modèles, savoir lequel mise sur la position relative en dit plus long que trois lignes de chiffres dans une fiche technique.
Parfois, c’est la conception la plus « bridée » qui gagne
L’autre comparaison est plus contre-intuitive : architecture de type GPT contre type BERT. Le modèle GPT lit de gauche à droite ; le modèle BERT voit toute la phrase d’un coup.
Sur le papier, voir toute la phrase paraît être un avantage évident. Pardi, plus d’information, donc meilleure compréhension. Mais le résultat ne va pas dans ce sens-là partout.
Dans certaines conditions, sur des structures profondément imbriquées, c’est le modèle GPT — pourtant plus contraint — qui s’en sortait le mieux. Parce qu’en étant forcé d’avancer dans l’ordre, il doit suivre la construction de la phrase pour répondre, au lieu de tout embrasser d’un regard et de se perdre.
La leçon est simple : une conception qui a l’air plus « riche » n’est pas toujours la plus solide. Selon la tâche, l’avantage change de camp.
En pratique, on regarde moins la moyenne que la forme des échecs
Si on traduit tout ça en choix d’outil, le score moyen ne suffit plus. Ce qui compte, c’est où le modèle craque : le type de .
Deux modèles affichés à 90 sur 100 ne portent pas le même risque. L’un flanche sur les questions de comparaison, l’autre sur les longues conditions emboîtées. Pour vous, la vraie question n’est pas « lequel a la meilleure note », mais « lequel se trompe là où ça compte le moins pour mon métier ».
Autrement dit, avant de trancher, regardez si la zone de fragilité du modèle tombe sur vos tâches principales ou à côté.
Conclusion : choisir l’IA qui se trompe le moins chez vous, pas la mieux notée
Au moment de choisir, le total des points n’est pas le bon juge. En production, ce qui pèse, c’est moins la note moyenne que la manière dont le modèle se casse dans les moments importants — et le fait qu’un humain puisse s’en apercevoir à temps. On ne cherche pas « l’IA qui a l’air la plus douée », mais « l’IA qui se plante le moins sur notre usage à nous ».
Concrètement, figez trois à cinq tâches de votre vrai travail, et faites tourner chaque modèle candidat dessus, dans les mêmes conditions, plusieurs fois. Vous ne mesurez plus une note de concours, vous mesurez une régularité sur ce que vous faites pour de bon.
Et face à un fournisseur, posez la question à l’envers : demandez ses conditions faibles et ses cas de test, pas seulement ses réussites. Le même questionnaire pour tout le monde — zones de fragilité, proximité des données de test, périmètre de relecture humaine — et vous comparez enfin sur le risque réel, pas sur la beauté du slide commercial.
Sources
- Zeyuan Allen-Zhu, Yuanzhi Li, « Physics of Language Models: Part 1, Learning Hierarchical Language Structures », ICML 2023, arXiv:2305.13673
- Physics of Language Models — site officiel de la série, physics.allen-zhu.com
