« ChatGPT ou Claude, lequel est le meilleur ? » : la question qui bloque à chaque fois
Au moment de choisir un outil IA, il y a une question qui revient à tous les coups. Chaque éditeur jure que sa solution est la meilleure, les scores de benchmark s’alignent en colonnes bien propres, et pourtant, on reste planté devant le tableau sans savoir trancher.
Parce que le score, à lui seul, ne suffit pas à décider. Une fois l’outil en production, on s’aperçoit que deux modèles classés au coude-à-coude n’ont pas du tout la même régularité dans leurs sorties. L’un tient la route, l’autre dérape sur les mêmes tâches. Alors, à quoi sert vraiment ce classement ?
C’est exactement cette frustration qu’une série de travaux a décidé de prendre de front : « Physics of Language Models », menée par Microsoft Research et poursuivie sans relâche depuis 2023. Son projet : repenser la façon même de mesurer la capacité d’une IA.
Le message tient en une phrase. Les classements de performance d’aujourd’hui sont faciles à mal interpréter dès qu’on ne regarde pas comment le test a été conçu.
Pourquoi un benchmark ne sépare pas la vraie compréhension de la simple reconnaissance
Reprenons depuis le début. Un benchmark, c’est un test commun qui sert à comparer les IA entre elles : on leur fait passer une série de problèmes, on calcule leur taux de bonnes réponses, et on les classe. Jusque-là, rien de sorcier.
Le souci, c’est que mesurer avec des questions en langage naturel charrie beaucoup trop de variables. Le vocabulaire, le contexte, la formulation, et même cette familiarité que le modèle a déjà acquise pendant son entraînement : tout cela se mélange dans le score final.
Du coup, on n’arrive plus à séparer deux choses pourtant très différentes : le modèle a-t-il vraiment compris pour répondre, ou a-t-il seulement reconnu un type de problème déjà croisé ? Autrement dit, on confond la compréhension authentique avec la simple reconnaissance de motifs.
Et il y a pire. La désigne le cas où du matériel d’évaluation se retrouve, par accident, mêlé aux données d’entraînement. Le modèle a déjà vu les réponses : son score grimpe bien au-delà de sa capacité réelle. Un classement bâti là-dessus ne mesure plus grand-chose.
Physics of Language Models a donc choisi de s’attaquer au problème par la racine, c’est-à-dire par la façon de fabriquer le test.
Le « test impossible à tricher » : pourquoi les chercheurs ont misé sur une CFG
L’idée des chercheurs est de remplacer le langage naturel par des données synthétiques. En clair, des problèmes que l’examinateur fabrique lui-même et dont il contrôle toutes les conditions. Plus de matériel venu d’ailleurs, donc plus de fuite possible.
Mieux : ils génèrent ces problèmes à l’aide d’une , c’est-à-dire un jeu de règles grammaticales. L’intérêt ? On peut retracer, pour chaque bonne réponse, quelle compréhension structurelle l’a produite.
Avec ce dispositif, on parvient enfin à distinguer assez nettement les deux cas qui restaient collés l’un à l’autre : « le modèle a résolu en comprenant la structure » d’un côté, et « le modèle a juste recollé un motif familier » de l’autre.
L’esprit est celui d’une expérience de physique : on ne touche qu’à une variable à la fois pour pouvoir retracer la cause et l’effet. C’est précisément de là que vient le nom de la série.
Ce qui compte pour vous : la conception de la mesure, pas le score
À ce stade, on pourrait croire que tout cela ne concerne que les chercheurs. C’est tout le contraire : pour un usage concret, c’est même là que se joue l’essentiel.
Ce qu’il faut regarder au moment de choisir une IA, ce n’est pas seulement « quel modèle a obtenu quel score », mais « dans quelles conditions de mesure ce score est apparu ». La nuance change tout.
Parce que pour un travail riche en marque ou en jargon métier — et c’est le quotidien d’un marketeur — la précision réelle dépend de la ressemblance entre la conception du test et vos propres données. Si le benchmark teste des questions générales et que votre métier vit dans un vocabulaire pointu, le rang affiché ne vous promet rien.
Autrement dit : pour juger si un modèle tiendra sur votre travail, lisez les conditions d’évaluation, pas le classement. Sauter cette étape, c’est s’exposer au fameux « ce n’est pas du tout ce qu’on m’avait vendu » une fois l’outil déployé.
La conclusion : avant le score, vérifiez comment il a été obtenu
Si on récapitule, le réflexe le plus risqué en comparaison d’IA, c’est de regarder un seul score et d’en conclure « ce modèle est le plus fort ». Ce que montre l’ensemble des travaux Physics of Language Models, c’est qu’un score ne devient lisible qu’accompagné de trois choses : la conception du test, la façon dont les données ont été fabriquées, et le traitement réservé aux échecs.
En pratique, pour comparer des fournisseurs, ne vous arrêtez donc pas au tableau de scores : vérifiez les conditions d’évaluation, la reproductibilité des résultats, et le type d’échecs commis. Et pour votre validation interne, le geste est simple : fixez quelques questions réalistes tirées de votre métier, puis mesurez plusieurs modèles de façon répétée, dans des conditions strictement identiques. Rien de plus efficace pour cesser de se faire balader par un classement de façade.
Ces travaux s’inscrivent dans la ligne de recherche « Physics of Language Models » de Microsoft, qui en explore plusieurs facettes. Mais retenez déjà celle-ci : un score sans sa conception de test n’est qu’un chiffre hors sol.
Sources
- Zeyuan Allen-Zhu, Yuanzhi Li, « Physics of Language Models: Part 1, Learning Hierarchical Language Structures », ICML 2023, arXiv:2305.13673
- Physics of Language Models — site officiel de la série, physics.allen-zhu.com
