« De toute façon, elle aligne juste des mots probables »
Cette phrase revient à chaque fois qu’on parle d’IA au bureau. Le modèle ne comprend rien, il enchaîne des mots plausibles, point final.
Longtemps, l’argument m’a paru imparable, surtout pour les maths : un problème avec des étapes, ça ressemble à l’endroit parfait pour prendre un modèle de langage la main dans le sac, en train de recracher une solution vue ailleurs.
Le test est simple : si c’était du pur par-cœur, un énoncé inédit devrait le bloquer net. Ça ne le bloque pas — donnez-lui un problème qu’il n’a jamais croisé, il s’en sort la plupart du temps.
Alors qu’est-ce qui se passe là-dedans ?
Pour le vérifier, des chercheurs ont choisi la seule méthode propre qui existe : fabriquer eux-mêmes les problèmes.
Des énoncés dont il n’a pas pu lire la solution
Le travail fait partie de la série « Physics of Language Models », menée par Zeyuan Allen-Zhu et son équipe chez Meta FAIR (étude). L’idée est empruntée à la physique : plutôt que de débattre de ce qu’une IA « comprend » vraiment, on monte une expérience assez contrôlée pour donner une réponse nette.
Le bon coup, c’est le jeu de données. L’équipe a généré de zéro une grande quantité de problèmes de maths de niveau école primaire, au lieu d’en récupérer sur le web.
Ce détail change tout. Avec un énoncé trouvé en ligne, on ne peut jamais exclure que la solution soit passée dans l’entraînement.
Avec un énoncé qui n’existait pas avant qu’on l’écrive, si. Autrement dit : s’il le résout, c’est qu’il l’a résolu — un vrai travail, fait sur le moment.
L’hypothèse du par-cœur ne tient pas
Et alors, qu’est-ce que ça donne ? Sa façon de résoudre ne s’explique pas par des trames apprises par cœur.
Quand on parle ici de processus de raisonnement, on parle des étapes intermédiaires que l’IA parcourt avant de se fixer sur une réponse. En regardant à l’intérieur du modèle, l’équipe a trouvé quelque chose qui ressemble à de la planification : une fois l’énoncé lu, il estime déjà à l’avance quelles grandeurs la réponse va réclamer.
C’est donc un itinéraire, tracé problème par problème.
Mais c’est un itinéraire étranger au vôtre : le modèle prépare des grandeurs dans un ordre qu’aucun humain n’adopterait, et il calcule au passage des nombres dont l’énoncé n’a aucun besoin, histoire de prendre de l’avance.
Un peu comme un cuisinier qui découperait tous les légumes de la cuisine avant de décider du menu. L’assiette finale est bonne, et le chemin reste franchement peu humain.
Montrez-lui une erreur, et il s’améliore
La suite de la série pose la question pratique : comment entraîner cette IA calculatrice pour qu’elle se trompe moins (étude) ? Et là, le résultat prend tout le monde à revers.
En bonne logique, on ne montrerait que des corrigés impeccables. Des bonnes réponses en entrée, des bonnes réponses en sortie.
Sauf que non. Quand les données d’entraînement contiennent volontairement des séquences où le modèle se trompe puis se corrige juste après, la précision du raisonnement monte plus haut qu’avec des solutions correctes uniquement.
Et il n’y a pas besoin d’une usine à gaz. Pas de va-et-vient en plusieurs tours où l’on fait répondre le modèle, où on le reprend et où on le fait recommencer : il suffit de glisser ces exemples de correction dans l’entraînement ordinaire à prédire la phrase suivante.
Les ratés n’étaient pas des déchets, mais du matériel pédagogique.
Il pense, oui, mais autrement que nous
En mettant les deux travaux côte à côte, une ligne se dessine. L’IA raisonne pour de vrai, mais à sa façon, différente de la vôtre.
Il y a bien une planification là-dedans, et c’est pour ça qu’un problème inédit ne la fait pas tomber. Seulement, cette planification a ses propres manies, décalées de l’intuition humaine.
« Intelligent » et « proche de l’humain », on gagne à les ranger dans deux cases différentes.
Et cet écart — ça pense, mais autrement — c’est précisément la partie qui atterrit sur votre bureau.
vérifier la conclusion, pas la beauté du raisonnement
Bon, du coup, on fait quoi côté métier ? Deux choses, et on s’arrête volontairement à deux.
D’abord, ne validez pas une réponse d’IA sous prétexte qu’« on voit qu’elle a réfléchi ». Le raisonnement existe, d’accord, mais il a des habitudes étrangères, et un cheminement crédible ne garantit rien sur la phrase finale. Ce qu’il faut regarder, c’est si la conclusion colle aux faits, au-delà de la fluidité de l’explication. Dès qu’il y a des chiffres ou des noms propres, on recoupe une fois, même quand le ton est impeccable.
Ensuite, quand vous faites corriger quelque chose à une IA, donnez-lui l’erreur et la correction ensemble. « Écris-le comme ça » ne lui donne que la destination. « Ce passage est faux, voilà ce qu’il faut dire » lui donne l’itinéraire, et c’est justement l’itinéraire que le modèle refabrique à l’intérieur. La critique porte mieux quand la réparation vient avec.
On extrapole peut-être beaucoup à partir de deux études sur des problèmes de primaire. La direction, elle, tient : l’IA a l’air intelligente et elle l’est, simplement son intelligence suit une autre logique que la nôtre.
C’est bien pour ça que le geste le plus ennuyeux — s’appuyer dessus sans complexe, et vérifier soi-même la dernière ligne — reste ce qui fait tenir la relation dans la durée.
Sources
- Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu, « Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process », arXiv:2407.20311, 2024. lien vers l’article
- Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu, « Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems », arXiv:2408.16293, 2024. lien vers l’article
