« De toute façon, elle aligne juste des mots probables »
Cette phrase revient à chaque fois qu’on parle d’IA au bureau. Le modèle ne comprend rien, il enchaîne des mots plausibles, point final.
Hex-ko aussi a longtemps trouvé l’argument très convaincant, surtout pour les maths : un problème avec des étapes, ça ressemble à l’endroit parfait pour prendre un modèle de langage la main dans le sac, en train de recracher une solution vue ailleurs.
Sauf que si c’était du pur par-cœur, un énoncé inédit devrait le bloquer net. Et ça ne le bloque pas : donnez-lui un problème qu’il n’a jamais croisé, il s’en sort la plupart du temps.
Alors qu’est-ce qui se passe là-dedans ?
Une équipe est allée le vérifier de la seule manière propre qui existe : en fabriquant elle-même les problèmes. Allons voir ce qu’elle a trouvé.
Des énoncés dont il n’a pas pu lire la solution
Le travail fait partie de la série « Physics of Language Models », menée par Zeyuan Allen-Zhu et son équipe chez Meta FAIR (étude). L’idée est empruntée à la physique : plutôt que de débattre de ce qu’une IA « comprend » vraiment, on monte une expérience assez contrôlée pour donner une réponse nette.
Le bon coup, c’est le jeu de données. L’équipe a généré de zéro une grande quantité de problèmes de maths de niveau école primaire, au lieu d’en récupérer sur le web.
Ce détail change tout. Avec un énoncé trouvé en ligne, on ne peut jamais exclure que la solution soit passée dans l’entraînement.
Avec un énoncé qui n’existait pas avant qu’on l’écrive, si. Autrement dit : s’il le résout, c’est qu’il l’a résolu. Ce n’est pas de la mémoire, c’est du travail fait sur le moment.
L’hypothèse du par-cœur ne tient pas
Et alors, qu’est-ce que ça donne ? Sa façon de résoudre ne s’explique pas par des trames apprises par cœur.
Quand on parle ici de processus de raisonnement, on parle des étapes intermédiaires que l’IA parcourt avant de se fixer sur une réponse. En regardant à l’intérieur du modèle, l’équipe a trouvé quelque chose qui ressemble à de la planification : une fois l’énoncé lu, il estime déjà à l’avance quelles grandeurs la réponse va réclamer.
Ce n’est donc pas une formule mémorisée qu’on applique. C’est un itinéraire, tracé problème par problème.
Mais ce n’est pas votre itinéraire. Le modèle prépare des grandeurs dans un ordre qu’aucun humain n’adopterait, et il calcule au passage des nombres dont l’énoncé n’a aucun besoin, histoire de prendre de l’avance.
Un peu comme un cuisinier qui découperait tous les légumes de la cuisine avant de décider du menu. L’assiette finale est bonne, et le chemin reste franchement peu humain.
Montrez-lui une erreur, et il s’améliore
La suite de la série pose la question pratique : comment entraîner cette IA calculatrice pour qu’elle se trompe moins (étude) ? Et là, le résultat prend tout le monde à revers.
En bonne logique, on ne montrerait que des corrigés impeccables. Des bonnes réponses en entrée, des bonnes réponses en sortie.
Sauf que non. Quand les données d’entraînement contiennent volontairement des séquences où le modèle se trompe puis se corrige juste après, la précision du raisonnement monte plus haut qu’avec des solutions correctes uniquement.
Et il n’y a pas besoin d’une usine à gaz. Pas de va-et-vient en plusieurs tours où l’on fait répondre le modèle, où on le reprend et où on le fait recommencer : il suffit de glisser ces exemples de correction dans l’entraînement ordinaire à prédire la phrase suivante.
Les ratés n’étaient pas des déchets, mais du matériel pédagogique.
Il pense, oui, mais pas à notre façon
En mettant les deux travaux côte à côte, une ligne se dessine. L’IA n’est pas « juste du par-cœur ». Elle ne pense pas non plus comme vous.
Il y a bien une planification là-dedans, et c’est pour ça qu’un problème inédit ne la fait pas tomber. Seulement, cette planification a ses propres manies, décalées de l’intuition humaine.
« Intelligent » et « proche de l’humain », on gagne à les ranger dans deux cases différentes.
Et cet écart — ça pense, mais autrement — c’est précisément la partie qui atterrit sur votre bureau.
Conclusion : vérifier la conclusion, pas la beauté du raisonnement
Bon, du coup, on fait quoi côté métier ? Deux choses, et on s’arrête volontairement à deux.
D’abord, ne validez pas une réponse d’IA sous prétexte qu’« on voit qu’elle a réfléchi ». Le raisonnement existe, d’accord, mais il a des habitudes étrangères, et un cheminement crédible ne garantit rien sur la phrase finale. Ce qu’il faut regarder, ce n’est pas la fluidité de l’explication : c’est si la conclusion colle aux faits. Dès qu’il y a des chiffres ou des noms propres, on recoupe une fois, même quand le ton est impeccable.
Ensuite, quand vous faites corriger quelque chose à une IA, donnez-lui l’erreur et la correction ensemble. « Écris-le comme ça » ne lui donne que la destination. « Ce passage est faux, voilà ce qu’il faut dire » lui donne l’itinéraire, et c’est justement l’itinéraire que le modèle refabrique à l’intérieur. La critique porte mieux quand la réparation vient avec.
On extrapole peut-être beaucoup à partir de deux études sur des problèmes de primaire. La direction, elle, tient : l’IA a l’air intelligente et elle l’est, simplement son intelligence n’est pas une version allongée de la nôtre.
C’est bien pour ça que le geste le plus ennuyeux — s’appuyer dessus sans complexe, et vérifier soi-même la dernière ligne — reste ce qui fait tenir la relation dans la durée.
