« Je l’avais laissée tomber, et là, ce n’est plus la même IA »
Il y a six mois, vous avez ouvert un outil d’IA, vous avez fait deux ou trois essais, vous vous êtes dit « pas encore pour nous » et vous avez fermé l’onglet.
L’autre jour, vous le rouvrez. Et ce n’est plus le même outil. Ça arrive de plus en plus souvent, non ?
Hex-ko aussi s’est fait avoir, plusieurs fois : recaler un outil, revenir dessus des mois plus tard, et devoir réviser mon jugement de fond en comble.
On imagine tous, plus ou moins, que l’intelligence d’une IA progresse proportionnellement à ce qu’elle a appris : un peu plus d’entraînement, un peu plus de compétence, dans une belle ligne régulière qu’on pourrait tracer à la règle.
Sauf que la réalité est nettement moins polie. Et il existe des travaux là-dessus.
« C’est quoi, au juste, cette histoire de grokking ? »
Le point de départ, c’est un phénomène décrit en 2022 par des chercheurs d’OpenAI : le grokking.
En une phrase : l’IA apprend par cœur ses données d’entraînement, semble plafonner pendant très longtemps… et beaucoup plus tard, d’un coup, se met à se comporter comme si elle avait compris le fond de l’affaire.
En anglais, grok, c’est à peu près « piger pour de bon » ; autrement dit, un beau jour, ça tombe. Et le plus intéressant, c’est justement ce « d’un coup » : pas une amélioration progressive, mais un long plateau suivi d’une marche. C’est exactement là que le phénomène heurte l’image naïve qu’on s’en fait.
D’abord le par cœur. La compréhension arrive bien après
Les expériences portaient sur de l’arithmétique modulaire : ce calcul qui revient au début une fois un nombre fixe atteint, comme les heures sur une horloge. Rien de sorcier, et c’est justement l’intérêt du montage.
Au départ, l’IA fait ce que ferait un élève paresseux : elle retient les énoncés et les réponses. Les problèmes déjà vus ? Quasi parfaits. Les nouveaux ? Catastrophe !
Autrement dit : les annales apprises par cœur, et aucune capacité à s’en servir ailleurs.
Mais si on ne s’arrête pas là — si on continue l’entraînement bien au-delà du moment où ça paraît inutile —, il finit par arriver un instant où les problèmes inédits passent tout seuls. C’est le basculement du par cœur vers la compréhension de la règle : la généralisation, c’est-à-dire la capacité à appliquer ailleurs ce qu’on a appris, arrive en retard.
Ça avait l’air à l’arrêt. Dedans, ça travaillait
Et la vraie question est là : pendant tout ce plateau, elle faisait quoi, l’IA ?
Des chercheurs sont allés regarder plus tard (l’analyse de Nanda et de son équipe) : derrière cette stagnation apparente, les circuits de la généralisation se montaient tranquillement, morceau par morceau. Vu de l’extérieur, rien. À l’intérieur, un chantier.
C’est un peu la plante verte qu’on arrose tous les jours pendant des semaines sans voir la moindre feuille bouger, alors que les racines, elles, poussent en silence.
De là est née une façon de lire le phénomène : comme une transition de phase. Une transition de phase, c’est ce que fait l’eau à zéro degré : liquide, liquide, liquide, et puis on franchit la ligne et c’est de la glace. La compétence ferait pareil : elle ne s’accumulerait pas en pente douce, mais sauterait au passage d’un seuil.
Il faut rester prudent, évidemment : tout ça a été observé sur des montages expérimentaux petits et simples, et rien ne dit que ça se transpose tel quel aux énormes IA qu’on utilise au quotidien. Mais l’idée de fond — la compétence saute, parfois — pèse déjà pas mal.
Conclusion : ne jugez pas une IA sur un seul instantané
Ramené à votre travail, l’enseignement est simple. « Voilà où en est l’IA » n’est pas un verdict qu’on prononce une fois et qu’on range.
Parce que si la compétence peut bouger par à-coups, regarder un instantané et conclure « pas encore utilisable » ou « ça plafonne » devient un pari fragile. Le plateau est peut-être exactement l’endroit où se prépare le prochain saut — et vu du dehors, ça ressemble trait pour trait à une impasse.
Ce qui compte, du coup, ce n’est pas le jugement rendu une fois pour toutes : c’est le suivi à intervalle fixe. Prenez l’IA qui vous intéresse et repassez-lui la même tâche une fois par trimestre, histoire de repérer les premiers signes de changement. Parce qu’une évaluation qu’on tient à jour, c’est ce qui évite de rater le saut.
Et ça ne concerne pas que les capacités. Ce qu’une IA raconte sur votre entreprise, les marques qu’elle met dans sa liste, ça peut basculer du jour au lendemain aussi. Regarder une fois et se rassurer, c’est la version risquée. Suivre l’évolution à intervalle régulier, c’est la version utile. Et c’est sans doute la meilleure préparation qui soit pour la suite.
