« Une IA, ça devient plus malin indéfiniment si on la fait grossir ? »
Depuis quelques années, on entend ça partout : plus une IA est grosse, plus elle est maligne.
À chaque nouveau modèle, c’est le nombre de paramètres qui passe en premier. Des centaines de milliards, des milliers de milliards. Et on finit par ranger l’affaire dans la case « au fond, c’est la taille qui décide ».
Hex-ko est pareille : à chaque sortie, sa première question, c’est « bon, elle a grossi de combien, celle-là ? ».
Mais si on s’arrête deux secondes, c’est quand même bizarre d’acquiescer comme ça. Pourquoi grossir rendrait plus malin ? Et surtout : est-ce que ça va continuer ?
Pendant longtemps, personne n’a vraiment su répondre. C’était une règle empirique, très fiable, mais une règle empirique quand même. Sauf qu’en 2025, un travail est sorti qui répond à ce « pourquoi » depuis l’intérieur du modèle. On va donc creuser tout ça.
Ça veut dire quoi exactement, « plus gros donc plus malin » ?
D’abord les bases. Il existe en IA ce qu’on appelle les lois d’échelle : plus on met de données d’entraînement et de puissance de calcul, plus on fait grossir le modèle, et plus la performance monte, de façon étonnamment régulière.
Et cette performance, on la mesure comment ? Par l’ampleur de ses erreurs de prédiction. Le terme technique, c’est la (loss en anglais). Autrement dit : plus c’est bas, plus c’est malin. Vous n’avez pas besoin d’en retenir plus.
Ce qui frappe, c’est la propreté de la courbe. Tant de taille en plus, tant de perte en moins. Et ça recommence à chaque fois.
C’est bien pour ça que les entreprises ont investi si sereinement dans le « on fait plus gros, et voilà ».
Chaque année, quelqu’un annonce que le plafond est atteint. Et chaque année, la prédiction vieillit mal (l’arnaque du « c’est bientôt fini », version IA), parce que la courbe, elle, continue de filer tout droit.
Mais il restait quelque chose en travers de la gorge. Propre ne veut pas dire expliqué. Personne ne savait dire pourquoi la courbe se comportait comme ça. On en restait au « on a essayé, et ça a donné ça ».
La clé, c’est à quel point une IA est bourrée à l’intérieur
La clé de cette énigme, c’est un phénomène qu’on appelle la (superposition).
La superposition, c’est le fait qu’une IA retient beaucoup plus de caractéristiques qu’elle n’a de pièces pour les ranger. Une caractéristique, c’est un petit indice qui lui sert à lire le monde : « ça ressemble à un texte poli », « ça parle de cuisine ». Des milliers de petits angles de vue.
L’intuition dirait : 100 pièces, donc 100 caractéristiques maximum. Eh bien non !
Une vraie IA case des milliers de caractéristiques dans ces cent pièces, en décalant un peu l’orientation de chacune pour qu’elles cohabitent. C’est un peu comme un tiroir où l’on range plus de dossiers qu’il n’y a d’emplacements : on les glisse en biais, et on voit encore le bord de chacun.
Ce mécanisme, c’est Anthropic qui l’a décortiqué dès 2022 sur de petits modèles (l’étude), et il est devenu le point de départ de la recherche en interprétabilité, celle qui va lire ce qui se passe dans le ventre du modèle.
Et c’est cet entassement qui fabrique la loi d’échelle
Voilà pour le décor. La nouveauté, la voici : un travail du MIT (Liu, Liu, Gore et leurs collègues, retenu comme Best Paper Runner-Up à NeurIPS 2025) montre que cette superposition est la loi d’échelle vue de l’intérieur (l’étude).
L’équipe a analysé théoriquement le régime où les caractéristiques sont fortement superposées, c’est-à-dire tassées bien au-delà du nombre de pièces disponibles. Et il en sort une relation très nette :
Augmentez le nombre de pièces (la largeur du modèle), et la perte baisse de façon inversement proportionnelle.
Deux fois plus large, environ deux fois moins d’erreur. Cette proportion inverse, c’est le contenu de la fameuse courbe « plus gros, plus malin ».
Le plus beau, c’est la solidité du résultat : la relation tient dans des conditions assez larges et ne dépend pas du détail fin de la répartition des caractéristiques. On bouge un peu les hypothèses, la forme de la courbe reste.
Quand c’est stable à ce point, ça ne ressemble plus à une coïncidence, mais à une conséquence de la structure.
Ce qui est nouveau : une règle empirique qui a enfin une raison
C’est là le vrai apport de ce travail.
La loi d’échelle avait toujours été reproductible : on remesure, ça retombe pareil. Ce qui manquait, c’était le mécanisme. La raison, elle, restait en suspens.
Maintenant, on peut dériver la courbe de la géométrie avec laquelle une IA entasse ses caractéristiques. Autrement dit, la superposition trouvée par Anthropic et la loi d’échelle sur laquelle les entreprises s’appuient sont les deux bouts d’une même ligne.
La montée en taille que tout le monde pratiquait « parce que ça marche » a donc gagné une colonne vertébrale : le pourquoi ça marche. Savoir la raison ne rend évidemment personne plus malin d’un coup. Mais ça change le point de vue d’où l’on regarde.
Conclusion : dire « la taille paie encore », mais avec une raison en main
Concrètement, qu’est-ce qu’un marketeur ou un décideur fait de tout ça ?
Premier point, c’est rassurant. La course du secteur au « toujours plus gros » devrait continuer à payer un moment. Du moins pour l’instant, que la taille fonctionne n’est pas un coup de chance : ça semble enraciné dans la façon dont l’IA est bâtie à l’intérieur. Pas besoin, donc, de bâtir vos plans sur l’idée que les gros modèles vont buter contre un mur dans les tout prochains mois.
Second point, et c’est celui que je garderais à l’œil. Quand on sait pourquoi ça marche, on a un appui pour se demander jusqu’où ça marche et où ça commence à ralentir.
Là, on n’a plus une courbe. On a une question.
L’entassement a forcément des limites géométriques, et à mesure qu’on s’en approche, cette courbe inverse devrait finir par s’aplatir. Ce qu’on gagne, ce n’est pas une date, c’est un appui pour raisonner : le jugement se fera désormais à partir de la structure, et non plus à partir de l’ambiance.
Or la trajectoire des capacités et des coûts de l’IA finit toujours par atterrir dans vos budgets et dans le choix de vos outils. Alors ne vous arrêtez pas au constat que plus gros a l’air plus malin : emportez la question suivante, celle du pourquoi et du jusqu’où. C’est peu spectaculaire, mais c’est ce qui vous évite de balancer entre l’emballement et le découragement.
