« Le nouveau modèle est plus intelligent. » Vous avez dû entendre cette phrase quatre fois depuis janvier, non ?
On hoche la tête. Hex-ko aussi, d’ailleurs — et deux secondes plus tard, elle serait bien incapable de dire à quoi renvoie ce « plus intelligent ».
Le résultat, on le voit : de meilleures réponses, de meilleurs scores. C’est le milieu qui reste fermé — le moment où la chose est justement en train de devenir plus intelligente.
Sauf que quelques personnes ont commencé à ouvrir ce milieu-là. Pas disséquer un modèle fini : suivre un modèle pendant qu’il grandit.
Et ce qu’on y voit est assez joli : les pièces à l’intérieur se répartissent le travail au fil de l’apprentissage.
« D’accord, mais qu’est-ce qui se passe là-dedans pendant que ça apprend ? »
Au centre, il y a un article de Timaeus, un institut de recherche, retenu en Spotlight à ICLR 2025 : « Differentiation and Specialization in LLMs » (l’étude).
L’équipe s’est intéressée à une pièce qu’on appelle la tête d’attention. Autrement dit : le petit composant qui décide sur quels mots l’IA va se concentrer quand elle lit une phrase. Un seul modèle en empile beaucoup.
Et ce qui est amusant, c’est leur allure au tout début de l’apprentissage.
Juste après le démarrage, elles se comportent à peu près toutes pareil. Il n’y a quasiment pas de différence de rôle entre elles.
L’article appelle cet état « indifférencié ». Puis, à mesure que l’apprentissage avance, ces mêmes têtes se séparent en rôles distincts. Une croissance plutôt disciplinée, avouons-le.
Comme un œuf fécondé qui se transforme en organes
« Au départ tout le monde se ressemble, ensuite chacun son métier » : ça vous rappelle quelque chose, non ?
Bien sûr : c’est le développement du vivant. Un œuf fécondé se divise, encore et encore, jusqu’à ce que certaines cellules deviennent du cœur et d’autres du nerf.
Pour les pièces d’une IA, c’est du même ordre. Imaginez une promotion de nouvelles recrues, indiscernables le premier jour, qui après la formation se retrouvent les unes au commercial et les autres à la compta.
Alors en quoi se sont-elles spécialisées, ces têtes différenciées ? On a observé des rôles comme ceux-ci :
- Le plus simple : prédire le mot suivant à partir du mot juste avant (bigram, c’est-à-dire le lien entre deux mots voisins)
- Repérer un motif déjà apparu plus haut et le réappliquer (induction, c’est-à-dire répéter une règle trouvée dans le contexte)
Et par-dessus, quelque chose que personne n’avait décrit : les « circuits multigram », qui traitent des motifs un peu plus complexes.
Voilà le bénéfice d’avoir suivi l’apprentissage pas à pas. Une structure qu’on ne voit pas en contemplant le modèle fini.
Et comment mesure-t-on qu’une pièce « s’est faite » ?
À ce stade, la question tombe toute seule : comment diable mesurer une répartition des rôles à l’intérieur ? C’est justement le cœur du travail.
Les auteurs se sont appuyés sur un indicateur issu de la théorie singulière de l’apprentissage, le cadre mathématique bâti par Sumio Watanabe pour analyser rigoureusement l’apprentissage des modèles que la statistique ordinaire traite mal — les réseaux de neurones, typiquement.
Appliqué tête par tête, cet indicateur donne un chiffre pour « à quel point cette pièce-ci s’est construite jusqu’ici ».
Et voilà le point important : ce changement interne, on ne le voit pas en regardant seulement les notes de l’IA.
L’intelligence d’un modèle en cours d’apprentissage se mesure d’habitude à la façon dont l’erreur de test (la perte) descend. Mais même quand cette courbe descend bien lisse, un changement structurel par étapes avance discrètement en dessous : la répartition des rôles.
Autrement dit, plutôt que d’analyser à froid un modèle terminé, on suit les changements le long de l’axe du temps d’apprentissage. L’article appelle ce regard l’.
Une façon simple de le voir : on ajoute un axe à la recherche sur l’intérieur des IA, celui du temps.
Conclusion : demander si l’IA s’explique, pas seulement combien elle score
Ce que montre ce travail, c’est que l’intelligence d’une IA ne s’empile pas de façon lisse. Elle arrive par étapes, à mesure que les pièces internes reçoivent leur rôle.
Des pièces au départ interchangeables deviennent des spécialistes, et cela s’observe désormais ailleurs que dans la colonne des scores. C’est une avancée qui compte.
Bien sûr, la réserve : la vérification porte ici sur de petits modèles, d’environ deux couches. On ne peut pas en déduire que la même chose se produit dans les modèles géants. Il faut le décompter honnêtement.
Mais ce qu’un marketeur ou un décideur peut ramener, c’est autre chose : le postulat « l’IA est une boîte noire, donc on ne peut la juger que sur son score final » commence à se fissurer.
Plus la recherche capable d’interroger l’intérieur grandit, plus grandit aussi la possibilité de vérifier pourquoi telle IA a tranché comme elle l’a fait.
Alors, au moment d’évaluer ou de choisir une IA, ne gobez pas seulement les scores qu’on vous présente. « Est-ce que quelqu’un sait expliquer ce qu’il y a dedans ? » est une question dont la valeur monte chaque année, et la garder en tête ne coûte rien.
Franchement, je ne pensais pas qu’il y avait tant à voir dans la croissance d’une IA. Si ça vous a intrigués aussi, commencez petit : la prochaine fois qu’une réponse vous surprend, arrêtez-vous et demandez-vous pourquoi celle-là.
Sources
- Timaeus Research, « Differentiation and Specialization in LLMs », ICLR 2025 (Spotlight), 2024, lien
