En réunion, quelqu’un lâche « de toute façon, on est sur le dernier modèle », et tout le monde se détend d’un coup.
On fait tous pareil. Deux outils côte à côte dans un tableau comparatif, et l’œil file directement vers le plus gros chiffre.
Hex-ko aussi, il faut bien l’avouer.
Sauf que la taille est une variable bien plus bizarre que ne le laisse croire la fiche technique. Elle compte, oui. Mais pas toute seule, et pas toujours dans le sens qu’on imagine.
Tout ça se range sous une idée : les lois d’échelle. Trois travaux — d’OpenAI, de DeepMind et d’une équipe de Google Research — qui, ensemble, donnent une grille de lecture pour n’importe quelle promesse de performance. Allons voir.
Grossir, ça marche — et de façon étonnamment régulière
Le point de départ, c’est un article de 2020 signé Kaplan et ses collègues chez OpenAI, « Scaling Laws for Neural Language Models ».
On y montre que la perte d’un modèle de langage suit une loi de puissance par rapport à trois choses : la taille du modèle, la taille du jeu de données et le calcul consacré à l’entraînement.
La perte, c’est-à-dire l’erreur du modèle quand il prédit le morceau de texte suivant. Et une loi de puissance, autrement dit : la relation est régulière. On pousse l’un des trois curseurs, l’erreur baisse de façon prévisible — pas par chance.
La relation tient sur plus de sept ordres de grandeur. L’exposant d’échelle tourne autour de 0,076 pour la taille du modèle et de 0,095 pour la taille du jeu de données. Et les gros modèles ont tendance à atteindre la même perte avec moins de données.
Les exposants, franchement, on s’en fiche pour le travail quotidien. Ce qui compte, c’est leur conséquence : le gain apporté par la montée en taille s’estime à l’avance.
C’est ce qui a transformé « il suffit de faire plus gros » en plan de bataille plutôt qu’en pari.
Sauf qu’un gros modèle sous-alimenté reste sous-entraîné
La correction est arrivée très vite. En 2022, Hoffmann et son équipe chez DeepMind publient l’article Chinchilla, « Training Compute-Optimal Large Language Models ».
Ils ont entraîné plus de 400 modèles de langage, de 70 millions à 16 milliards de paramètres, sur 5 à 500 milliards de tokens. Un token, c’est le petit morceau avec lequel une IA mâche le texte : à peu près un mot, ou un bout de mot.
Et qu’est-ce que ça donne ?
À budget de calcul constant, il faut augmenter la taille du modèle et le nombre de tokens à peu près dans les mêmes proportions. On double le modèle, on double les données d’entraînement.
Chinchilla a été entraîné selon ce principe, avec 70 milliards de paramètres. Et il a dépassé les modèles existants — dont Gopher et ses 280 milliards, soit quatre fois plus gros — sur un large éventail de tâches d’évaluation.
L’image qui vient : la recrue au CV spectaculaire et sans une heure de terrain. Le titre sur la carte de visite est bien réel. L’expérience pratique, elle, n’est pas encore là — et ça se voit précisément dans les situations pour lesquelles on l’a recrutée.
Deux raisons très différentes pour qu’une IA cesse de progresser
Il manque une pièce, et c’est celle qui rapporte le plus en réunion.
Bahri et ses collègues, de Google Research et de la Johns Hopkins University, se sont attaqués au pourquoi : qu’est-ce qui produit ces lois d’échelle ? Réponse dans un article de 2024 publié dans PNAS, « Explaining Neural Scaling Laws ».
Ils séparent l’origine de la montée en performance en deux familles :
- le régime variance-limited : le goulot d’étranglement, c’est le bruit statistique d’un échantillon de données fini
- le régime resolution-limited : le goulot, c’est la capacité du modèle à représenter le monde assez finement
Autrement dit : est-ce que la réponse vacille parce qu’il manque des données, ou parce que le modèle ne voit pas assez fin ? Même symptôme, remède différent.
Et c’est exactement là qu’on se trompe de geste. Quand un outil d’IA répond mollement sur notre secteur, le réflexe est de dire « prenons un modèle plus costaud ». Sauf que les données d’évaluation pourraient être déséquilibrées, ou l’outil n’a peut-être jamais reçu le contexte qui permet de répondre à la question. Changer de modèle ne règle ni l’un ni l’autre.
Ce qu’on regarde à la place du nom du modèle
Concrètement, pour quelqu’un qui s’occupe de marketing, de RP ou de marque, ça change quoi ?
Une chose surtout : ne plus laisser le nom du modèle porter tout seul l’argument de performance.
Cela dit, les lois d’échelle sont un résultat général sur l’entraînement, pas un verdict sur tel ou tel produit. À partir d’ici, on les lit comme une indication sur la façon d’évaluer les outils, pas comme une preuve directe à leur sujet.
Il reste que si vous utilisez une IA pour voir comment on parle de votre marque, ce que vous achetez n’est pas « une réponse intelligente en général ». Vous voulez des réponses qui tiennent dans votre catégorie, face à vos concurrents, dans le contexte de vos clients. D’où la nécessité de noter séparément la performance générale et l’adéquation à l’usage.
Trois choses à démêler lors de la prochaine démo :
- quel modèle tourne dessous
- avec quelles données et quel contexte l’évaluation a été faite
- quel indicateur a compté comme bon ou mauvais pour cet usage précis
Conclusion : demandez ce qui a été mesuré, pas quel modèle tournait
Oui, les lois d’échelle disent que plus gros a tendance à faire mieux. Mais Chinchilla montre que le rendement baisse dès que taille et données se désalignent, et le travail publié dans PNAS ajoute qu’un plafonnement peut venir du manque de données ou de la capacité du modèle : deux problèmes, deux réparations différentes. « C’est le dernier modèle » reste donc un critère très grossier.
La question qui change vraiment votre décision n’est pas de savoir quel modèle fait tourner l’outil. C’est : sur quelles données a-t-il été testé, qu’a-t-on mesuré, et jusqu’où la vérification est allée. Pour un suivi de marque, ça veut dire vérifier s’il produit des réponses sensées sur votre catégorie et vos comparables — pas s’il sait écrire un sonnet correct.
Alors la prochaine fois qu’un comparatif atterrit sur votre bureau, ne vous arrêtez pas à la colonne « quelle IA ». Lisez jusqu’à « testé sur quoi » et « mesuré comment ».
Sources
