« J’ai collé deux vieux mails et d’un coup ça écrivait bien »
Vous demandez quelque chose à l’IA. Le résultat est moyen. Alors vous collez deux ou trois exemples de ce que vous vouliez vraiment, vous relancez… et la deuxième réponse n’a plus rien à voir.
Ça vous est sûrement arrivé ces derniers mois, non ?
Hex-ko en fait l’expérience tous les jours : quand on demande un brouillon de mail, glisser d’abord quelques anciens mails dans le prompt change le résultat de façon flagrante.
Sauf qu’aussitôt après arrive le doute. Est-ce que l’IA apprend vraiment de ces exemples, ou est-ce qu’on a juste eu de la chance ce jour-là ? On a l’impression que ça marche. Mais bâtir une routine d’équipe sur une impression, c’est fragile : rien ne dit que l’astuce tiendra demain.
Une équipe s’est justement penchée sur la question, et avec des équations. Allons regarder ça de plus près.
L’astuce s’appelle « few-shot ». Ce qui se passe dedans porte un autre nom
D’abord un mot de vocabulaire, et on avance. Coller des exemples dans le prompt, ça s’appelle le prompt few-shot : en anglais, few-shot, c’est « avec quelques exemples ». Aucun exemple, c’est du zero-shot ; deux ou trois, c’est du few-shot. Toute la distinction est là.
Et ce qui se produit à l’intérieur de l’IA pendant ce temps, c’est ce qu’on appelle l’.
L’apprentissage en contexte, c’est la capacité à caler sa réponse sur les exemples posés dans le prompt, sans le moindre entraînement supplémentaire. Autrement dit : rien n’est réécrit à l’intérieur du modèle, ses paramètres sont exactement les mêmes qu’une seconde plus tôt, et pourtant il répond différemment. Et concrètement, pour vous, le levier se trouve dans le prompt, pas dans l’attente du prochain modèle.
La vraie question restait ouverte : est-ce que ça mérite le nom d’apprentissage, ou est-ce que ça y ressemble seulement beaucoup ?
Ce que Berkeley a mis en équations
Une équipe de l’université de Californie à Berkeley — Ruiqi Zhang, Spencer Frei et Peter L. Bartlett — a attaqué la question de front, dans un article publié en 2024 dans le JMLR, l’une des grandes revues d’apprentissage automatique (l’étude).
Qu’ont-ils fait, concrètement ? Ils ont pris un Transformer (l’architecture sur laquelle reposent les IA actuelles), l’ont simplifié jusqu’à l’os, puis ont suivi son entraînement pas à pas, mathématiquement. Mais les modèles réels sont bien trop enchevêtrés pour qu’on puisse les analyser exactement : on ne garde donc que l’essentiel, et on résout complètement la version minimale.
Et qu’est-ce que ça donne ?
- Si on l’entraîne assez longtemps, le modèle atteint à coup sûr son meilleur état possible (convergence vers le minimum global).
- Dans cet état, son apprentissage en contexte est aussi juste que le meilleur prédicteur théoriquement possible sur les données présentes.
En clair : à la seconde où l’IA lit les exemples, elle se fabrique la règle de prédiction qui colle à ces exemples-là aussi bien que c’est théoriquement possible. C’est le joueur qui sort son coup à pierre-feuille-ciseaux après avoir vu votre main.
Pourquoi on peut dire qu’elle « révise » vraiment
Et c’est là que ça devient amusant ! L’équipe a également établi que le calcul mené à l’intérieur du modèle revient au même que la vieille procédure de l’apprentissage automatique : progresser petit à petit à partir d’exemples.
Autrement dit, quand on lui montre des modèles de réponse, l’IA lance sur-le-champ quelque chose qui ressemble à un réapprentissage de la règle à partir des données.
L’impression que « ça apprend » n’était donc pas une illusion. Les exemples marchent parce que la machine est faite comme ça.
Les réserves : une démonstration dans un monde « linéaire »
Deux nuances, et les deux comptent.
La démonstration tient dans un cadre volontairement simplifié, le cadre linéaire. Personne ne peut affirmer aujourd’hui qu’il se passerait exactement la même chose à l’intérieur d’un système aussi énorme et aussi empilé que ChatGPT. L’équipe le dit elle-même : l’extension à des cadres plus complexes reste à faire. On vient d’allumer un très bon projecteur à l’entrée d’une grotte immense, et le fond reste dans le noir.
La seconde réserve, elle, va vous toucher au quotidien. L’apprentissage en contexte est jetable. Ce que l’IA a tiré de ces exemples disparaît dès que le prompt se referme. Elle n’en garde rien.
Conclusion : gardez les exemples, l’IA ne le fera pas pour vous
Ramené à votre travail, ça se résume vite. Coller des exemples dans un prompt, ce n’est ni une superstition ni un porte-bonheur : c’est un geste rationnel, adossé au fonctionnement du système. Le résultat de Berkeley dit que l’IA construit la meilleure façon de répondre à partir de ce qu’on lui met sous les yeux. Lui donner un ou deux exemples proches du rendu attendu est donc, mathématiquement, la bonne idée.
Concrètement, une seule habitude en découle : arrêtez de traiter les bons exemples comme l’art personnel de quelqu’un. Si votre équipe partage ses usages de l’IA, les exemples qui fonctionnent ont leur place dans un gabarit de prompt qu’on recolle à chaque fois. Parce que le prompt qui vous a sauvé la journée aujourd’hui ne suivra pas tout seul dans la conversation de demain.
Et gardez bien la frontière entre deux choses différentes. L’apprentissage en contexte, c’est l’ajustement du moment. Faire qu’un modèle porte durablement les informations et les règles de votre entreprise, c’est un autre problème, avec une autre mécanique, et le bricolage de prompt n’y suffira pas. Cette ligne en tête, la prochaine réunion du type « on ne peut pas régler ça au prompt ? » durerait sans doute nettement moins longtemps.
Le domaine est jeune, tout n’est pas tranché. Mais « montrer des exemples, ça marche » se révèle être une affirmation solide. Alors commencez par ajouter un seul exemple à un prompt que vous utilisez déjà, et regardez ce qui bouge.
Source
- Ruiqi Zhang, Spencer Frei, Peter L. Bartlett (UC Berkeley), « Trained Transformers Learn Linear Models In-Context », JMLR Vol.25, 2024, lien
