« Bon, jusqu’où je peux confier mon métier à l’IA ? »
Plus on avance dans l’usage de l’IA, plus cette question pèse. Vous lui avez versé vos spécifications produit et votre savoir sectoriel, et la réponse qui revient tombe quand même à côté.
Hex-ko a démarré tout aussi naïvement : « je lui donne les données, elle répondra bien ». Dans les faits, c’est l’inverse qui se répète : « elle devrait le savoir, mais elle ne le sort pas ».
Ce qui décortique ce décalage avec des expériences contrôlées, c’est Physics of Language Models, le Part 3 (de la 3.1 à la 3.3).
L’idée maîtresse : il y a trois murs distincts. Comment vous l’enseignez, comment vous l’interrogez, et combien elle peut contenir.
Mur 1 : un fait dans une seule formulation ne prend pas
Le premier constat est très concret. L’IA ressort moins bien un même fait quand il n’apparaît que dans une formulation unique et figée.
Les chercheurs ont utilisé des données synthétiques de biographies, et comparé : donner le fait une seule fois, ou le répéter dans des formulations et des ordres différents.
Le verdict est net. Avec une seule formulation, la précision ne bougeait quasiment pas. En mélangeant paraphrases et versions réordonnées, la précision de récupération montait.
C’est exactement pourquoi « je colle le texte source une fois dans le RAG et basta » reste faible. Une version résumé, une version FAQ, une version à puces : présenter la même chose sous plusieurs angles, voilà ce qui marche.
Mur 2 : retournez la question, et la précision s’effondre
Le deuxième mur, c’est le sens dans lequel vous interrogez. Le modèle traite bien une question dans le sens direct, mais sur une , la précision a tendance à chuter.
Pensez à « Dans quelle université A a-t-il étudié ? », répondue sans peine, contre « Qui a étudié à telle université ? », où ça déraille. Même fait, sens opposé.
Ça mord en silence dans le support client et la recommandation produit. Quand les vraies questions commencent par la condition et non par le sujet, vous perdez des réponses tant que vous ne l’avez pas prévu.
Mur 3 : il y a un plafond à ce qu’elle peut savoir
Le troisième mur, c’est la capacité. Le Part 3.3 met au jour une loi d’échelle qui relie le nombre de paramètres à la quantité de connaissances qu’un modèle peut retenir.
En clair : plus gros ne veut pas dire mémoire infinie. Agrandir le modèle augmente la capacité, mais c’est directement couplé au coût.
D’où l’intérêt, plutôt que de tout miser sur le bourrage dans le modèle lui-même, de répartir le travail entre un montage RAG et un périmètre de couverture bien délimité.
Conclusion : démarrez votre RAG par « plus de formulations » et « la réécriture de la question »
Quand l’IA ne répond pas à partir d’un savoir que vous lui avez confié, sauter direct au « le modèle est faible » est prématuré. Comme le montre cette recherche, le problème n’est pas seulement combien elle sait : c’est de savoir si la formulation stockée et la formulation employée par vos utilisateurs s’accordent.
En RAG et dans les bases de connaissances internes, n’enregistrez pas un fait clé sous la forme d’une seule phrase. Conservez-le sous plusieurs formes : résumé, FAQ, liste à puces. Et quand une vraie question échoue, réécrivez-la en une confirmation directe toute simple, puis réinterrogez. Ces réglages peu spectaculaires paient souvent avant même qu’un changement de modèle n’y change quoi que ce soit.
Sources
- Zeyuan Allen-Zhu, Yuanzhi Li, « Physics of Language Models: Part 3.1, Knowledge Storage and Extraction », arXiv:2309.14316, 2023. lien vers l’article
- Zeyuan Allen-Zhu, Yuanzhi Li, « Physics of Language Models: Part 3.2, Knowledge Manipulation », arXiv:2309.14402, 2023. lien vers l’article
- Zeyuan Allen-Zhu, Yuanzhi Li, « Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws », ICLR 2025. lien vers l’article
- Physics of Language Models — site officiel de la série, physics.allen-zhu.com
Articles liés
- « Réfléchis bien », dit-on à l’IA. Mais réfléchit-elle vraiment ? — la portée réelle et les limites du raisonnement
