Vous posez une question à ChatGPT sur votre propre entreprise, et ce qui revient est presque juste.
L’année de création est décalée d’un an. Le produit phare est décrit comme il l’était il y a deux repositionnements. Et tout ça est écrit noir sur blanc sur votre page « qui sommes-nous », là où n’importe qui peut le lire.
Hex-ko aussi s’est fait avoir. Elle a collé le texte institutionnel d’une entreprise dans un chat, a demandé l’année de création, et s’est fait répondre avec un aplomb magnifique une année qui n’était pas celle qu’elle venait de fournir dix secondes plus tôt. Pas une hésitation.
Sauf que le plus étrange arrive quand on retourne la question. Décrivez précisément votre entreprise — le secteur, la spécialité, le type de clients — et demandez de quelle entreprise il s’agit. Un humain dirait « ah, ça ressemble à untel ». Le modèle, lui, reste muet.
Il y a donc un écart entre ce qui se trouve dans les données d’entraînement et ce qui en ressort. Et une équipe de chercheurs est allée creuser cet écart avec une expérience volontairement artificielle.
« Qu’est-ce qu’elle sait vraiment ? » : des gens inventés, appris par cœur exprès
Le travail fait partie d’une série intitulée Physics of Language Models, signée Zeyuan Allen-Zhu et ses collègues chez Meta FAIR. Le nom dit tout : la physique a sorti ses lois d’expériences dépouillées, donc on étudie les modèles pareil, dans des conditions qu’on maîtrise plutôt que dans le grand fourre-tout d’internet. Un laboratoire, pas un terrain vague.
L’idée maligne, c’est d’avoir rédigé un gros paquet de biographies de personnes qui n’existent pas. Avec de vraies célébrités, on ne peut jamais exclure que le modèle ait vu la réponse ailleurs. Avec des gens inventés, on sait exactement ce qu’il sait : les biographies qu’on lui a données, et rien d’autre.
Ensuite, l’entraînement a porté sur ces biographies. Puis sont venues les questions — date de naissance, employeur, ce genre de choses — avec, à chaque fois, le taux de bonnes réponses mesuré selon les conditions.
Il l’a retenu, mais il n’arrive pas à le ressortir
Et qu’est-ce que ça donne ? Le premier résultat est celui qui surprend le plus.
Quand chaque biographie était rédigée selon un seul et même gabarit, le modèle n’arrivait quasiment pas à répondre aux questions la concernant.
L’« extraction », dans ce champ de recherche, désigne le fait de ressortir à la demande une information mémorisée. Autrement dit : est-ce que le modèle sait rendre ce qu’il a appris, quand on le lui demande ? Parce que la mémorisation, elle, avait bien marché. L’information était là, elle refusait juste de sortir. Vous voyez le nom qu’on a sur le bout de la langue ? C’est assez ressemblant.
Alors qu’est-ce qui la fait sortir ? Ce que l’équipe a identifié comme réellement efficace, c’est la variété des formulations au moment de l’apprentissage. Le même fait dans un autre ordre, dans une autre phrase, dans un autre contexte, revu encore et encore. À ce moment-là, le modèle répond à la version « question » sans effort.
À l’inverse, quand la formulation restait unique, aucun entraînement supplémentaire ne rattrapait vraiment le coup. La possibilité de récupérer un fait se joue, pour l’essentiel, au moment où il est appris.
Dans l’autre sens, le modèle ne sait quasiment rien faire
Le volet suivant de la série regarde ce qu’un modèle sait faire du savoir qu’il possède déjà. Certains usages passent tout seuls, d’autres échouent d’une manière qui ressemble à un défaut de structure.
L’usage facile, c’est la consultation directe. « C’est quand, l’anniversaire de A ? » : le fait stocké est récupéré, restitué, terminé. Mais dès qu’il faut poser plusieurs faits côte à côte pour les classer ou les comparer, la précision s’effondre, sauf si le modèle a le droit d’écrire ses étapes intermédiaires.
Le pire cas restait la recherche inversée. On donne les caractéristiques, on demande de qui il s’agit : la performance était proche de zéro. Dans un sens ça marche, dans l’autre tout s’écroule — une porte qui ne s’ouvre que d’un côté. Et cette faiblesse ne disparaissait pas non plus sur des modèles du niveau de GPT-4.
« Savoir » et « pouvoir répondre », deux choses distinctes là-dedans
Mis bout à bout, ces résultats dessinent une ligne. Pour un modèle, posséder une connaissance et savoir la restituer sont deux propriétés différentes, pas la même chose sous deux noms.
Chez nous, ça ne fonctionne pas comme ça, et c’est de là que vient l’erreur. Si on sait, on répond quand on nous demande. Du coup on glisse vers l’idée que « c’est dans les données d’entraînement » égale « l’IA saura répondre ». Ces travaux mettent un trait bien net sous cette supposition.
Le levier — et c’est la partie à garder — tient au nombre de formulations différentes sous lesquelles le fait est apparu. Un modèle ne range pas une phrase telle quelle : il apprend surtout le fait qui ressurgit à travers des tournures variées, et c’est cette version-là qu’il sait rendre. Autrement dit, ce n’est pas seulement le volume d’exposition qui compte, c’est aussi son éventail.
Une réserve, quand même : tout ça se joue sur des biographies fabriquées, et la transposition aux marques réelles demanderait d’autres travaux.
Conclusion : ne laissez pas une seule formulation porter tout le poids
Concrètement, pour qui s’occupe d’une marque, qu’est-ce que ça change ?
Premier point : vos faits importants doivent exister dehors dans plusieurs voix et plusieurs contextes. Une ligne exacte dans la fiche entreprise, ce n’est pas la ligne d’arrivée. Communiqués, articles explicatifs, pages de questions-réponses, mentions par des tiers : que le même fait revienne habillé différemment, c’est, d’après cette recherche, la condition pour qu’il devienne du savoir récupérable et non du texte stocké mort. Un fait, plusieurs habits.
Deuxième point, à garder en tête : la recherche inversée. Quand quelqu’un demande « quelles boîtes font ça ? » ou « qui est réputé pour ça dans le secteur ? », c’est exactement le sens dans lequel les modèles pèchent, même quand vous correspondez parfaitement à la description. Le fait est là, le chemin manque. Mieux vaut donc renforcer l’exposition qui relie directement votre nom à la caractéristique, plutôt que d’espérer que l’IA remonte toute seule jusqu’à vous.
Reste une habitude peu glorieuse mais porteuse : vérifier au lieu de supposer. Ce qu’un modèle sait réellement dire de vous, et sous quelles formulations de question, ne se déduit pas de l’extérieur. On le mesure, on change la façon dont les faits sortent, et on regarde si la récupération s’améliore. C’est le pas qui sépare « l’IA nous connaît » de « l’IA en parle correctement ».
