« J’ai demandé la fiche de la société à l’IA, et nos chiffres étaient faux »
Ce message vous est déjà remonté ?
Hex-ko réglait ça avec une explication commode : le modèle a cessé d’apprendre avant, donc forcément il ne sait pas.
Sauf que ce jour-là, le chiffre qui clochait datait de trois ans et était public depuis.
Si c’est justement l’ancien qu’un modèle devrait avoir bien calé, pourquoi ça passe pour une entreprise et pas pour la suivante ?
Quelqu’un a posé plus de 197 000 questions sur des sociétés cotées américaines et confronté chaque réponse aux données officielles.
Jusqu’où l’IA connaît-elle les résultats d’une entreprise ?
Cela dépend de la taille de l’entreprise et de la lisibilité de ses publications.
Agam Shah et quatre co-auteurs du Georgia Institute of Technology ont posé aux modèles plus de 197 000 questions sur les données financières de sociétés cotées américaines, chaque réponse étant confrontée une par une aux chiffres officiels (publié en 2025, accepté à COLM 2025, arXiv:2504.00042).
Les grandes entreprises, celles qui attirent le plus l’attention des investisseurs et celles dont les documents sont écrits le plus simplement obtenaient des réponses plus justes.
La même étude montre que plus l’entreprise est grande et l’exercice récent, plus la probabilité que le modèle fabrique des chiffres faux avec aplomb augmente.
Être bien connu et ne pas être inventé sont deux choses distinctes.
Remesurer le postulat « avant la date de coupure, il sait »
La date de coupure d’entraînement indique jusqu’où va le matériel appris par le modèle. Qu’il flanche sur ce qui suit cette ligne, c’est connu.
Ce que cette étude a mesuré, c’est ce qui se trouve avant la ligne.
La méthode est sans mystère. Construire plus de 197 000 questions sur des postes financiers de sociétés cotées américaines et confronter chaque réponse à la donnée officielle.
Puis observer comment quatre signaux — capitalisation boursière, attention des particuliers, attention des institutionnels, lisibilité des documents — évoluent avec la justesse.
Le premier postulat à tomber : tout ce qui précède la ligne serait su. Plus l’exercice est ancien, plus la justesse baisse.
Ce qui faisait la différence : la taille et la lisibilité
Les chiffres des grandes entreprises tombent plus souvent juste. Jusque-là, la plupart l’auraient parié.
L’intéressant, c’est que la lisibilité des documents pesait au même titre que la capitalisation. Même taille, autre rédaction, autre résultat.
L’indicateur de lisibilité revient à noter si un document est écrit en phrases simples, avec les chiffres posés là où on peut les lire.
Et c’est une variable que l’entreprise peut bouger. Augmenter sa capitalisation aujourd’hui, non. Réécrire aujourd’hui les points clés des résultats en texte clair et en chiffres lisibles, oui.
C’est le point qui a le plus soulagé Hex-ko dans toute l’étude.
Le résultat sur l’attention des investisseurs pointe dans le même sens : ce que les gens lisent et citent beaucoup tient aussi mieux du côté du modèle.
Le paradoxe : plus l’entreprise est grande, plus on invente à son sujet
C’est là que la bonne nouvelle s’arrête. Pour les entreprises plus grandes et les exercices plus récents, les hallucinations augmentaient.
Hallucination veut dire ici que le modèle répond par un fait qui n’existe pas, avec une assurance totale. Quand cela touche vos chiffres, quelqu’un de l’extérieur les cite sans vérifier.
Comme il y a plus de matière autour, le modèle cesse de s’abstenir et assemble quelque chose de vraisemblable. C’est la candidate qui a le plus révisé une matière et qui, du coup, remplit chaque blanc d’une erreur assurée plutôt que de le laisser vide.
Une grande entreprise a donc plus de chances d’être à la fois bien connue et citée de travers.
« L’IA nous connaît précisément, donc tout va bien » ne suit pas.
Comment lire cela hors des États-Unis
Le périmètre, ce sont les données financières de sociétés cotées américaines. L’extension à d’autres marchés linguistiques, aux sociétés non cotées ou aux informations d’entreprise non financières n’est pas établie par cette étude.
L’indicateur de lisibilité est lui aussi taillé pour les caractéristiques des documents déposés auprès du régulateur américain. Un autre régime d’information ne supporte pas forcément la même toise.
Les modèles évalués et le jeu de questions datent de la publication : il faut revérifier si le motif tient après les mises à jour.
Les trois réserves posées, une chose voyage quand même : le levier que l’entreprise tient elle-même, c’est la lisibilité de ce qu’elle publie.
posez vos chiffres là où un modèle peut les lire
Une action suffit pour commencer. Ouvrez la page qui porte vos résultats et vos chiffres, et regardez si un modèle pourrait la lire.
Les montants et les volumes sont-ils enfermés dans des images ou des graphiques ? L’exercice et les unités sont-ils écrits en texte dans le corps ? Corriger ces deux points change déjà la matière disponible.
Prenez aussi l’habitude de vérifier les réponses plusieurs fois et sur plusieurs modèles. Que vos chiffres sortent justes une fois n’écarte pas le paradoxe ci-dessus.
Être bien connu, et ne pas être inventé. Deux vérifications distinctes : c’est ce qu’il faut retenir.
Sources
- Agam Shah et quatre co-auteurs (Georgia Institute of Technology), “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, publié en 2025, accepté à COLM 2025, arxiv.org (plus de 197 000 questions sur les données financières de sociétés cotées américaines, chaque réponse confrontée aux chiffres officiels. La justesse augmentait avec la capitalisation boursière, l’attention des investisseurs particuliers et institutionnels et la lisibilité des documents, et baissait pour les exercices plus anciens. Les taux d’hallucination augmentaient pour les entreprises plus grandes et les exercices plus récents. Le périmètre se limite aux données financières de sociétés cotées américaines ; l’indicateur de lisibilité est bâti sur les dépôts auprès du régulateur américain ; les modèles évalués et le jeu de questions datent de la publication.)
