On confie à ChatGPT la moitié ennuyeuse d’une veille concurrentielle, et il renvoie un paragraphe impeccable, sans l’ombre d’une hésitation.
Et on se détend. C’est automatique.
Mais l’erreur qui coûte cher, ce n’est pas l’IA qui répond « je ne sais pas ». C’est l’IA qui se trompe d’une voix très assurée. Un peu comme ce collègue qui a oublié ses diapos mais manie le pointeur laser comme personne : l’aplomb, tout seul, convainc déjà beaucoup.
Alors la question se pose : cette assurance, c’est de la mise en scène, ou bien il y a vraiment, dans le modèle, quelque chose qui note sa propre réponse ?
Trois travaux ouvrent le capot là-dessus. Et le résumé tient en une phrase : l’assurance existe pour de vrai, mais ce n’est pas un baromètre de la justesse. Allons voir l’écart.
« Cette assurance, elle est réelle ou c’est juste de la façade ? »
Commençons par le travail de Google DeepMind, « How do LLMs Compute Verbal Confidence? » (l’étude), mené sur Gemma 3 27B et Qwen 2.5 7B. La question : quand un modèle met en mots son degré de confiance, d’où sort ce chiffre ?
C’est la méthode qui est belle. L’équipe a coupé et permuté, morceau par morceau, la circulation de l’information à l’intérieur du modèle (oui, c’est un peu de la plomberie), pour suivre à la trace le chemin du signal de confiance.
Et ce signal n’est pas bricolé après coup. Il naît à la position de la réponse, se range juste après elle, et ressort au moment où il faut verbaliser le degré de certitude.
Autrement dit : il y a bien, là-dedans, une auto-évaluation réelle. Pas du théâtre !
Du coup, la suite semble évidente : il suffirait de demander sa confiance à l’IA. Sauf que c’est précisément là qu’il ne faut pas s’arrêter.
Sauf que le ton et le doute ne vont pas ensemble
Le travail de Meta, « Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations » (l’étude, EMNLP 2025), mesure l’écart entre deux choses bien distinctes.
D’un côté l’incertitude verbale : à quel point la réponse sonne hésitante. De l’autre l’incertitude sémantique : à quel point la machine, en interne, hésite entre les réponses qu’elle aurait pu donner.
Parfois le modèle doute vraiment et l’annonce quand même sans trembler. Parfois il prend des pincettes dont il n’a pas besoin. Et ce décalage, justement, prédit les hallucinations : le ton est un indice de l’état interne, mais il n’est pas cet état.
Il y a une bonne nouvelle. En intervenant sur l’incertitude verbale au moment de l’inférence, les hallucinations assurées sur des questions à réponse courte reculent d’environ 30 % en moyenne. C’est du laboratoire, cela dit, pas l’onglet ouvert dans votre navigateur : je ne partirais pas du principe que votre outil quotidien embarque quoi que ce soit de tout ça.
Donc, quand on lit ce qu’une IA raconte sur une marque, la vôtre ou celle d’en face, la bonne question n’est pas de savoir si elle s’est dite sûre. C’est de savoir si le dispositif est fait pour montrer ce qu’il ne sait pas.
L’excès de confiance n’est pas qu’une manière de parler
La prépublication de 2026 « Wired for Overconfidence » (l’étude) descend d’un étage : elle poursuit les réponses fausses mais assurées jusqu’au niveau des circuits. Deux modèles, Qwen2.5-3B-Instruct et Llama-3.2-3B-Instruct. Trois jeux de données : PopQA, MMLU et NQOpen.
Dans les couches intermédiaires à tardives, les auteurs repèrent des composants qui gonflent la confiance annoncée. Ils appellent ça un « Confidence Mover Circuit ».
Et quand on touche à ce circuit, l’écart entre l’assurance affichée et la justesse réelle se resserre nettement. Les auteurs le suivent avec deux indicateurs de , l’ECE et le score de Brier :
- sur PopQA, l’ECE baisse de 40 à 97 % et le score de Brier s’améliore de 43 à 70 % ;
- sur MMLU, l’ECE baisse de 33 à 57 % ;
- sur NQOpen, de 81 à 83 %.
Inutile de retenir le nom des métriques (personne ne vous interrogera dessus). Ce qui compte, c’est que l’écart s’est réduit, et qu’il s’est réduit en touchant des pièces bien identifiées du modèle.
Alors, un seul circuit expliquerait tout ?
Attention quand même à la lecture rapide. « SCIURus », présenté à NAACL 2025 (l’étude), suggère de son côté que l’incertitude et la factualité proviennent de parties partagées du même réseau.
Chaque travail observe donc un phénomène un peu différent. Dire qu’« un circuit de sur-confiance explique tout » irait plus loin que ce qui a été montré.
L’essentiel tient malgré tout : l’excès de confiance ressemble à une propriété de la mécanique, pas à un tic de style.
Et ça donne un critère concret pour choisir un outil, parce que la bonne question se déplace : pas seulement « affiche-t-il un niveau de confiance ? », mais « ce niveau, il a été confronté à quoi ? ».
Conclusion : faire du ton assuré un déclencheur de vérification, pas de copier-coller
Soyons honnêtes : il y a bien du signal dans l’assurance d’une IA, et ça reste très loin d’une garantie. La bonne habitude consiste donc à traiter ce ton comme un drapeau qui dit on vérifie avant d’utiliser, et non comme la raison de l’utiliser.
Avant qu’une phrase n’atterrisse dans une présentation, cherchez trois choses dans la réponse : un lien vers la source, une date, et un « ça, je n’ai pas pu l’établir » explicite. Ce que le modèle ne sait pas sourcer ne va pas dans le corps du document, mais dans une note à vérifier.
Et posez la même question plusieurs fois, sur plusieurs modèles. On décide avec ce qui survit à ce passage. Rien ne protège aussi bien d’un ton péremptoire que de le voir échouer à se reproduire.
Si vous voulez construire ce jugement depuis l’intérieur du modèle, « L’IA comprend-elle vraiment ? » : on a ouvert le capot pour voir prolonge bien celui-ci.
Sources
- Kumaran, D. et al. (Google DeepMind), « How do LLMs Compute Verbal Confidence? », arXiv:2603.17839, 2026, arxiv.org
- Ji, Z. et al. (Meta), « Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations », EMNLP 2025, arXiv:2503.14477, arxiv.org
- Teplica, C. et al. (NYU), « SCIURus: Shared Circuits for Interpretable Uncertainty Representations in Language Models », NAACL 2025, aclanthology.org
- Zhao, T. et al. (Université de Virginie), « Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs », arXiv:2604.01457, 2026, arxiv.org
