Si passa a ChatGPT la metà noiosa di un’analisi dei concorrenti, e torna indietro un paragrafo compatto, senza un’esitazione. E ci si rilassa.
Capita anche a me, Hex-ko, e sarà capitato a molti di voi: quando una risposta arriva con quel piglio lì, la voglia di prenderla per buona viene da sé, no?
Però l’errore che costa caro non è l’IA che dice «non lo so»: è l’IA che sbaglia con la voce ferma. Un po’ come quel collega che ha dimenticato le slide ma con il puntatore laser è un fenomeno: la sicurezza, da sola, convince un botto (e in riunione, diciamocelo, a spuntarla è quasi sempre chi non esita).
La domanda, allora, è semplice.
Quel tono è scenografia, oppure dentro il modello c’è per davvero qualcosa che dà un voto alla propria risposta? Qualche studio ha provato ad aprire la scatola, e il riassunto è che il voto esiste sul serio, solo che non è un misuratore di correttezza.
Andiamo a vedere dove si apre la distanza.
«Ma l’IA si sente sicura, o lo dice e basta?»
Si parte dal lavoro di Google DeepMind, «How do LLMs Compute Verbal Confidence?» (R), condotto su Gemma 3 27B e Qwen 2.5 7B. La domanda dei ricercatori è secca: quando un modello mette in parole quanta fiducia ha nella propria risposta, quel dato da dove salta fuori?
Il bello sta nel metodo. Il gruppo ha tagliato e scambiato, pezzo per pezzo, il flusso di informazione dentro la rete, per ricostruire la strada che percorre il segnale di sicurezza. E quel segnale non viene improvvisato alla fine: nasce nella posizione del token della risposta, viene messo da parte nella posizione immediatamente successiva e poi ripescato quando la sicurezza va verbalizzata.
In pratica vuol dire che il tono non sembra solo teatro: là dentro pare esserci qualcosa che assomiglia a un’autovalutazione.
A questo punto la mossa sembra ovvia: si chiede all’IA quanto è sicura, si legge il numeretto e il problema è risolto. Invece no. Che il segnale esista, in realtà, non dice ancora niente su quanto sia affidabile: sapere che un tachimetro è collegato al motore non basta a dire che segni la velocità giusta. Ecco quindi perché qui non ci si può fermare.
Solo che il tono e il dubbio non vanno d’accordo
Lo studio di Meta, «Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations» (R, EMNLP 2025), misura lo scarto fra due cose che tendiamo a confondere. Da una parte l’incertezza verbale: quanto insicura suona la risposta. Dall’altra l’incertezza semantica: quanto la macchina, dentro, oscilla fra le risposte che avrebbe potuto dare.
E le due, guarda un po’, non coincidono. A volte il modello è combattuto e lo dice lo stesso a testa alta; altre volte, invece, si mette le mani avanti più del necessario. Quello scarto predice le allucinazioni: il tono è quindi un indizio dello stato interno, ma non è lo stato interno.
Una buona notizia però c’è, e non è da poco. Intervenendo sull’incertezza verbale al momento dell’inferenza — cioè mentre la risposta si sta formando, non dopo — le allucinazioni sicure nelle domande a risposta breve calano in media di circa il 30%. Perbacco! Sull’aria che tira in una risposta, insomma, si può mettere mano.
Attenzione: quello è laboratorio, non la scheda aperta nel vostro browser. Che lo strumento di tutti i giorni abbia qualcosa del genere sotto il cofano, non lo darei per scontato (nelle schede prodotto, di solito, non c’è scritto). Fra un risultato di ricerca e una funzione che arriva in mano a chi lavora, di tempo, ne passa parecchio.
Perciò, quando si legge cosa racconta un’IA su un marchio — il vostro o quello del concorrente — la domanda utile non è se si sia detta sicura. È se quello strumento sia costruito per far vedere ciò che non sa.
L’eccesso di sicurezza non è solo un modo di parlare
Il preprint del 2026 «Wired for Overconfidence» (R) scende di un piano e insegue le risposte sbagliate ma sicure fino al livello dei circuiti. Due modelli sotto torchio, Qwen2.5-3B-Instruct e Llama-3.2-3B-Instruct, e tre insiemi di dati: PopQA, MMLU e NQOpen. Negli strati intermedi e finali gli autori trovano componenti che gonfiano la sicurezza dichiarata, e li battezzano «Confidence Mover Circuit».
E i risultati, allora? Toccando quel circuito i numeri si muovono parecchio. Il metro è l’ECE, l’errore atteso di calibrazione, cioè la distanza media fra quanto l’IA si dichiara sicura e quanto poi ci azzecca:
- su PopQA l’ECE cala del 40-97% e il punteggio di Brier migliora del 43-70%;
- su MMLU l’ECE si riduce del 33-57%, su NQOpen dell’81-83%.
I nomi delle metriche non servono a memoria. Quello che conta è che la distanza fra sicurezza e correttezza si è ristretta, e che si è ristretta toccando pezzi ben precisi. Attenzione però alla lettura frettolosa: «SCIURus», presentato a NAACL 2025 (R), sostiene che incertezza e fattualità nascano da parti condivise della stessa rete.
Ogni studio guarda un fenomeno un po’ diverso, e dire che «un circuito dell’eccesso di sicurezza spiega tutto» sarebbe andare ben oltre quello che è stato mostrato. Il punto portante regge lo stesso: l’eccesso di sicurezza sembra una proprietà del meccanismo, non un vezzo dello stile. E allora, in pratica, cosa se ne fa chi deve scegliere uno strumento? Ne esce un criterio: non basta che un livello di sicurezza venga mostrato, conta contro cosa sia stato verificato.
Conclusione: il tono sicuro fa scattare la verifica, non il copia-incolla
La lettura onesta è che nella sicurezza di un’IA un po’ di segnale c’è, e che da una garanzia siamo comunque lontanissimi. L’abitudine prudente, quindi, è trattare quel tono deciso come un cartello che dice verifica prima di usarlo, non come il motivo per usarlo.
Prima che una frase finisca in una presentazione, nella risposta si cercano tre cose: il link alla fonte, la data del dato e un esplicito «questo non sono riuscito a stabilirlo». Ciò che il modello non sa sostenere non entra nel testo: va in una nota di cose da verificare.
Ecco perché la stessa domanda conviene porla più volte, e su più modelli: si decide con quello che sopravvive al giro. Contro un tono perentorio, insomma, non c’è difesa migliore che vederlo fallire mentre prova a ripetersi.
Se volete costruire questo criterio partendo da dentro al modello, «Ma l’AI capisce davvero?» Andiamo a sbirciarle dentro la testa è il seguito naturale di questo pezzo.
Fonti
- Kumaran, D. et al. (Google DeepMind), “How do LLMs Compute Verbal Confidence?”, arXiv:2603.17839, 2026, arxiv.org
- Ji, Z. et al. (Meta), “Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations”, EMNLP 2025, arXiv:2503.14477, arxiv.org
- Teplica, C. et al. (NYU), “SCIURus: Shared Circuits for Interpretable Uncertainty Representations in Language Models”, NAACL 2025, aclanthology.org
- Zhao, T. et al. (University of Virginia), “Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs”, arXiv:2604.01457, 2026, arxiv.org
