«Questo numero così preciso, posso fidarmi?»
Si apre oggi un pannello per la visibilità nell’IA e ci accoglie una fila di numeri fini fini: «12.847 prompt al mese», «precisione giù del 7,3%».
La prima volta anche a me, Hex-ko, quelle cifre col decimale davano l’idea di una cosa seria e affidabile. Sarà capitato a molti di voi, no?
Solo che nell’IA il vecchio «più è fine, più è giusto» non regge quasi mai.
Capita spesso di incrociare numeri che a schermo sembrano precisissimi, mentre il metodo con cui sono stati misurati non promette niente del genere. E il guaio è che «sembra preciso ma è grossolano», a occhio, non si vede.
Oggi, con in mano una recensione critica e un paio di studi di valutazione, proviamo a piantare due paletti per non farci ingannare dal numero di cifre.
Cos’è la «pseudo-precisione» (e la bilancia che sbaglia di tre chili)
Il concetto da mettere a fuoco è la pseudo-precisione. In pratica è questo: un numero dall’aria precisa, il cui metodo di misura non garantisce affatto quella precisione.
Facciamo un esempio da cucina. Immaginiamo una bilancia che oscilla di ±3 kg ma che mostra, senza battere ciglio, «62,347 kg». I tre decimali ci sono, belli stampati, però dargli retta non ha alcun senso: lo strumento sotto non li regge. Nei numeri dell’IA succede la stessa identica cosa.
La stessa trappola l’ha raccontata bene la recensione di jaeckert-odaniel.com, a proposito del «volume di ricerca dei prompt». Quei dati poggiano sul clickstream (la registrazione di cosa navigano gli utenti) e su stime da panel, sbilanciati verso Chrome su desktop.
E quindi? L’uso da telefono, quello dentro le app, sfugge quasi del tutto. In più, chi installa le estensioni pende verso il pubblico tech, maschile e professionale. Estrapolare da lì l’uso di tutti gonfia distorsione ed errore, mentre a schermo resta un bell’intero pulito. Ecco un numero «che fa numero», ma che sotto traballa.
«Questa IA è instabile»: o balla solo il metodo di misura?
Questa storia non riguarda solo il volume di ricerca. Certo, un punteggio di valutazione e un volume di prompt sono cose diverse. Però il rischio è identico: fidarsi di un numero senza guardare in che condizioni è stato misurato.
Qui torna utile lo studio «Flaw or Artifact?» di Hua e colleghi, presentato alla EMNLP 2025. Hanno preso sette grandi LLM (i modelli linguistici dietro ChatGPT) e li hanno valutati su sei benchmark e dodici modelli di prompt.
La «sensibilità al prompt» è quel fenomeno per cui la stessa identica domanda, girata con parole diverse, tira fuori un risultato diverso. Vista da fuori, fa pensare che il modello sia ballerino.
E invece? Il grosso di quei «grandi sbalzi di performance» risulta più probabilmente un artefatto del metodo di valutazione che una vera debolezza del modello. L’artefatto, qui, è il risultato apparente creato dal modo stesso di misurare. La verosimiglianza logaritmica e la corrispondenza esatta gonfiavano i divari. Confesso che io, da fuori, quel divario l’avrei preso per buono.
Cambiando metro, cambia il quadro. Passando a LLM-as-Judge — un modello che giudica se due risposte dicono la stessa cosa — la varianza delle performance cala e la coerenza delle classifiche sale. Insomma: buona parte di «l’IA è instabile» non era l’IA. Era il modo di misurarla.
I numeri di cui ci si può fidare hanno le loro condizioni
E allora i numeri dell’IA sono tutti da buttare? Ma no, per carità. Un indicatore progettato bene è davvero utile, e sarebbe un peccato rinunciarci per semplice diffidenza.
Lo mostra lo studio di Errica e colleghi, NAACL 2025, che propone due metriche: sensibilità e coerenza. La metrica di sensibilità misura quanto cambiano le previsioni quando si riformula la domanda e — dettaglio molto pratico — funziona senza etichette di verità di riferimento.
In quel lavoro, la variazione di accuratezza dovuta alla riformulazione si colloca tra il 3,2% e il 10%. Non è un valore da mandare a memoria, sia chiaro.
La cosa che conta davvero è un’altra: guardare se un indicatore arriva con una definizione chiara, delle condizioni di riproducibilità e un asse di confronto. E soprattutto se le cifre che mostra corrispondono alla sua .
Per chi gestisce un marchio la traduzione è concreta: un numero di cui non si vedono dati di origine, campione e metodo di calcolo resta un indizio, per quanti decimali abbia. Meglio tenerlo come valore di riferimento e non farne il perno di una decisione.
Conclusione: prima dei decimali, guardate i dati di origine
Gli indicatori dell’IA con lo score al decimale hanno tutta l’aria di essere precisi. Ma finché non si sa se quel numero nasce dal clickstream, da un panel, da log veri o da un esperimento, resta un indicatore che sembra preciso e basta.
L’ordine giusto, allora, è questo: prima si controllano i dati di origine e le condizioni di riproducibilità, poi — semmai — ci si fida dei decimali. Un indicatore che su questo non dice una parola è meglio non piazzarlo come KPI principale (l’indicatore-guida su cui si prendono le decisioni). Io, ormai, prima guardo da dove arriva la cifra e solo dopo la leggo.
E nel momento di decidere, il numero fine va messo accanto a indicatori più solidi e riproducibili: il tasso di presenza nelle risposte dell’IA, l’andamento nel tempo. Un indizio da solo non chiude un caso; due indizi che si confermano a vicenda, quelli sì.
La buona notizia è che misurare la visibilità nell’IA si può, e conviene farlo: basta pretendere dai numeri le stesse cose che pretendereste da qualsiasi ricerca seria. E se volete vedere questa trappola all’opera su un caso concreto, Quel «4.200 prompt al mese» da dove salta fuori? Andiamo a controllare tira lo stesso filo dall’inizio.
Fonti
- jaeckert-odaniel.com, «Prompt search volume: Real data or all guessed?», 2025-12-16, link
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, «Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs», EMNLP 2025 Main Conference, arXiv:2509.01790
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, «What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering», NAACL 2025, arXiv:2406.12334
Articoli correlati
- pezzo sul volume di ricerca dei prompt — come una stima dall’aria precisa possa spostare un budget nella direzione sbagliata.
- L’IA risponde ogni volta una cosa diversa: colpa del modello o del metro di misura? — quando l’instabilità non è del modello ma del metro.
