Si comincia a usare l’IA al lavoro e salta fuori sempre la stessa paura. «Se la chiedo un po’ male, la risposta viene un disastro.» «Meglio impararsi a memoria i prompt giusti.»
Si capisce. La tentazione di far girare un ricettario di prompt e allinearci tutta l’azienda è forte.
Ma è qui che conviene fermarsi un attimo. Prima di caricarci tutto il costo operativo — i modelli, la formazione, la polizia del prompt — qualcuno ha davvero misurato quanto oscilla la risposta?
Perché «oscillerà parecchio» è un’ipotesi. Non una misura.
Andiamo allora a vedere due studi. Uno mette un numero su quanto sono sensibili i modelli. L’altro chiede se quella sensibilità esista davvero, o se se la inventi il nostro strumento di misura.
«Se la chiedo un po’ male, va tutto a monte?»
Prima la domanda ovvia: quando si riformula un prompt, di quanto cambia la risposta? Non «se cambia» — un po’ cambia sempre — ma di quanto.
Il gruppo di Errica l’ha guardato sul serio (Errica et al., NAACL 2025). Hanno messo due metriche per inchiodare la cosa:
- Sensibilità: di quanto si sposta la previsione quando si riformula il prompt.
- Coerenza: quanto restano stabili le previsioni tra riformulazioni degli stessi input.
Riformulare, qui, vuol dire in pratica parafrasare: stesso senso, parole diverse. Insomma, dite esattamente la stessa cosa in due modi e guardate se il modello sussulta.
E il risultato? Su diversi compiti di classificazione, lo scarto di precisione è uscito al 3,2-10%. Non zero. Ma lontanissimo da «una parola sbagliata e crolla tutto». Molti trattano il prompt come un artificiere tratta il filo rosso — e il filo, di solito, non esplode.
C’è però una scoperta più utile nascosta lì dentro. A muovere l’ago non era l’ordine superficiale delle parole: era il significato sotto. Quindi quel che conviene curare non è la formula magica. È chiarire cosa volete che il modello decida.
Forse non è l’IA a essere instabile: è il righello a essere storto
Ora la domanda più affilata, da uno studio di Hua e colleghi (Hua et al., EMNLP 2025). Chiedono: l’alta sensibilità è un difetto del modello, o un miraggio che fabbrica il metodo di valutazione? Lo verificano su sette grandi LLM (i modelli linguistici dietro ChatGPT), con sei benchmark e dodici modelli di prompt.
Sul banco di prova due metodi di punteggio classici:
- Punteggio per verosimiglianza (correggere in base alla probabilità che il modello assegna a ogni risposta, non alla risposta che davvero dà).
- Corrispondenza esatta del testo (la risposta conta solo se combacia con la chiave carattere per carattere).
Ebbene, tutti e due segnano come errore risposte che vogliono dire la stessa cosa — e fanno sembrare il modello molto più nervoso di quanto sia. Mettendoci invece LLM-as-Judge (un modello capace decide se due risposte significano lo stesso), la varianza delle prestazioni è scesa e la coerenza delle classifiche è salita.
In altre parole, una parte di «l’IA è instabile» non è mai stata l’IA. Era il righello. E se il righello è storto, ogni misura presa con quello è sbagliata nello stesso verso: rassicurante o allarmante, ma falsa.
Conclusione: controllate come correggete, prima di rincorrere la frase magica
Che il prompt cambi il risultato è vero. Ma passare la vita a cercare l’incantesimo vincente non è dove sta la leva. Quel che mostrano questi due studi è che buona parte di «il problema è il prompt» era in realtà la rozzezza della correzione e il riflesso della corrispondenza esatta che gonfiavano tutto.
La prima cosa da controllare nell’impianto, allora, non è la formulazione: è come si stanno valutando le risposte. Si dà per sbagliata una risposta perché non combacia lettera per lettera, quando il senso era giusto? Si buttano risposte buone perché non centravano la stringa attesa? Una volta sistemato quello, gran parte dell’oscillazione apparente si calma da sola.
Da lì in poi, la vostra politica interna sui prompt può restare minima: dite l’obiettivo, i vincoli e il formato di uscita, e basta. Forse sbaglio sulla ripartizione esatta, ma in quest’ordine la paura del «se la chiedo male va tutto a monte» vi molla senza che ve ne accorgiate.
Fonti
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
