Si chiede un sondaggio all’IA e la velocità è reale. Si scrive un obiettivo a grandi linee e in pochi secondi ecco trenta domande.
Per chi ha passato un pomeriggio davanti a un questionario vuoto, questo da solo sembra un regalo.
Capita anche a me. È difficile non appoggiarcisi.
Ma ecco la trappola che morde dopo. Il sondaggio parte, le risposte tornano e la dispersione è enorme: gli assi di analisi non combaciano e metà delle persone pare rispondere a una domanda leggermente diversa.
E si fa presto a liquidarla con un «l’IA è scarsa». Solo che è una supposizione, mica una diagnosi.
Andiamo allora a vedere tre studi che indicano dove la qualità si spacca sul serio: la generazione delle domande, la sensibilità al prompt e il modo in cui le persone vere fanno le domande.
«La bozza è ottima, allora perché le risposte crollano?»
Partiamo dalla tensione ovvia: le domande si leggono bene, quindi cosa non va?
Un gruppo guidato da Mburu se l’è studiata da vicino (Mburu et al., Journal of Engineering Education, 2025). Hanno costruito un metodo per generare domande con un LLM (il modello linguistico dietro ChatGPT) e pre-validarle con SQRA, una revisione strutturata che controlla ogni voce prima dell’invio.
La buona notizia è concreta: l’IA era davvero forte nello scrivere domande adatte al contesto. Se la storia finisse qui, si potrebbe delegare la progettazione e andare a prendersi un caffè.
Ma lo stesso studio segnala il problema. Le bozze uscivano prolisse, a doppio senso (due domande schiacciate in una) e piene zeppe di gergo.
In altre parole: «scritto in fretta» e «pronto all’uso» sono due cose diverse. La bozza è un punto di partenza travestito da prodotto finito.
Stesso significato, parole diverse, e il numero si muove
Passiamo al problema più fine, da uno studio di Errica e colleghi (Errica et al., NAACL 2025). La loro scoperta: perfino una riformulazione che vuol dire la stessa cosa potrebbe spostare il risultato misurato tra il 3,2% e il 10%.
In un sondaggio è una brutta gatta da pelare. Se due voci quasi identiche sono formulate un po’ diversamente, non si capisce più se la differenza nelle risposte venga da una differenza di intenzione o solo di formulazione.
Il segnale e il rumore indossano lo stesso vestito.
E quindi? Che usare bene le domande generate dall’IA non dipende solo da cosa si chiede. Tenere la formulazione coerente tra le voci entra ormai nel controllo qualità, non è la clausola in fondo che si salta.
L’IA tira al corto e al commerciale. Le persone vere, no.
Terzo punto, un confronto di Otterly AI (Peham, Otterly AI, 2026). Hanno messo i prompt reali di ChatGPT contro quelli che si immagina vengano scritti. I reali erano in media il 71% più lunghi, con molti più pronomi personali e un linguaggio molto più orientato al problema.
Questo scarto atterra dritto sulla progettazione del sondaggio. Se si chiede all’IA di «scrivere le domande che farebbe la gente», lei scivola verso una formulazione corta, generalizzata, con un vago tono commerciale.
E così, senza volerlo, si lascia fuori la preoccupazione disordinata e concreta che un rispondente vero si porta dietro. Cioè proprio quello per cui si era lanciato il sondaggio.
Conclusione: taglia il tempo della bozza, non il controllo qualità
Usare l’IA per scrivere le domande rende davvero rapida la prima bozza. Ma rapido non vuol dire che si sia automatizzato pure il controllo qualità. Nei tre studi torna sempre lo stesso schema: l’IA è bravissima a buttar giù una versione grezza, e l’ultimo lavoro — rifinirla perché chi risponde non la fraintenda — resta all’umano.
Quindi, prima di inviare, ciò che conviene rivedere non è la lucentezza della bozza, ma tre cose semplici: ogni voce è una sola domanda e non due? Il vocabolario è coerente tra le voci? Chi risponde ha abbastanza contesto per immaginarsi la situazione?
È questa la linea che io metterei come regola: che l’IA si prenda la bozza rapida e che la decisione «si può inviare?» resti a una persona. Forse mi sbaglio sulla divisione esatta dei compiti — ma tracciare quella riga in modo esplicito è l’assicurazione più economica contro dati che sembrano puliti e in realtà non dicono nulla.
Fonti
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog
