«Qual è il miglior CRM?»: ma qualcuno lo chiede davvero così?
Quando si misura la visibilità di un marchio nell’IA, la lista dei prompt somiglia quasi sempre a questa: «miglior CRM», «migliori strumenti di project management». Corta, pulita, comoda da confrontare.
Liste così le ho compilate pure io: sono la cosa più facile da standardizzare.
Pensate all’ultima volta che avete chiesto un consiglio a ChatGPT. Due parole? Macché. Un paragrafo intero: quante persone siete, che budget c’è, più quella condizione strana imposta dal capo.
E qui nasce il problema: se le domande vere sono fatte così, misurare solo con «qual è il migliore» vuol dire misurare una conversazione che quasi non esiste. Quanto è grande lo scarto? Andiamo a vedere.
Le domande vere sono il 71% più lunghe (e molto più personali)
Thomas Peham di Otterly AI ha confrontato centinaia di prompt reali inviati a ChatGPT con i prompt stimati che gli strumenti di misurazione generano (l’analisi).
I numeri parlano chiaro:
- Lunghezza media: 8,8 parole per i prompt stimati, 15,1 per quelli reali (il 71% in più)
- Pronomi personali: nel 18,8% dei prompt stimati, nel 52,1% di quelli reali (2,8 volte)
- Formulazioni orientate al problema: 7,1% contro 21,1% (il triplo)
- Prima parola: i prompt stimati puntano quasi tutto su «best»; quelli reali partono da «what» e «I»
Insomma, gli utenti veri non chiedono mica una classifica. Descrivono una situazione: «siamo in cinque, questo è il budget, cosa ci conviene?». Più che una ricerca, è una consulenza.
Conta la parola o conta la domanda?
A questo punto verrebbe da pensare: basta sostituire «best» con «top» e siamo a posto. Sarà vero?
Uno studio presentato a NAACL 2025 da Errica e colleghi ha quantificato quanto cambia la precisione di un modello se si riformula la stessa domanda senza cambiarne il senso: tra il 3,2% e il 10% (lo studio). Si nota, ma la partita non si gioca lì.
La partita è nella struttura del significato. Chiedere una classifica o chiedere una decisione con condizioni sono due domande diverse, e il modello produce risposte di natura diversa.
E la seconda è proprio quella che gli utenti veri scrivono tutti i giorni.
Anche i prompt di test vanno controllati
C’è un terzo tassello. Il gruppo di Mburu ha studiato le domande da sondaggio generate dall’IA: veloci da produrre, ma inclini alla verbosità e alle (lo studio).
Che senso ha allora fidarsi ciecamente del questionario generato? Nessuno. Se si chiede a un’IA di «generare le domande tipiche dei clienti», escono quasi sempre domande corte e commerciali, esattamente la deriva che Otterly ha messo in cifre.
La soluzione non è smettere di generare prompt. È mescolarci apposta le domande lunghe, con condizioni, che il generatore da solo non produrrà.
basta misurare solo il «migliore», misurate la consulenza
Se il monitoraggio della visibilità nell’IA vive di soli prompt corti tipo «qual è il miglior X», si misura qualcosa di reale ma ristretto. Le domande dei compratori veri portano dentro persone, budget e vincoli.
Due mosse concrete. Prima: costruire la lista di prompt su due livelli, tenendo i «best» corti (si confrontano bene nel tempo) e aggiungendo consulenze con condizioni vere. Seconda: passare i contenuti allo stesso setaccio. Le vostre pagine sanno rispondere a «quale conviene in questa situazione», o elencano solo funzionalità?
Misurando entrambi i tipi si vede come l’IA tratta il marchio nel momento in cui la decisione si prende davvero.
Fonti
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026-02-03, Otterly AI
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
