«Il volume dei prompt lo posso leggere come quello di Google, no?»
Si apre uno strumento per la visibilità nell’IA e prima o poi salta fuori: il «volume di ricerca dei prompt». «Software gestionale, quale scegliere»: 4.200 al mese. Stessa grafica, stesso carattere, stessa aria di cosa risaputa del vecchio pannello delle parole chiave.
Anche a me, la prima volta, è scattato il riflesso: «ottimo, ecco su cosa lavorare per primo». Chi viene dalla SEO quel riflesso ce l’ha nelle dita.
Però quel numero non è il cugino di quello di Google. È una stima, e la strada che percorre per arrivare in dashboard è parecchio più accidentata di quanto la sua faccia lasci intendere.
Andiamo allora a vedere da dove nasce, con in mano una recensione critica e uno studio di valutazione.
Chi c’è davvero dentro quel campione?
E come si fabbrica, un numero del genere? Il volume dei prompt è una stima ricavata aggregando, tramite clickstream (il tracciamento della navigazione di un gruppo di utenti) o panel, le domande che la gente rivolge all’IA.
E qui la recensione di jaeckert-odaniel.com non fa sconti: i buchi nel metodo sono sostanzialmente tre.
- La raccolta pende da una parte: estensioni per Chrome su desktop, uso da telefono perso per strada, panel sbilanciati verso maschi, tecnici e professionisti.
- Si estrapola da poco a tutto: da qualche migliaio o decina di migliaia di persone si stima il mondo intero, e l’errore si gonfia per la strada.
- Si riciclano le categorie della ricerca: pure «scrivimi una mail» finisce contato come domanda, e le corrispondenze degli annunci vengono applicate a prompt che sono frasi discorsive.
È come raccontare l’italiano medio guardando la lista dei presenti a un meetup di sviluppatori. Il , letto con gli occhi della SEO, è grosso.
Preciso non vuol dire accurato
E la conclusione della recensione è la frase che vale il pezzo:
«I numeri riportati trasmettono una pseudo-precisione che appare esatta ma può indurre in errori strategici gravi.»
La pseudo-precisione, in pratica, vuol dire questo: la cifra ha i decimali, quindi sembra accurata, solo che il metodo con cui è stata ottenuta non garantisce niente di simile. Per chi gestisce un marchio cambia parecchio, perché è la differenza tra un indizio e una prova.
Torniamo ai nostri 4.200 prompt al mese. Vedendo quel numero viene naturale pensare «vabbè, sarà 4.200 più o meno cento». E se invece il margine non fosse di cento, ma di un intero ordine di grandezza?
Ecco il vero pericolo di questa metrica: non che sia sbagliata, ma che sia vestita bene.
Quando a traballare è il righello, non la cosa misurata
Qui conviene mettere accanto uno studio che parla d’altro e invece parla della stessa cosa: «Flaw or Artifact?» di Hua e colleghi, EMNLP 2025 (arXiv:2509.01790). La domanda era: la famosa sensibilità dei modelli alla formulazione del prompt esiste, o se la inventa il metodo di valutazione? Sette grandi LLM (i modelli linguistici dietro ChatGPT), sei benchmark, dodici modelli di prompt.
Ed è emerso questo:
- Gran parte dell’oscillazione veniva dai metodi di punteggio grossolani (verosimiglianza, corrispondenza esatta), non dai modelli.
- Passando a LLM-as-Judge (un modello che giudica se due risposte vogliono dire la stessa cosa) la varianza è scesa e le classifiche sono diventate più coerenti.
- Tra prompt equivalenti nel significato, la differenza reale era più piccola di quanto si credeva.
Insomma: buona parte di «l’IA è instabile» non era l’IA. Era il righello.
E cosa c’entra questo con il volume dei prompt? C’entra eccome. «Il numero balla» e «la cosa misurata balla» sono due frasi diverse. Attribuire alla realtà un difetto del metodo di raccolta è il modo più elegante per sbagliare mossa: si insegue un problema che non c’è mentre quello vero resta in piedi. Vale per i benchmark e vale, identico, per la vostra dashboard.
Conclusione: tenetelo come indizio, mai come cifra su cui firmare
Il volume dei prompt serve, e serve a una cosa sola: leggere la direzione della domanda. Ma finché non si vede fin dove arriva la raccolta e come si estrapola, è un dato troppo fragile per stare al centro di un budget o di un obiettivo. Se il metodo non dice una parola sul telefono né su com’è fatto il panel, non fatevi ipnotizzare dai decimali.
Nella pratica funziona come linea di supporto: sta salendo o scendendo, e come sta messo rispetto al concorrente. Nient’altro. Diventa materiale per decidere solo quando lo incrociate con qualcosa di indipendente — il tasso di presenza, i vostri log veri, Search Console. Un indizio da solo non chiude un caso; due indizi che si danno ragione, quelli sì.
Se invece la voglia è rimettere mano all’impianto di misura della visibilità, Il ranking nell’IA oscilla — ma col «tasso di presenza» il marchio si misura davvero tira lo stesso filo dall’altro capo.
Fonti
- jaeckert-odaniel.com, «Prompt search volume: Real data or all guessed?», 2025-12-16, link
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, «Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs», EMNLP 2025 Main Conference, arXiv:2509.01790
Articoli correlati
