Aprite uno strumento per la visibilità nell’IA, guardate la lista dei prompt su cui vi misura, e a un certo punto scatta il sospetto: «ma questi non sono le domande che fanno davvero i miei clienti».
Sospetto sanissimo. Anche a me, la prima volta, è venuto lo stesso pensiero: quelle frasi troppo pulite, troppo commerciali, non somigliavano a come le persone scrivono per davvero.
Il punto è che quei prompt, nella maggior parte dei casi, nessuno li ha mai digitati. Sono una stima: lo strumento indovina, per conto vostro, cosa la gente chiederebbe. E allora la domanda vera diventa un’altra: se sono inventati, a cosa servono?
Andiamo a vedere, perché la risposta non è quella che sembra.
«Ma questi non sono i prompt veri dei clienti»
Partiamo dai numeri, che qui esistono. Otterly AI ha fatto la fatica che nessuno vuole fare a mano: confrontare centinaia di prompt ChatGPT reali con quelli stimati, per vedere quanto i secondi assomigliano ai primi.
Il risultato è che sono proprio due animali diversi. I prompt stimati sono in media di 8,8 parole; quelli reali arrivano a 15,1 parole. Le persone, quando scrivono davvero, aggiungono contesto, spiegano la loro situazione, si dilungano.
E non è solo questione di lunghezza. Guardate come cambia il modo di parlare:
- I pronomi in prima persona («io», «il mio», «per me»): 18,8% nei prompt stimati, 52,1% in quelli reali.
- Le frasi che partono da un problema («non riesco a…», «mi serve qualcosa per…»): 7,1% contro 21,1%.
In altre parole: i prompt reali sono personali e nascono da un guaio da risolvere; quelli stimati sono asettici e sanno di catalogo. Chi ha ragione, allora, a storcere il naso? Il lettore che dice «non sono veri». È vero. Non lo sono.
E allora perché continuano a essere utili?
Qui arriva il colpo di scena, ed è la parte che salva la metrica. Nonostante tutte quelle differenze negli input, la classifica dei marchi che ne esce — chi viene nominato per primo, chi per secondo, chi sparisce — nello studio di Otterly risultava «abbastanza simile» tra prompt reali e stimati.
Vale la pena fermarsi un secondo su cosa significa. Un prompt stimato non è la realtà: è una mappa approssimativa della realtà. Sbagliata sulle parole esatte, sul tono, sulla lunghezza. Ma sufficiente a dirvi, a grandi linee, dove siete piazzati rispetto a un concorrente.
Ed è esattamente così che va usato. Come uno strumento di confronto relativo — «rispetto al mio rivale, l’IA mi nomina più o meno spesso?» — e mai come un valore assoluto da incorniciare. La posizione l’una-rispetto-all’altra regge; il numero preciso, no.
Quindi il primo criterio è chiaro: fidatevi della direzione (chi sta davanti a chi), non della cifra secca.
Il cugino pericoloso: il «volume di ricerca dei prompt»
C’è però un parente stretto di questa metrica che va maneggiato con molta più cautela. Si chiama «volume di ricerca dei prompt» (in pratica: quante volte al mese, presumibilmente, la gente digiterebbe una certa domanda). Una recensione critica di jaeckert-odaniel.com lo prende di petto, e vale la pena leggerla.
Il problema sta nel come si raccoglie quel dato. Spesso arriva da clickstream (il tracciamento della navigazione di un campione di utenti), che però pende quasi tutto verso Chrome su desktop e si perde per strada l’uso da telefono. Poi da quel campione già sbilanciato si estrapola al mondo intero, e l’errore invece di attenuarsi si moltiplica.
Il risultato è una cifra dall’aria rassicurante — «8.400 al mese» — che sembra precisa proprio perché è precisa nella forma. Ma attenzione al trucco.
È come una bilancia che mostra tre decimali: il fatto che scriva 72,384 kg non vuol dire che sia accurata, vuol dire solo che ha molte cifre. Precisione della visualizzazione e accuratezza della misura sono due cose diverse. Un «8.400» tondo e sicuro di sé, costruito su un campione storto, è falsa precisione: bello da vedere in una slide, pericoloso il momento in cui gli fate spostare un budget.
Conclusione: prima di fidarvi, chiedete da dove vengono quei prompt
La differenza tra uno strumento onesto e uno che vi porta fuori strada non sta nella grafica della dashboard — che è sempre lucida uguale — ma in una domanda che nessuno pone: da dove arrivano i prompt stimati?
Prima di dare peso a un numero, andate a controllare due cose concrete. La fonte dei prompt: sono log di conversazioni reali, oppure termini di ricerca riciclati dalla SEO, oppure frasi generate da un’IA? E poi: la metodologia dice qualcosa sulla copertura da telefono, o fa finta che il mobile non esista? Se lo strumento non lo dichiara, trattate il dato per quello che è — un indizio, non un verdetto.
Usati così, i prompt stimati restano un buon supporto di confronto, da tenere accanto ai vostri dati proprietari (quelli veri: le ricerche interne, le domande del vostro servizio clienti), mai come KPI principale. La classifica relativa vi dice dove siete rispetto agli altri. Il resto è solo grafica ben fatta.
Fonti
- Otterly AI, «Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries», otterly.ai
- jaeckert-odaniel.com, «Prompt search volume: Real data or all guessed?», jaeckert-odaniel.com
