«Ieri ci nominava per primo, oggi non ci nomina proprio.» Capita di sentirsela dire da chi, in ufficio, ha appena finito di interrogare ChatGPT sui marchi del settore.
Pure a me, le prime volte, è venuto lo stesso scoramento. Si fa la stessa domanda, esce un elenco diverso, e parte il pensiero: «Se balla così, misurarla non serve a niente».
Però aspettate un attimo. «Tanto cambia sempre» è un’impressione, mica una misura. E arrendersi prima di aver guardato i numeri è la mossa che fa perdere il vantaggio a chi parte adesso.
Andiamo allora a vedere tre lavori. Due mettono un numero su quanto i modelli oscillano davvero. Il terzo, su quasi tremila domande vere, mostra cosa resta stabile anche quando la lista balla.
«Se cambia ogni volta, a che serve misurarla?»
Partiamo dal nodo che fa alzare le mani. La risposta dell’IA non è mai identica a sé stessa, e il marketer ne ricava la conclusione più comoda: la visibilità nell’IA non è misurabile, lasciamo perdere.
L’errore non è notare l’oscillazione. L’oscillazione c’è. L’errore è leggere una singola risposta come una classifica e poi dichiarare inutile l’intera misura perché quella classifica non si ripete.
La AI Visibility in pratica è quanto e come l’IA vi nomina quando qualcuno le chiede consiglio nel vostro settore. Per chi gestisce un marchio vuol dire che non basta più presidiare le posizioni su Google: conta anche quante volte ChatGPT fa spontaneamente il vostro nome.
E qui sta il punto: arrendersi è prematuro. Prima di buttare via lo strumento, conviene chiedersi se a ballare sia il marchio o solo il modo in cui lo guardiamo.
La parafrasi sposta tutto del 3-10%, non di più
Prima domanda concreta: quando si riformula la stessa richiesta, di quanto cambia ciò che il modello prevede? Non «se cambia» — un pochino cambia sempre — ma di quanto.
Se lo sono chiesto Errica e colleghi (Errica et al., NAACL 2025). La sensibilità al prompt in pratica misura proprio questo: di quanto si sposta la previsione quando si dice la stessa cosa con parole diverse. Parafrasare, qui, vuol dire stesso senso e forma cambiata.
E quanto è uscito? Su più modelli linguistici, lo scarto dovuto alla parafrasi stava tra il 3,2% e il 10%. Non zero. Ma lontanissimo da «una riformulazione e crolla tutto».
C’è di più, ed è la parte che serve a voi. A muovere l’ago non era la forma superficiale delle parole, ma la struttura di significato sotto. Quindi se la domanda mantiene lo stesso senso, il modello non impazzisce: l’oscillazione vera è molto più contenuta di quanto racconti l’aneddoto da corridoio.
«Forse quel ballo lo amplifica solo il vostro righello»
Ora la domanda più affilata. E se buona parte di quell’instabilità non fosse del modello, ma del modo in cui lo valutiamo?
Ci hanno guardato Hua e colleghi (Hua et al., EMNLP 2025): sette grandi modelli, sei benchmark e dodici diversi modelli di prompt. La loro scoperta è scomoda: gran parte dell’oscillazione apparente era un artefatto del metodo di valutazione, non un difetto dell’IA.
Lo si vede passando da due metri di misura grezzi a uno più sensato. La verosimiglianza logaritmica giudica in base alla probabilità che il modello assegna a una risposta; la corrispondenza esatta la conta buona solo se combacia carattere per carattere. Entrambi bocciano risposte che vogliono dire la stessa cosa.
Passando invece a un modello-giudice che valuta il significato, la varianza è scesa e le classifiche si sono stabilizzate. In altre parole: il protocollo di valutazione — l’insieme delle regole con cui si assegna il punteggio e si confronta lo stesso obiettivo — muoveva i risultati più del modello stesso. Se il righello è storto, ogni misura presa con quello balla allo stesso modo.
Su 2.961 domande vere, il tasso di comparsa tiene
Bello in teoria, ma sui marchi reali cosa succede? Qui arriva il lavoro di Rand Fishkin con SparkToro e Gumshoe (SparkToro/Gumshoe, 2025).
Hanno fatto interrogare tre IA da 600 persone, per un totale di 2.961 domande. E i ranghi? Un disastro, se li guardate come una classifica: due liste identiche ricomparivano in meno dell’1% dei casi, e l’ordine combaciava in circa lo 0,1%. Praticamente mai.
Ma — ed ecco il punto che ribalta lo scoramento d’apertura — il tasso di comparsa di un marchio specifico era tutta un’altra storia. Una marca ad alta visibilità è comparsa nel 97% di 71 volte.
Il rango oscilla, certo. La casella esatta in cui finite oggi è rumore. Ma «quanto spesso vi nominano» è un segnale stabile, e si può seguire nel tempo. È lì che vive la misura, non nella posizione del singolo elenco.
Conclusione: bloccate domanda e aggregazione, poi guardate il tasso di comparsa
La leva non è inseguire il rango perfetto. È smettere di leggere una singola risposta come una tabella di classifica e guardare il tasso di comparsa su domande ripetute nelle stesse condizioni.
Per arrivarci bloccate i primi due passi e teneteli fermi: la progettazione della domanda (le stesse formulazioni, sempre) e le condizioni di aggregazione (come contate le comparse, su quante ripetizioni, in che periodo). Se cambiate il righello a ogni misura, l’oscillazione la create voi.
Quando scegliete uno strumento, controllate che dichiari tre cose precise:
- quante volte ripete ogni domanda;
- con che metodo aggrega il tasso di comparsa;
- su quale periodo confronta i dati.
Le dashboard che vi sparano solo una classifica, senza dire come l’hanno ottenuta, possono restare un termometro di curiosità. Ma non dovrebbero essere il motore principale delle vostre decisioni: una posizione senza metodo è un numero che balla da solo.
Fonti
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
- Fishkin, R. (SparkToro / Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products”, SparkToro, 2025, sparktoro.com
