«Ieri diceva A, oggi dice B» — e la fiducia se ne va
Chiedete a un’IA quali marchi raccomanda, e oggi vi dà una risposta, domani un’altra. Marchio A lunedì, marchio B martedì. Vedetelo succedere qualche volta e la reazione onesta arriva da sola: se la posizione non sta ferma, come si fa a misurare qualcosa?
Quella reazione è più che sensata. Ma che una singola posizione oscilli e che la misura in sé sia inutile sono due cose ben diverse. Cambiate l’unità che guardate, e salta fuori un segnale che si può davvero tenere.
Oggi allora andiamo a pescare quel segnale «da tenere» dentro un’osservazione davvero ampia: 2.961 tentativi.
2.961 domande dopo, la singola posizione quasi non si ripete
SparkToro e Gumshoe hanno condotto l’esperimento su larga scala — 600 persone, 2.961 query in totale — solo per misurare quanto oscillano le raccomandazioni. Il risultato è netto.
- La lista identica si ripeteva in meno dell’1% dei casi.
- L’ordine esatto coincideva in circa lo 0,1% delle volte.
Riportare una schermata di risposta come «il ranking del mese» è quindi rischioso. È come lanciare un dado una volta e decretare che quel dado predilige l’1. Su questa base, la posizione è per lo più rumore.
Ma il tasso di presenza restava stabile e confrontabile
Ecco però quello che non si può ignorare. Negli stessi dati, il tasso di presenza teneva. Un marchio ad alta visibilità compariva nel 97% dei 71 tentativi, per dire — così, appena si chiede «ogni quanto compare» invece di «in che posizione sta», la riproducibilità c’è.
Cosa ancora più curiosa: perfino prompt non simili per significato tendevano a restituire insiemi di marchi che si sovrapponevano. Combacia alla perfezione con Errica et al. (NAACL 2025), che mostrano come la struttura del significato pesi più della formulazione di superficie. Cambiate il modo di dirlo e la risposta tiene; cambiate ciò che intendete e si sposta.
La vera partita è il disegno della misura, non il confronto tra modelli
La trappola tipica, in pratica, è partire da «quale modello è più bravo» sorvolando sulle condizioni di misura. Far girare lo stesso prompt da 60 a 100 volte oppure chiudere dopo meno di 10 tentativi cambia del tutto la precisione con cui si legge il dato.
C’è poi un altro punto chiave: riportare non solo la media, ma anche l’ attorno a essa. Due marchi possono sembrare diversi quando in realtà le loro bande d’errore si sovrappongono e basta — un caso più frequente di quanto sembri.
Conclusione: allineate le condizioni, non rincorrete la posizione
Se seguite le raccomandazioni IA di mese in mese, allineare le condizioni di misura vale molto più che agitarsi a ogni oscillazione di posizione. Ciò che 2.961 misurazioni ripetute insegnano è questo: proprio perché le risposte dell’IA sono rumorose per natura, va letto il tasso di presenza, non la singola posizione.
Quando scegliete uno strumento, quindi, verificate se pubblica il numero di ripetizioni e la logica con cui aggrega il tasso di presenza. Lo stesso vale per i report interni: allineate il disegno delle domande, le condizioni di modello e la finestra di aggregazione. Se questo salta, non distinguete più un miglioramento vero da un semplice cambio nel modo di misurare.
Per avere una visione d’insieme su sette ricerche collegate, questa panoramica su «il tasso di presenza più che la posizione» è un’ottima porta d’ingresso al resto.
Fonti
- Rand Fishkin (SparkToro/Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility”, 2026-01-27, sparktoro.com
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
