«Questo numero qui, chiesto da chi?»
Il numero l’avete tirato fuori voi, e non riuscite comunque a difenderlo appena qualcuno ci insiste un attimo.
Su quante domande esce il vostro nome: quello si mostra. Quanto si è mosso dal mese scorso: pure. Due numeri veri.
Arriva la domanda su chi stava chiedendo, e il terreno si ammorbidisce.
A me l’ipotesi è durata anni: testo identico, condizioni identiche. Stesse parole in ingresso, stesso campo da gioco.
Davanti alla domanda è finita una riga sola su chi la stava facendo, e sono tornate marche diverse. Duemila volte di fila, e a spostarsi è stata la fascia di mezzo.
L’IA consiglia marche diverse a persone diverse?
Sì. A domanda identica parola per parola, se davanti si mette «sei il titolare di una piccola o media impresa britannica», la sovrapposizione fra le due liste di marche cala di 0,12-0,20.
A muoversi è la fascia di mezzo. Le marche di mercato intermedio si sono viste sostituire fino al 75% dei nomi passando da un profilo all’altro, mentre i leader di categoria tenevano circa l’80% dei posti a prescindere da chi chiedeva.
Il lavoro è un preprint — cioè messo online prima di qualunque revisione fra pari — di Will Jack, Noah Lehman, Keller Maloney e Sarah Xu, del gruppo Unusual.ai, caricato su arXiv il 28 maggio 2026 (lo studio).
La misura riguarda le chat commerciali che rispondono appoggiandosi ai risultati di una ricerca esterna. Dieci profili × otto domande × tre configurazioni di modello × dieci ripetizioni, cioè 2.000 esecuzioni.
Un profilo (persona), qui, è una riga di inquadramento: chi chiede è una persona di questo tipo. Ne hanno costruiti dieci a mano incrociando settore, dimensione dell’azienda, ruolo e paese — un fondatore solitario negli Stati Uniti, una responsabile acquisti di una grande impresa, il titolare di una piccola azienda britannica, e altri sette dello stesso stampo.
Il primo posto non si muove. In mezzo si liberano sedie.
È la notorietà della marca a decidere quanto pesa il profilo. Lo studio ordina le marche per quanto sono conosciute e, per ogni fascia, dice quanta parte della lista viene rimpiazzata al cambio di profilo.
Sulle tre configurazioni di modello, le forbici vengono così:
- Leader di categoria: 20-29%
- Mercato intermedio: 39-75%
- Attori regionali: 27-33%
Il leader esce per chiunque, quindi la sua sedia è avvitata a terra. In mezzo, invece, le sedie si svuotano e si riempiono ogni volta che cambia chi chiede: 39% nella configurazione più ferma, 75% in quella che si muove di più.
E allora? Sembra una brutta notizia, e si legge piuttosto al contrario: una sedia che nessuno ha avvitato è una sedia libera.
Ripetendo due volte la stessa domanda, quanto torna uguale?
La misura di sovrapposizione usata qui si chiama indice di Jaccard: dà un voto da 0 a 1 a quanto due liste hanno in comune. In altre parole, più si sta vicino a 1, più sono le stesse marche a mettersi in fila.
Fra profili diversi quella sovrapposizione sta fra 0,22 e 0,35. E a profilo fermo, ripetendo semplicemente la stessa domanda, arriva soltanto a 0,42-0,51.
Quindi la stessa persona, chiedendo la stessa cosa, si ritrova ogni volta una lista quasi per metà diversa. E l’effetto del profilo si appoggia sopra a questo.
Che resta, allora, di un «questo mese eravamo fra le consigliate» misurato una volta sola? Più o meno quanto resta di un giudizio sul carattere di qualcuno dopo una partita a morra cinese. Se la vostra marca non è la prima del settore, quell’entrare e uscire di mese in mese potrebbe essere la struttura della cosa più che il rumore della misura.
Mi sa che l’ordine conta, e cioè prima ripetere e poi separare per profili, perché se manca uno dei due la differenza non si legge proprio.
Fin dove ci si può portare a casa questo studio?
Tutti e quattro gli autori lavorano in Unusual.ai, un’azienda di visibilità di marca nell’IA, e la conclusione «bisogna misurare per profili» le fa comodo. E altre cinque cose delimitano fin dove arrivano questi numeri.
- Lo stato della revisione fra pari non è dichiarato da nessuna parte: è un preprint
- Dieci profili fatti a mano, solo in inglese e concentrati su Stati Uniti, Regno Unito e UE
- Misurazione in un giorno solo, quindi la variazione fra giorni resta non valutata
- La fascia degli specialisti di coda lunga era sotto campione in tutte le condizioni (meno di 30 casi per cella) e non riceve nessuna cifra
- La configurazione Anthropic copre solo 4 domande sulle 8
E di causalità non c’è mica traccia. Quello che si può dire arriva fino a «cambiando chi chiede, è cambiato il risultato». Il «scrivete un profilo e vi prendete la raccomandazione» lo studio non lo dice in nessun punto.
Un secondo punto, sulle differenze fra i due fornitori. Il modello di Anthropic si muoveva di più con il profilo (il calo di 0,20), e fra il 43% e il 52% delle sue raccomandazioni non era agganciato ad alcun risultato di ricerca. Nelle configurazioni OpenAI quella quota scende all’8-29%.
Gli autori lo attribuiscono a quanto una risposta si appoggia alle conoscenze dell’addestramento anziché alla ricerca, e scrivono onestamente che il meccanismo resta aperto. A me serve soprattutto come motivo per misurare ogni IA per conto suo. Anche se, con un giorno solo di misure, potrei starci appoggiando sopra più peso di quanto regga.
fate la stessa domanda nei panni di due o tre vostri clienti
Tenuta come una riga sola, la visibilità nell’IA schiaccia dentro una media tutto questo movimento fra chi chiede. E in una marca di mercato intermedio, sotto quella media c’è un bel valzer di sedie.
La prima cosa che cambiate è soltanto il modo di mandare la domanda. Scrivete due o tre dei vostri tipi di cliente principali, mandate la vostra domanda di sempre con ciascuno di loro come riga d’apertura, e mettete i risultati uno accanto all’altro.
Non fatene la media: la fascia con le sedie libere si annulla contro quella con le sedie occupate. Tenetele separate e vedrete finalmente nella risposta di quale cliente manca il vostro nome.
Questo numero, chiesto da chi? È l’etichetta che vorrei leggere sul grafico prima di leggere il grafico.
Fonti
- Will Jack, Noah Lehman, Keller Maloney, Sarah Xu (Unusual.ai), «Persona Conditioning of Brand Recommendations in Retrieval-Augmented Commercial Chat: A Prominence-Stratified Cross-Provider Audit», arXiv preprint 2605.30207v1, 28 maggio 2026, arxiv.org (piano fattoriale di 10 profili × 8 domande × 3 configurazioni di modello × 10 ripetizioni, per 2.000 esecuzioni. Le configurazioni sono GPT-5.4-mini con sforzo di ragionamento basso e alto, più Claude-sonnet-4.6 con sforzo basso. Il profilo messo in apertura fa scendere la somiglianza di Jaccard dell’insieme consigliato di −0,12 [intervallo al 95% −0,153, −0,091], −0,16 [−0,194, −0,139] e −0,20 [−0,263, −0,156], e nessuno dei tre intervalli contiene lo zero. Fra profili diversi la somiglianza va da 0,22 a 0,35; all’interno dello stesso profilo, da 0,42 a 0,51. Tasso di ricambio dei consigli per fascia di notorietà: leader di categoria 23%/29%/20%, sfidanti affermati 5%/13%/23%, mercato intermedio 75%/67%/39%, attori regionali 27%/33%/—. Nelle parole del riassunto stesso, i leader di categoria mantengono circa l’80% di costanza, mentre nel mercato intermedio cambia fino al 75% delle presenze. I consigli non legati a una fonte recuperata valgono dal 43% al 52% su Anthropic e dall’8% al 29% su OpenAI. Limiti: tutti e quattro gli autori lavorano in Unusual.ai, un’azienda di visibilità di marca nell’IA che ha un interesse commerciale in questa conclusione; non è indicato lo stato della revisione fra pari; la fascia di coda lunga resta senza campione sufficiente in tutte le celle, con meno di 30 apparizioni di marca per cella; le celle sonnet coprono solo 4 delle 8 domande; i profili sono 10 scritti a mano, solo in inglese e concentrati su Stati Uniti, Regno Unito e UE; non sono state provate varianti di formulazione dell’apertura; la misurazione riguarda un giorno solo, quindi la deriva nel tempo non è valutata; e la spiegazione proposta dagli autori — il profilo agirebbe sulla generazione dalle conoscenze pregresse, non sul recupero — resta non confermata)
