«All’IA il testo piace. Ma piacerà anche a un cliente?»
Sempre più schede prodotto nascono dentro una finestra di chat. Si incolla la scheda tecnica, si chiedono tre varianti, se ne sceglie una.
E poi — qui sta il punto — si chiede allo stesso modello quale delle tre sia la migliore.
Capita anche a me. È veloce, è gratis e sembra un secondo parere.
Però un secondo parere non è, no? È lo stesso lettore che corregge il proprio compito. E se ogni marchio del settore ripete questo giro, alla fine è tutto il settore a scrivere secondo un unico gusto.
Quel gusto qualcuno è andato a misurarlo sul serio.
L’89% da cui parte tutto
Lo studio si intitola “AI-AI bias: Large language models favor communications generated by large language models” ed è uscito su PNAS, la rivista dell’Accademia nazionale delle scienze degli Stati Uniti, che pubblica dalle scienze naturali alle scienze sociali.
L’impianto è semplice: la stessa cosa viene descritta due volte, una da una persona e una da un modello, poi si chiede a un LLM (i modelli linguistici che stanno dietro a ChatGPT) di indicare la versione migliore. La prova è stata fatta su tre tipi di testo: descrizioni di prodotti di consumo, riassunti di articoli scientifici e trame di film.
E i risultati, allora? GPT-4 ha scelto la versione scritta da GPT-4:
- nell’89% dei casi sulle descrizioni di prodotto
- nel 78% sugli articoli scientifici
- nel 70% sulle trame dei film
Poi arriva la parte davvero utile. Le stesse coppie sono state messe davanti a 13 assistenti di ricerca in carne e ossa: loro hanno preferito il testo generato dall’IA nel 36% dei casi sui prodotti di consumo, nel 61% sugli articoli e nel 58% sui film.
Guardiamo la riga delle schede prodotto. Il modello dice 89, le persone dicono 36. Non è un margine di errore: sono due gusti diversi che usano la stessa parola, «buono».
Di cosa è fatto davvero il voto di un modello
Il bias IA-IA in pratica vuol dire questo: un modello tende a preferire i testi scritti da un’IA, compresi i propri, a quelli scritti da una persona. E per chi gestisce un marchio cambia una cosa concreta — un voto alto può premiare soprattutto la forma, cioè il fraseggio che a una macchina scorre liscio, e non qualcosa che un cliente noterebbe.
E la faccenda si ferma allo stile? Nemmeno per sogno: lo stesso sbilanciamento riappare un piano più su, sui marchi.
Il lavoro “Global is Good, Local is Bad?”, presentato a EMNLP 2024 (uno dei principali convegni di ricerca sull’elaborazione del linguaggio naturale), ha esaminato le raccomandazioni di marca di GPT-4o, Llama-3-8B, Gemma-7B e Mistral-7B. Tutti i modelli associavano i marchi globali ad attributi positivi in modo sproporzionato. E le raccomandazioni si ordinavano per reddito: marchi di lusso ai Paesi ad alto reddito nell’88-100% dei casi, marchi non di lusso ai Paesi a basso reddito nell’84-98%.
Si tratta di risultati ottenuti in condizioni sperimentali specifiche, s’intende, e non è detto che ogni servizio di IA si comporti allo stesso modo. La direzione, però, fa riflettere.
Perché significa che, quando si chiede a un modello di dare un voto ai testi di marca, non si ottiene una lettura pulita di quei testi. Si ottiene il testo più ciò che il modello già dà per scontato sul marchio, sulla categoria e sul mercato a cui ci si rivolge.
Con gli agenti che comprano, la faccenda diventa più urgente
L’articolo “AI Is Upending Marketing on Two Fronts” della Harvard Business Review traduce lo stesso movimento in linguaggio di marketing. Succedono due cose insieme: l’IA conversazionale sta prendendo il posto che avevano la ricerca e i siti web, e gli agenti di IA si stanno avvicinando alla decisione d’acquisto vera e propria.
Il testo richiama una ricerca secondo cui le ricerche online sarebbero calate di circa il 20% dopo l’arrivo di ChatGPT, e sostiene il passaggio dalla SEO alla GEO (Generative Engine Optimization: lavorare sulla risposta che dà il modello, non sull’elenco di link di Google).
E chi lo legge davvero, alla fine, quel testo? Qui arriva la separazione scomoda: «customer» (chi compra) e «consumer» (chi usa) potrebbero smettere di essere la stessa persona. Se un agente sceglie il prodotto e un essere umano lo usa, si scrive per due lettori insieme.
La conclusione facile sarebbe: «e allora scriviamo solo per la macchina». Ma è proprio quello che i numeri del PNAS smentiscono. Cinquantatré punti di distanza tra ciò che premia un modello e ciò che scelgono le persone non si recuperano ottimizzando ancora un po’.
Il voto dell’IA è un segnale utile. Non è una sentenza.
Conclusione: due misure separate, non un voto unico
Essere visibili dentro i modelli è un patrimonio vero e costruibile — lo spostamento delle ricerche e l’arrivo degli agenti puntano entrambi lì — e si può verificare già oggi. Quello che non si può fare è fonderlo con la fiducia delle persone in un numero solo: sulle schede prodotto il voto del modello e quello delle persone andavano in direzioni opposte, 89% contro 36%.
E in pratica come si fa? Si prende la stessa descrizione di prodotto, la si mostra a ChatGPT, Gemini e Perplexity e si misura quanto spesso il marchio viene citato o consigliato. Questa è la prima misura: quella che riguarda la visibilità dentro i modelli.
La seconda misura resta dov’è: test A/B sugli annunci, colloqui con i clienti, le domande che la gente si fa prima di comprare. Se si lascia che la prima si mangi la seconda, si finisce con testi perfetti per una macchina e insipidi per tutti gli altri.
Che l’89% regga anche con la prossima generazione di modelli, mica è garantito: è un singolo studio. Ma tenere le due misure separate costa poco, e lo svantaggio, francamente, non riesco a vederlo.
Fonti
- Laurito, W. et al., “AI-AI bias: Large language models favor communications generated by large language models”, Proceedings of the National Academy of Sciences, Vol. 122(31), 2025, pnas.org
- Kamruzzaman, M., Nguyen, H.M. & Kim, G.L., “«Global is Good, Local is Bad?»: Understanding Brand Bias in LLMs”, EMNLP 2024, aclanthology.org
- Puntoni, S., “AI Is Upending Marketing on Two Fronts”, Harvard Business Review, 2026-02-23, hbr.org
