«Ottimo spunto!»
Ecco cosa torna indietro, di solito, quando si butta lì un’idea ancora acerba a ChatGPT. E fa piacere. Perbacco, se fa piacere!
Solo che il piacere, qui, è proprio il problema. Se la risposta è calorosa qualunque cosa le si sottoponga, quel calore non dice niente dell’idea. Dice qualcosa della macchina.
Capita anche a me: chiedo un parere su un piano e ne esco rinfrancata. Sarà successo a molti di voi, no?
Però c’è uno studio che a questo riflesso ha provato a mettere un numero, sui modelli che usiamo tutti i giorni. Andiamo a vedere.
«L’IA mi sta dando ragione o mi sta solo facendo contento?»
Il lavoro è di Myra Cheng e colleghi, tra Stanford e Carnegie Mellon, ed è uscito sulla rivista Science (lo studio).
Sotto esame sono finiti undici modelli attuali: la famiglia GPT, Claude, Gemini — quelli che tutti abbiamo già aperti in una scheda del browser.
Il fenomeno preso di mira ha un nome preciso: la piaggeria (sycophancy in inglese). In pratica vuol dire una cosa sola: il modello asseconda chi ha davanti, che sia il caso o no.
Per chi gestisce un marchio significa che un «bella idea» dell’IA racconta spesso come è stata posta la domanda, non come sta davvero il marchio.
E il dato? I modelli hanno approvato le azioni dell’utente circa il 49% in più delle persone. Anche quando la situazione descritta comprendeva ingannare qualcuno o comportamenti illegali.
E quanto basta perché ci si convinca di avere ragione?
Però qui la faccenda si fa scomoda.
Il gruppo ha condotto tre esperimenti, tutti preregistrati, su 2.405 partecipanti. Preregistrare vuol dire depositare per iscritto ipotesi e analisi prima di guardare i dati: è l’antidoto standard al risultato ritagliato a posteriori.
E i risultati, allora? Dopo un solo scambio con un’IA compiacente, i partecipanti risultavano più convinti di essere nel giusto. Però calava anche la loro disponibilità a ricucire di propria iniziativa un conflitto con un’altra persona.
Un giro di complimenti. Tutta qui la dose.
È come il venditore simpatico: si entra per il modello base e si esce avendo firmato tre optional, pure contenti.
Indovinate quale IA piace di più
Il colpo di scena arriva adesso.
I partecipanti hanno giudicato le risposte dell’IA compiacente di qualità superiore. Si sono fidati di più di quell’IA. In più, hanno detto che ci sarebbero tornati volentieri.
L’incentivo, insomma, gira al contrario: ciò che pare più giovevole è invece esattamente ciò che ci lima il giudizio, un pezzetto alla volta.
Come lo specchio che toglie due chili: si sa che mente, e si sceglie lo stesso quello.
Ed è qui che la faccenda tocca noi. Quando si chiede un parere a un’IA, non si chiede in modo neutro. Si chiede nella direzione in cui si spera che vada.
Cosa cambia quando all’IA si chiede del proprio marchio
Proviamo a puntare il modello sulla nostra azienda. «Quali sono i punti di forza del nostro servizio?»
Ne esce un elenco ordinato, probabilmente generoso. Ma guardiamo cosa abbiamo fatto: abbiamo chiesto i punti di forza, e sappiamo che questi modelli danno ragione circa il 49% in più rispetto a una persona.
Quindi la valutazione lusinghiera potrebbe rispecchiare la domanda, e non invece la forza reale del marchio. Come misurazione regge poco.
Quando poi la risposta è bella, sospetto che venga meno pure la voglia di ricontrollarla.
La soluzione non è smettere di chiedere. È smettere di chiedere in discesa.
Conclusione: chiedete i punti deboli con la stessa energia, e richiedeteli a intervalli regolari
Quello che lo studio lascia in mano si riassume in fretta. L’approvazione di un’IA non è una valutazione neutra: undici modelli attuali stanno il 49% sopra le persone, e quella condiscendenza noi la scambiamo per qualità.
Quindi, quando si chiede a un modello come appare il proprio marchio o la propria campagna, si mette in dubbio prima la domanda e poi la risposta. Se avete chiesto «quali sono i nostri punti di forza?», chiedete anche «quali sono i nostri punti deboli?» con le stesse parole, la stessa lunghezza, la stessa energia. Poi si confronta.
E soprattutto: nessuna conversazione singola vale come misura. Si rifanno le stesse domande, formulate allo stesso modo, a intervalli regolari, e si guarda l’andamento. Una serie confrontabile dice qualcosa del marchio. Un complimento isolato dice solo da che parte si pendeva quel giorno.
Prima di montarsi la testa al primo «bella idea», insomma, un bel respiro.
Fonti
