Vi sarà capitato anche a voi: chiedete un consiglio a ChatGPT e quello, prima ancora della risposta, vi srotola un ragionamento ordinato. «Vi consiglio questo CRM perché, vista la dimensione della vostra azienda…» Tutto in fila, tutto sensato.
All’inizio anche a me, lo ammetto, dava una bella sensazione di sicurezza. C’è una macchina che mi mostra il suo ragionamento: come faccio a non fidarmi? Quel «perché» me lo segnavo pure, come se fosse oro colato.
Però, a forza di leggere ricerche su questi modelli, un dubbio si è fatto strada. Quel «perché» così pulito è davvero la strada che l’AI ha percorso per arrivare alla risposta? O è qualcos’altro, infilato lì dopo per fare bella figura?
«Spiegami passo passo»: e arriva un ragionamento che fa scena
Partiamo dalle basi. Se a un’AI chiedete di «ragionare passo passo» invece di darvi solo la conclusione, quella mette nero su bianco una specie di pensiero in corso. Questa tecnica in inglese si chiama chain-of-thought, in pratica vuol dire «far scrivere al modello il percorso, non solo il punto d’arrivo».
Si sa che questo trucco fa salire la qualità delle risposte. E in più regala un effetto collaterale gradito a noi umani: il ragionamento è in chiaro, quindi ci sentiamo tranquilli. Se l’AI scrive «siccome A, allora B, dunque C», noi annuiamo soddisfatti.
Solo che proprio quella sensazione di tranquillità, «ecco, vedo il perché», è il punto debole. E c’è uno studio che l’ha messa sotto pressione di petto.
L’AI cambia risposta per un motivo che nella spiegazione non nomina
Ci hanno pensato Turpin e colleghi, ricercatori della New York University e di Anthropic, in un lavoro presentato alla conferenza NeurIPS del 2023 (R). Il titolo, da solo, dice già tutto: «i modelli linguistici non sempre dicono ciò che pensano».
Cosa hanno fatto, in concreto? Hanno preso due AI, GPT-3.5 e Claude 1.0, e nelle domande hanno infilato di nascosto un bias, cioè una piccola spinta verso una certa risposta. Per esempio così:
- riordinavano le opzioni in modo che la risposta giusta capitasse sempre nella posizione «(A)»
- oppure spingevano apposta il modello verso la risposta sbagliata
Questi trucchetti li hanno applicati a 13 compiti di ragionamento piuttosto tosti. E poi sono stati a guardare come cambiavano due cose: la risposta dell’AI e la spiegazione che l’AI ne dava.
Si fa tirare dal bias, ma nel «perché» non lo cita
E i risultati? Diciamo che fanno venire un certo brivido.
L’AI si fa tirare per il naso dal bias e cambia la risposta. Se la regola nascosta è «la giusta è sempre la (A)», allora la (A) la sceglie più spesso. Fin qui, pazienza. Il guaio viene dopo: nella sua spiegazione, di quel bias l’AI non fa parola.
Cosa fa invece? Si inventa un altro motivo, bello solido, del tipo «la (A) è corretta perché questo e quest’altro», e con quello giustifica la risposta. La verità è che si è fatta abbindolare dall’ordine delle opzioni, ma di questo, nel ragionamento, neanche una parola. Perbacco!
E quando il bias è orientato verso la risposta sbagliata, la precisione complessiva crolla fino al 36% in meno. In altre parole, il modello inizia a sfornare risposte errate, ma corredate di un ragionamento tutto impettito. In un altro esperimento, costruito su stereotipi sociali, è successa la stessa cosa: risposta condizionata dal pregiudizio, e una giustificazione che quel pregiudizio non lo nomina mai.
La spiegazione non è il verbale della decisione, è una scusa ben confezionata
Quello che lo studio ci mette davanti è che la spiegazione dell’AI può essere una giustificazione costruita a posteriori, scritta dopo che la decisione è già stata presa. Gli addetti ai lavori la chiamano post-hoc rationalization: in pratica vuol dire che prima arriva la conclusione, e solo dopo si tira su un ragionamento che la faccia sembrare ragionevole.
E diciamocelo, è una cosa molto umana. Scegliamo qualcosa di pancia, perché ci piace, e poi ci costruiamo sopra il castelletto di motivi: «be’, tanto questa qui costa pure meno». Lo facciamo tutti, no?
L’AI fa lo stesso, con l’aggravante che non sembra accorgersene nemmeno: scrive tutto liscio, sicura di sé. È come lo studente che ha copiato il compito e poi ti allega pure la spiegazione perfetta del procedimento. Geniale, se non fosse il problema.
Il punto è uno: «la spiegazione è ordinata e fila» e «la spiegazione è il vero motivo» sono due cose diverse. Noi, però, vediamo la prima e ci fidiamo subito anche della seconda.
Conclusione: trattate il «perché» dell’AI come un’ipotesi, non come un verdetto
Veniamo a noi, cioè a cosa cambia tutto questo nel lavoro di chi gestisce un marchio.
Quando un’AI consiglia il vostro marchio, la tentazione è chiederle «ma perché mi hai consigliato?» e prendere quella risposta come base per le mosse successive. Capita anche a me, eh. Ma alla luce di questo studio, quella spiegazione potrebbe non essere «il vero motivo»: potrebbe essere il castelletto costruito dopo. E se ci ottimizzate le strategie sopra, rischiate di tarare tutto sul bersaglio sbagliato.
Allora come ci si difende? Il trucco è declassare il «perché» dell’AI da verdetto a ipotesi. Se il modello vi dice «vi hanno scelto per il prezzo», prendetelo come la domanda da cui partire a verificare, non come la risposta già confezionata. Con questa postura non vi fate trascinare le decisioni da una spiegazione inventata dopo.
E a quel punto, su cosa ci si appoggia davvero? Sui numeri del risultato, non su quelli della spiegazione. Il «perché vi citano» oscilla e si riscrive; «su cento volte che lo chiedo, quante volte il vostro nome compare» è invece un fatto che potete osservare di persona. Una frequenza che misurate vale, come fondamenta di una strategia, infinitamente più di un motivo che l’AI potrebbe aver scritto a tavolino.
La capacità di spiegarsi delle AI continuerà a crescere. Ma «sa spiegarsi» e «ci si può fidare» non sono ancora la stessa cosa. Tenerlo in un angolo della testa, da solo, cambia già un po’ il modo di stare al tavolo con queste macchine.
Fonte
- Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman (2023), “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting”, NeurIPS 2023, arXiv
