«Se chiedo due volte la stessa cosa, mi dà due risposte diverse»
Basta introdurre l’IA in un’azienda e la frase arriva puntuale: «ho fatto due volte la stessa domanda e mi ha risposto in due modi diversi. Come faccio a fidarmi?». Reazione comprensibilissima, diciamocelo.
Capita anche a me: stessa domanda, formulazione diversa in risposta, e quella sensazione fastidiosa di terreno che si muove.
Però il problema è la conclusione che se ne trae. Passare da «le risposte variano» a «l’IA non è affidabile» è un salto. Perché alcuni studi recenti suggeriscono che una parte di questo ballare non è un difetto del modello: è gonfiata dal modo in cui la misuriamo.
E c’è chi è andato a controllare sul serio. Andiamo a vedere.
La «sensibilità al prompt» misura davvero solo il modello?
Partiamo dal concetto chiave: la sensibilità al prompt, cioè quanto cambia il risultato quando si riformula la domanda. In pratica vuol dire: se chiedo la stessa cosa con parole diverse, quanto balla la risposta? Di solito la si tratta come un punto debole del modello, e basta.
Hua e colleghi (lo studio) hanno fatto un passo in più: e se una parte di quella sensibilità la stesse producendo il metodo di valutazione? Per verificarlo hanno messo alla prova 7 grandi modelli linguistici su 6 benchmark e 12 modelli di domanda, cercando di separare il tremolio del modello dal tremolio dello strumento.
Domanda ovvia, una volta formulata. Eppure quasi nessuno se l’era posta.
Gran parte del ballo è un artefatto della misurazione
E i risultati, allora? Una parte consistente della sensibilità osservata potrebbe essere un artefatto del metodo di valutazione. Tradotto: le manie del termometro fanno sembrare la febbre più alta di quanto sia.
Le valutazioni classiche si affidano spesso al punteggio di log-verosimiglianza (si guarda come si distribuiscono le probabilità) o alla corrispondenza esatta delle risposte (il testo deve coincidere alla lettera). Comodissime da automatizzare. Peccato che bocciino risposte che dicono la stessa cosa — come considerare «OK» e «va benissimo» due opinioni diverse.
Gli autori hanno quindi rifatto le misure con un LLM-giudice, che valuta al livello del significato. Risultato: la varianza delle prestazioni diminuisce, e la classifica dei modelli diventa più coerente. Attenzione: non significa che «l’IA è stabile». Significa che l’ampiezza del ballo dipende da cosa si accetta come risposta giusta.
Sui marchi: le liste ballano, il tasso di apparizione no
E passiamo ai dati più vicini al marketing. In un’indagine di SparkToro e Gumshoe, 600 volontari hanno mandato richieste di raccomandazione a ChatGPT, Claude e all’IA di Google, per un totale di 2.961 esecuzioni. I numeri sono deliziosamente controintuitivi:
- meno dell’1% di probabilità di ricevere due volte la stessa lista
- circa lo 0,1% di probabilità di riceverla anche nello stesso ordine
- un marchio ad alta visibilità è apparso nel 97% delle sue 71 esecuzioni
- i grandi marchi tengono un tasso di apparizione (Visibility%) stabile tra il 55 e il 77%
La classifica di una singola risposta è quasi casuale; il tasso di apparizione sulla ripetizione è sorprendentemente stabile.
Un dettaglio curioso: le 142 domande scritte a mano dai partecipanti avevano una similarità semantica di appena 0,081 — ognuno chiedeva a modo suo — eppure le risposte convergevano su insiemi di marchi molto simili. Le liste singole tremano; la tendenza collettiva, alla lunga, si vede.
Conclusione: guardare il tasso di apparizione, non la classifica di un giorno
Cosa ci portiamo a casa? Il ballare delle risposte dell’IA a volte è reale, a volte è ingigantito dallo strumento di misura. Ed è proprio per questo che una classifica presa una volta sola è un pessimo indicatore: non distingue il caso dalla tendenza.
Per chi lavora sul marketing, la strada solida è ripetere domande con la stessa intenzione e fare del tasso di apparizione la metrica principale — accettando le risposte equivalenti nel significato, invece di pretendere la corrispondenza esatta. Serviranno altri studi per capire fino a dove questi risultati si generalizzano. Ma si passa già da «l’IA balla, quindi inutilizzabile» a «il ballo è un dato di fatto: misuriamo tenendone conto». E per chi deve decidere, cambia tutto.
Fonti
