«ChatGPT o Claude, qual è il migliore?»
È la domanda che spunta puntuale appena si pensa di adottare uno strumento AI in azienda. Ogni fornitore giura che il suo modello è il più forte, e lì accanto ci sono i punteggi dei benchmark, allineati in bella mostra. Comodo, no? Si guarda chi sta più in alto e si decide.
Peccato che, a guardare solo i numeri, non si riesca quasi mai a decidere davvero. Perché quando si passa all’uso reale, capita che due modelli entrambi in cima alla classifica si comportino in modo diverso: uno tiene la rotta, l’altro ogni tanto sbanda. Stesso voto in pagella, stabilità diversa sul campo. Come è possibile?
A prendere di petto questa fastidiosa contraddizione è una linea di ricerca di Microsoft Research chiamata «Physics of Language Models», in corso dal 2023.
Il messaggio centrale è di una semplicità disarmante: le classifiche di prestazione che vediamo oggi sono facilissime da fraintendere, se non si guarda anche com’è fatto il test.
Un benchmark non separa «capire» da «aver già visto»
Partiamo dalle basi. Un benchmark è un test comune: si danno gli stessi problemi a più modelli, si conta quante risposte azzeccano e li si mette in fila per punteggio. Fin qui, niente di misterioso.
Il problema nasce quando i quesiti sono scritti in linguaggio naturale, cioè nelle nostre solite frasi. In una domanda così ci finiscono dentro troppe variabili tutte insieme: il lessico scelto, il contesto, il modo di formulare la frase, e — soprattutto — la familiarità che il modello potrebbe essersi portato dietro dall’addestramento. Con tutta questa roba mescolata, come facciamo a sapere se il modello ha davvero compreso o ha solo riconosciuto uno schema già incontrato?
Ecco il punto dolente, ed è un sospetto che ha pure un nome: la fuga di dati (data leak). Vuol dire che il materiale di valutazione è finito, anche per sbaglio, dentro i dati di addestramento. Risultato: il punteggio si gonfia oltre la capacità reale, perché in fondo il modello sta «ripetendo qualcosa che aveva già visto». Un voto alto, ma per il motivo sbagliato.
E qui i ricercatori hanno fatto una mossa furba: invece di lamentarsi del test, l’hanno rifatto da zero.
Un esame in cui copiare è impossibile
Come si costruisce una prova in cui «aver già visto la risposta» smette di essere un vantaggio? La squadra di Microsoft ha cambiato proprio la materia prima dei problemi.
Niente più frasi prese dal mondo reale: al loro posto, dati sintetici. Cioè problemi fabbricati apposta, in cui chi prepara l’esame controlla ogni singola condizione. Se sei tu a inventare daccapo ogni quesito, non c’è modo che il modello l’abbia già incrociato durante l’addestramento. La porta della fuga di dati si chiude.
Poi il colpo da maestro. I problemi vengono generati con una CFG — una grammatica libera dal contesto, in pratica un insieme di regole grammaticali che decidono come si costruisce ogni quesito. Il bello è che, lavorando così, per ogni risposta corretta si può risalire a quale comprensione strutturale l’ha prodotta. In altre parole, si arriva finalmente a separare la comprensione vera della struttura dal semplice abbinamento di schemi.
È lo stesso spirito di un esperimento di fisica: si cambia una variabile per volta e si osserva cosa succede, così da risalire con pulizia a causa ed effetto. Ecco da dove arriva il nome della serie.
A chi fa marketing serve il «come», non il «quanto»
A questo punto verrebbe da dire: bella roba per i ricercatori, ma a me che vendo prodotti cosa cambia? Cambia parecchio, invece.
Perché la domanda utile non è «quale modello ha preso quale voto», ma «in quali condizioni di misura è uscito quel voto». Sono due cose diverse, e confonderle costa caro. Pensateci: nel lavoro pieno di nomi di marca e di gergo di settore — e il marketing ne è pieno fino all’orlo — la precisione di un modello dipende da quanto il test gli somiglia. Se la prova è fatta su materiale che assomiglia ai vostri dati reali, quel voto vi dice qualcosa. Se è fatta su tutt’altro, vi sta raccontando di un mondo che non è il vostro.
Quindi, per capire se un’AI fa al caso del vostro lavoro, la mossa è una sola: leggere le condizioni di valutazione, non la posizione in classifica. Saltare questo passaggio è il modo più sicuro per ritrovarsi, a strumento già adottato, a borbottare che «non era come promesso».
Quindi: la classifica non si legge da sola
Tiriamo le fila. La cosa più rischiosa, nel confrontare le AI, è proclamare «questo modello è il più forte» basandosi su un punteggio e nient’altro. È proprio quello che questa linea di ricerca smonta: un punteggio è leggibile solo insieme a tre cose — com’è progettato il test, come sono stati creati i dati e come sono stati gestiti i fallimenti. Da solo, quel numero è muto.
Tradotto in pratica, si muove su due fronti. Quando confrontate i fornitori, non fermatevi alla tabella dei voti: chiedete le condizioni di valutazione, la riproducibilità e i tipi di fallimento — non solo quanto un modello sbaglia, ma come sbaglia. E per la validazione interna, la ricetta è ancora più semplice: fissate poche domande realistiche del vostro business e misurate ripetutamente più modelli nelle stesse identiche condizioni. Fatto questo, le classifiche luccicanti smettono di farvi girare la testa, e cominciate a leggere i numeri con il vostro metro.
Fonti
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, ICML 2023. arXiv:2305.13673
- Physics of Language Models, sito ufficiale della serie. physics.allen-zhu.com
