«Far ragionare l’AI» è comodo, ma fin dove possiamo lasciarle mano libera?
Ormai farsi scrivere dall’AI una nota di analisi o una bozza di piano è la normalità. Per un riassunto ci si fida volentieri; ma appena entra in gioco il ragionamento, il tarlo resta.
Capita anche a me, Hex-ko: davanti a una conclusione mi chiedo sempre se sia il frutto di un ragionamento vero, o solo di una frase scritta bene. Non è la stessa cosa, no?
A questa domanda hanno provato a rispondere sul serio due lavori della serie «Physics of Language Models», la Parte 2.1 e la Parte 2.2.
A firmarli sono Tian Ye, Zeyuan Allen-Zhu e i loro colleghi di Microsoft Research, che hanno seguito da vicino cosa succede dentro al modello mentre risolve dei problemi di aritmetica.
E perché proprio l’aritmetica? Per un motivo semplice: la risposta giusta è una sola, e anche i passaggi intermedi si possono controllare uno per uno.
Nei problemi di aritmetica l’AI faceva «calcoli a mente»
I ricercatori hanno usato dati sintetici — problemi costruiti apposta — per tenere sotto stretto controllo dei testi di aritmetica. Rispetto al linguaggio naturale ci sono meno variabili in ballo, e così si misura la capacità di ragionamento in modo diretto.
È lo stesso spirito dell’«esame in cui copiare è impossibile» di cui si parlava nel primo articolo della serie. E il risultato è che il modello, dentro, stava eseguendo dei passaggi di ragionamento nascosti.
Anche in una semplice addizione, pur senza scrivere i conti nella risposta, internamente costruiva il filo del calcolo. In altre parole, è saltato fuori un comportamento che la sola memorizzazione a pappagallo fatica a spiegare.
Ed è una bella controprova al sospetto «ma l’AI non fa che copiare e incollare?». Almeno nel campo dell’aritmetica, una lavorazione interna di tipo ragionato si è vista eccome.
«Imparare anche dagli errori» batteva «imparare solo le risposte giuste»
Nella Parte 2.2 c’è un risultato ancora più importante: a fare la differenza sono stati i dati di addestramento che contenevano sbagli. Allenare il modello su errori e relative correzioni, anziché solo su risposte corrette, ne ha alzato la precisione di ragionamento.
E il divario usciva fuori a parità di quantità di dati. Il che suggerisce una cosa concreta: più che il quanti dati, conta la qualità di ciò che si dà da imparare.
Pensateci: pure per noi umani funziona così, no? Ripassare gli errori serve più che ribadire le risposte giuste. Vedere una struttura simile anche nelle AI, per chi lavora sul campo, è materiale di peso.
Anche con un ragionamento dentro, prenderlo per oro colato è rischioso
Il quadro è incoraggiante, però c’è un «però», e netto. Anche quando il ragionamento interno c’è, nella risposta i passaggi non sempre vengono fuori per intero.
Quindi usare così com’è una «risposta che sembra giusta» per prendere una decisione è pericoloso. Ed è qui che serve un : in pratica, le poche regole fisse con cui si ricontrolla la risposta prima di darle retta.
Conclusione: per i compiti di ragionamento, decidete insieme «cosa delegare» e «come verificarlo»
Da questa ricerca esce un messaggio chiaro: anche se l’AI compie qualcosa che assomiglia a un ragionamento, non per questo le si possono affidare le decisioni che contano così come sono. Soprattutto dove ci sono numeri, confronti e condizioni che si diramano, il filo del ragionamento può sembrare giusto e poi è solo la risposta finale a sballare.
Perciò, se usate l’AI per compiti di ragionamento, la mossa sicura è fissare prima — e insieme — il perimetro di ciò che le delegate e la procedura con cui lo verificate. Le risposte con dei numeri si ricalcolano; quelle che hanno bisogno di un fondamento si riscontrano con le fonti; e quando valutate un modello, non guardate solo la percentuale di risposte giuste, ma anche quanto regge nel correggersi dopo un errore. Bastano queste poche regole nel flusso di lavoro per fare un passo avanti rispetto al «sembra in gamba, quindi lo adottiamo».
Fonti
- Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu, “Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process”, arXiv:2407.20311, 2024. link al paper
- Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu, “Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems”, arXiv:2408.16293, 2024. link al paper
- Physics of Language Models, sito ufficiale della serie. physics.allen-zhu.com
Articoli collegati
- «Ma l’AI capisce davvero?» Andiamo a sbirciarle dentro la testa — capire i meccanismi interni
