«Tanto mette in fila parole probabili, mica capisce»
Questa frase salta fuori ogni volta che in riunione si parla di IA. Il modello non capisce niente, accosta parole plausibili una dopo l’altra e amen.
All’inizio ci credevo pure io. Con la matematica poi, a maggior ragione.
Perché un problema con dei passaggi sembra proprio il posto giusto per beccare un modello linguistico mentre ripete a memoria una soluzione già vista.
Solo che, se fosse davvero solo memoria, davanti a un problema mai visto dovrebbe piantarsi. E invece no: gli si dà un testo nuovo di zecca e il più delle volte ne esce.
E allora che cosa succede là dentro?
C’è chi è andato a controllarlo nell’unico modo serio possibile: costruendosi i problemi da sé. E perché mai fabbricarseli, invece di prenderli belli pronti? Andiamo a vedere.
Problemi di cui non può aver letto la soluzione da nessuna parte
Il lavoro fa parte della serie «Physics of Language Models», portata avanti da Zeyuan Allen-Zhu con il suo gruppo alla Meta FAIR (studio). L’idea è presa in prestito dalla fisica: invece di discutere su che cosa il modello «capisca» davvero, si monta un esperimento abbastanza controllato da dare una risposta pulita.
La mossa intelligente sta nei dati. Il gruppo ha generato da zero una montagna di problemi di matematica da scuola elementare, invece di raccoglierli in rete.
E il dettaglio conta più di quanto sembri. Con un problema preso dal web non si può mai escludere che la soluzione sia passata durante l’addestramento.
Con un problema che prima non esisteva, invece, sì. Quindi, se lo risolve, lo ha risolto. Nessuna scappatoia! Non è memoria, è lavoro fatto lì per lì.
Lo «schema imparato a memoria» non spiega niente
E che cosa è saltato fuori? Che il modo in cui risolve non si spiega con schemi mandati a memoria.
Quando qui si parla di processo di ragionamento si intendono i passaggi intermedi che il modello attraversa prima di fissare la risposta. Guardando dentro al modello, il gruppo ha trovato qualcosa che assomiglia a una pianificazione: una volta letto il testo, stima già in anticipo di quali quantità avrà bisogno la risposta.
Non è una formula imparata e riapplicata. È un percorso, ricostruito problema per problema.
Però non è il percorso che seguirebbe una persona. Il modello si prepara le quantità in un ordine innaturale, e nel frattempo calcola numeri che il problema non richiede affatto, tanto per portarsi avanti.
Come un cuoco che taglia tutte le verdure della cucina (sì, tutte) prima di decidere il menù. Il piatto finale torna, la strada per arrivarci è parecchio disumana.
Mostratele un errore e migliora
Il seguito della serie va sul pratico: come si addestra questa IA matematica perché sbagli meno (studio)? Ed è qui che arriva il risultato che spiazza.
E se invece gli svolgimenti impeccabili non fossero il materiale migliore? Il buon senso direbbe di mostrarle solo quelli: risposte giuste in ingresso, risposte giuste in uscita.
E invece. Quando nei dati di addestramento si infilano di proposito sequenze in cui il modello sbaglia e subito dopo si corregge da solo, la precisione del ragionamento sale più che addestrandola con le sole soluzioni corrette.
Perbacco! E senza nessun apparato complicato: niente giri in cui l’IA risponde, viene ripresa e riprova. Basta mescolare quegli esempi di correzione nel normale addestramento a prevedere la frase successiva.
Gli errori non erano scarto: erano materiale didattico.
Ragiona sì, ma non come noi
Mettendo i due lavori uno accanto all’altro, una linea si vede. L’IA non è «solo memoria». E non ragiona nemmeno come ragionate voi.
Là dentro una pianificazione c’è per davvero, ed è il motivo per cui un problema inedito non la manda in tilt. Solo che quella pianificazione ha manie tutte sue, sfasate rispetto all’intuito umano.
«Intelligente» e «simile a noi» conviene tenerli in due cassetti diversi.
E proprio questa distanza — ragiona, ma in un altro modo — è la parte che finisce sulla scrivania di chi la usa per lavoro.
Conclusione: si controlla la conclusione, non la bellezza del ragionamento
E allora, a chi usa l’IA per lavoro, che cosa resta in mano? Due cose, e ci si ferma di proposito a due.
La prima: non si dà per buona una risposta perché «si vede che ci ha ragionato». Il ragionamento c’è, d’accordo, ma ha manie tutte sue, estranee al modo in cui ragioniamo noi, e un percorso convincente non garantisce niente sulla frase finale.
Quindi non si guarda quanto scorre bene la spiegazione: si guarda se la conclusione regge il confronto con i fatti. Quando ci sono numeri e nomi propri, si verifica una volta, per quanto impeccabile sia il tono.
La seconda: quando chiedete all’IA di correggere qualcosa, consegnatele l’errore e la correzione insieme. «Scrivilo così» le dà solo la destinazione. «Questo pezzo è sbagliato, la versione giusta è quest’altra» le dà il percorso, che è esattamente ciò che il modello si ricostruisce dentro.
La critica rende molto di più se arriva con la riparazione allegata.
Sarà pure troppo estrapolare da due studi su problemi da scuola elementare. Ma la direzione tiene: l’IA sembra intelligente e lo è, solo che la sua intelligenza non è una versione allungata della nostra.
Ed è per questo che il gesto più noioso di tutti — appoggiarsi a lei volentieri e controllarsi l’ultima riga da soli — è quello che regge il rapporto sulla lunga distanza.
