«L’ho riaperto dopo mesi e sembrava un altro strumento»
Sei mesi fa si apre uno strumento di IA, ci si gioca un po’, si pensa «per il nostro lavoro non ci siamo ancora» e si chiude la scheda. L’altro giorno lo si riapre. E non sembra più lo stesso.
Sarà capitato a molti di voi, no?
Pure a me, Hex-ko, è successo più di una volta: bocciato uno strumento, ritrovato mesi dopo trasformato e via a rimangiarsi il giudizio.
E noi come ce lo immaginiamo, invece, il progresso di una macchina che impara? Come una salita regolare: un po’ più di addestramento, un po’ più brava, in proporzione a quanto ha studiato. Ecco, la realtà pare parecchio meno educata di così, e c’è della ricerca che lo mostra.
«Ma questo grokking, in pratica, cos’è?»
Il punto di partenza è un fenomeno descritto nel 2022 da alcuni ricercatori di OpenAI: il grokking. In pratica vuol dire questo: l’IA impara a memoria i dati di addestramento, sembra aver toccato il tetto per un tempo lunghissimo… e molto più tardi, di colpo, comincia a comportarsi come se avesse capito la sostanza della faccenda.
In inglese grok è più o meno il nostro «gli è scattata la molla» (non «migliora un po’»: proprio «capisce»). Ed è esattamente quello che si vede da fuori: un giorno scatta.
Il punto quindi non è che migliori. Il punto è come: niente rampa dolce, ma un pianoro lunghissimo e poi uno scalino secco. Ed è proprio qui che la faccenda cozza con l’immagine che ce ne facciamo.
Prima si impara a memoria. Capire arriva molto dopo
Gli esperimenti usavano l’aritmetica modulare: quel conteggio che, arrivato a un numero fisso, riparte da capo, come le ore sull’orologio. Roba semplicissima (il tipo di conto che si fa a mente guardando un quadrante).
All’inizio l’IA fa quello che farebbe uno studente pigro: memorizza problemi e risposte. Sugli esercizi già visti va quasi perfetta. Sui problemi nuovi, invece, disastro. Insomma: temi d’esame degli anni scorsi imparati a memoria, e mica un’idea di come si applichi la regola altrove.
E se però non ci si ferma lì? Continuando ad addestrare ben oltre il punto in cui sembra inutile, arriva il momento in cui anche i problemi mai visti vengono risolti senza fatica.
Ecco quindi il passaggio dal memorizzare al capire la regola. La generalizzazione, cioè la capacità di applicare a casi nuovi quello che si è imparato, arriva in ritardo.
Sembrava fermo. Dentro, invece, si stava montando qualcosa
E allora la domanda buona è: durante tutto quel pianoro, l’IA cosa stava facendo?
Alcuni ricercatori sono andati a guardarci dentro (l’analisi di Nanda e colleghi): dietro l’apparente stallo, i circuiti della generalizzazione si stavano montando pezzo per pezzo. Da fuori, niente. Dentro, cantiere aperto.
È come la pianta che si innaffia tutti i giorni per settimane senza vedere spuntare nulla, mentre sotto le radici corrono che è un piacere.
Da qui è nato un modo di leggere il fenomeno: come una transizione di fase. Una transizione di fase è quello che fa l’acqua a zero gradi: liquida, liquida, liquida e poi si supera la soglia e diventa ghiaccio di netto. La capacità, secondo questa lettura, non si accumulerebbe in modo graduale: resterebbe ferma e poi salterebbe, una volta passata la soglia.
Le dovute cautele, però. Tutto questo è stato osservato in contesti sperimentali piccoli e semplici, e sarebbe imprudente dare per scontato che valga tale e quale per le IA enormi che usiamo ogni giorno. Ma il suggerimento in sé — la capacità, a volte, salta — pesa parecchio.
Conclusione: non si valuta un’IA su una fotografia sola
Portata sul lavoro di tutti i giorni, la lezione è quindi semplice: «l’IA sta a questo livello» non è un verdetto da firmare una volta e archiviare. Perché se la capacità può muoversi a scatti, guardare una fotografia sola e decidere «non serve ancora» oppure «ha già dato tutto» è una scelta fragile: dietro quel pianoro potrebbe esserci il prossimo salto in costruzione, e da fuori un cantiere e un vicolo cieco si somigliano parecchio.
E allora cosa si guarda, al posto della fotografia? Non la stima una tantum: il punto di osservazione fisso. Si prende l’IA che interessa, le si rilancia lo stesso compito una volta a trimestre e si sta attenti ai primi segnali di cambiamento. Se la valutazione la si tiene come una cosa che si aggiorna, il salto non coglie in ritardo.
E attenzione: non vale solo per le capacità. Anche come l’IA racconta la vostra azienda, e quali marchi si porta nell’elenco, può cambiare da un giorno all’altro. Controllare una volta e stare tranquilli è la versione rischiosa. Seguire il cambiamento da un punto fisso è quella utile, ed è probabilmente la preparazione migliore che ci sia adesso.
