«Ho incollato due vecchie mail e all’improvviso scriveva bene»
Si chiede una cosa all’IA e torna indietro roba mediocre. Allora si incollano due o tre esempi di quello che si voleva davvero, si richiede e la seconda risposta è tutta un’altra storia.
Sarà capitato a molti di voi negli ultimi mesi, no?
Pure a me, Hex-ko, succede in continuazione: se chiedo una bozza di mail dopo aver infilato nel prompt qualche mail vecchia, la differenza si vede a occhio nudo.
Solo che subito dopo arriva il dubbio. Sta imparando davvero da quegli esempi, o è stata fortuna? La sensazione è che funzioni. Però costruire un’abitudine di squadra su una sensazione è fragile, perché nessuno garantisce che il trucco regga anche domani.
Il punto è che il fenomeno ha un nome e ha pure una dimostrazione. Andiamo a vedere come stanno le cose.
Il trucco si chiama «few-shot». Quello che succede dentro ha un altro nome
Prima un termine, poi si va avanti. Incollare esempi nel prompt si chiama prompt few-shot: in inglese few-shot vuol dire «con pochi esempi». Nessun esempio è zero-shot, due o tre sono few-shot. La distinzione finisce qui.
E quello che avviene dentro l’IA nel frattempo si chiama .
L’apprendimento in contesto in pratica vuol dire questo: l’IA adatta il modo di rispondere agli esempi che ha lì nel prompt, senza nessun addestramento aggiuntivo. Dentro non si riscrive niente, i parametri del modello sono identici a un secondo prima. Ecco, eppure risponde in modo diverso. Per chi gestisce un marchio significa che la leva sta nel prompt, non nell’attesa del modello migliore.
Ma la domanda vera è un’altra: quella roba lì merita di chiamarsi apprendimento, o è soltanto una gran bella imitazione?
Cosa ha dimostrato Berkeley, conti alla mano
Su quella domanda si è messo a lavorare un gruppo dell’Università della California a Berkeley: Ruiqi Zhang, Spencer Frei e Peter L. Bartlett. Il lavoro è uscito nel 2024 su JMLR, una delle riviste di riferimento dell’apprendimento automatico (lo studio).
E cosa hanno fatto di preciso? Hanno preso un Transformer (l’architettura su cui poggiano le IA di oggi), l’hanno semplificato fino all’osso e ne hanno seguito l’addestramento passo passo con la matematica. I modelli veri sono troppo aggrovigliati per risolverli in modo esatto: si tiene invece solo l’essenziale e si risolve del tutto la versione minima.
E i risultati, allora?
- Addestrando abbastanza a lungo, il modello arriva sempre al suo stato migliore possibile (convergenza al minimo globale).
- In quello stato, il suo apprendimento in contesto è preciso quanto il miglior predittore teoricamente possibile per quei dati.
Detto in parole povere: appena legge gli esempi, l’IA si costruisce una regola di previsione che si adatta a quegli esempi lì il meglio possibile. È come giocare a sasso-carta-forbice dopo aver visto la mano dell’altro. Perbacco!
Perché si può dire che «studia» sul serio
Qui viene il bello. Il gruppo ha anche accertato che il calcolo che il modello esegue al suo interno equivale a quella procedura arcinota dell’apprendimento automatico: migliorare un pezzetto alla volta partendo dagli esempi.
Insomma, davanti a delle risposte-modello l’IA fa partire lì sul momento qualcosa di simile a un riapprendimento della regola dai dati.
La sensazione che stia imparando non era una fantasia. Gli esempi funzionano perché la macchina è fatta così.
Le dovute cautele: la dimostrazione vale in un mondo «lineare»
Due riserve, e pesano entrambe.
La dimostrazione regge in un contesto semplificato apposta, quello lineare. Che dentro un sistema enorme e stratificato come ChatGPT succeda esattamente la stessa cosa, oggi sarebbe azzardato sostenerlo. Lo dice il gruppo stesso: estendere il risultato a contesti più complessi resta un lavoro da fare. Si è acceso un faro potente all’ingresso di una caverna grande, e in fondo è ancora buio.
La seconda riserva è quella che tocca il lavoro di tutti i giorni. L’apprendimento in contesto vale solo lì per lì. Quello che l’IA ha ricavato dagli esempi sparisce quando si chiude il prompt. Non se lo tiene mica.
Conclusione: gli esempi teneteli voi, l’IA non lo farà
Portata sul lavoro, la lezione è semplice. Incollare esempi nel prompt non è né superstizione né scaramanzia: è una mossa sensata, che poggia su come il sistema funziona davvero. Il lavoro di Berkeley dice che l’IA costruisce il modo migliore di rispondere a partire da quello che le si mette davanti. Darle uno o due esempi vicini al risultato atteso, quindi, è una scelta che torna anche sulla carta.
In pratica se ne ricava una sola abitudine: smettere di trattare gli esempi buoni come l’arte personale di qualcuno. Se in squadra si condivide l’uso dell’IA, gli esempi che funzionano dovrebbero stare dentro un template da incollare ogni volta. Perché il prompt che oggi vi ha salvato la giornata nella chat nuova di domani non ci arriva da solo.
E va tenuta la linea tra due cose diverse.
L’apprendimento in contesto copre l’aggiustamento del momento. Far sì che un modello porti con sé in modo stabile le informazioni e le regole della vostra azienda è un altro problema, con un’altra meccanica e col prompt non ci si arriva. Con quella linea in testa, la prossima discussione del tipo «e se lo risolvessimo con un prompt?» dura molto meno.
Il campo è giovane e di definitivo c’è poco. Ma che gli esempi funzionino, quello sì, sta in piedi. Si può cominciare aggiungendo un solo esempio a un prompt che già usate, e guardare cosa si muove.
Fonte
- Ruiqi Zhang, Spencer Frei, Peter L. Bartlett (UC Berkeley), «Trained Transformers Learn Linear Models In-Context», JMLR Vol.25, 2024, link
