In riunione qualcuno dice «tanto noi usiamo il modello più recente», e tutti tirano un sospiro di sollievo.
Capita anche a me, Hex-ko: metto due strumenti a confronto in una tabella e l’occhio va da solo sul numero più grosso (e quasi mai sulla colonna accanto).
Però la taglia è una variabile molto più strana di quanto lasci intendere la scheda tecnica. Conta, certo. Solo che non conta da sola, e non sempre nella direzione che ci si aspetta.
A mettere ordine ci sono le cosiddette leggi di scala: tre lavori, di OpenAI, DeepMind e di un gruppo di Google Research. Messi insieme, danno un criterio decente per leggere qualunque promessa di prestazioni.
Andiamo allora a vedere come stanno le cose.
Ingrandire l’IA funziona, e in modo sorprendentemente regolare
Il punto di partenza è un lavoro del 2020 di Kaplan e colleghi, in OpenAI (l’articolo che ha dato il nome a tutto il filone): «Scaling Laws for Neural Language Models».
Lì si mostra che la loss di un modello linguistico — in pratica l’errore che fa nel prevedere il pezzo di testo successivo — dipende in modo regolare da tre cose: la dimensione del modello, la dimensione del set di dati e il calcolo speso per l’addestramento.
E quanto è regolare? Talmente regolare da avere un nome: legge di potenza. Si alza una delle tre leve e l’errore scende in modo prevedibile, non per fortuna.
La relazione ha tenuto su più di sette ordini di grandezza. L’esponente di scala risulta intorno a 0,076 per la dimensione del modello e a 0,095 per quella del set di dati. E i modelli grandi arrivavano alla stessa loss con meno dati.
Gli esponenti, in sé, nel lavoro di chi gestisce un marchio non servono. Ecco invece la loro conseguenza: il guadagno che si ottiene ingrandendo si può stimare in anticipo. È quello che ha trasformato «facciamolo più grosso» da speranza a piano.
Però un modello grande e tenuto a dieta resta poco allenato
La correzione è arrivata in fretta. Nel 2022 Hoffmann e colleghi, in DeepMind, pubblicano l’articolo di Chinchilla: «Training Compute-Optimal Large Language Models».
Hanno addestrato oltre 400 modelli linguistici, da 70 milioni a 16 miliardi di parametri, con una quantità di testo che va da 5 a 500 miliardi di token. Un token è il pezzetto con cui l’IA mastica il testo: ad esempio una parola intera, oppure solo un frammento.
E i risultati, allora? A parità di budget di calcolo, conviene far crescere dimensione del modello e numero di token nella stessa proporzione. Si raddoppia il modello, si raddoppiano i dati di addestramento.
Chinchilla è stato costruito così, con 70 miliardi di parametri. E ha superato i modelli allora esistenti — compreso Gopher, con i suoi 280 miliardi, quattro volte più grande — su un’ampia gamma di compiti di valutazione.
L’immagine che rende l’idea: il neoassunto con un curriculum spettacolare e zero ore sul campo. Il titolo sul biglietto da visita è vero, l’esperienza pratica non c’è ancora e si vede proprio nelle situazioni per cui l’avevamo preso.
Ci sono due motivi diversi per cui un’IA smette di migliorare
Manca un pezzo, ed è quello che in riunione rende di più. Bahri e colleghi, di Google Research e della Johns Hopkins University, sono andati a cercare il perché: cosa genera queste leggi di scala? La risposta sta in un articolo del 2024 su PNAS, «Explaining Neural Scaling Laws».
L’origine della scalabilità viene divisa in due famiglie.
- variance-limited: il collo di bottiglia è il rumore statistico di un campione di dati finito
- resolution-limited: il collo di bottiglia è la capacità del modello di rappresentare il mondo con abbastanza dettaglio
In altre parole: la risposta traballa perché mancano i dati, o perché il modello non distingue abbastanza i dettagli? Stesso sintomo, rimedio diverso.
Ed è esattamente qui che sbaglio mossa anch’io. Quando uno strumento di IA risponde male sul nostro settore, il riflesso è «passiamo a un modello più potente» (di solito nella stessa riunione in cui il problema è saltato fuori). Però potrebbero essere i dati di valutazione a essere sbilanciati, oppure allo strumento non è mai arrivato il contesto che serve per rispondere a quella domanda. Quindi cambiare modello non sistema né l’una né l’altra cosa.
Cosa guardare al posto del nome del modello
E quindi, per chi si occupa di marketing, PR o marchio, cosa cambia? Soprattutto una cosa: smettere di lasciare che il nome del modello regga da solo tutto il discorso sulle prestazioni.
In realtà le leggi di scala sono un risultato generale sull’addestramento, non un verdetto su un singolo prodotto. Da qui in poi conviene leggerle come un suggerimento su come valutare gli strumenti, non come prova diretta sul loro conto.
Resta il punto: quando si usa l’IA per capire come si parla del proprio marchio, non si compra «una risposta intelligente in generale». Servono risposte che reggano nella propria categoria, contro i propri concorrenti, nel contesto dei propri clienti. Ecco perché prestazione generale e adeguatezza all’uso vanno valutate separatamente.
Tre cose da tenere distinte alla prossima demo:
- quale modello gira sotto il cofano dello strumento
- con quali dati e quale contesto è stata fatta la valutazione
- quale metrica contava come buona o cattiva per quell’uso
Conclusione: chiedete cosa è stato misurato, non quale modello girava
Le leggi di scala dicono che, in generale, più grande tende a funzionare meglio. Tuttavia Chinchilla ha mostrato che l’efficienza si rompe quando dimensione e dati si sbilanciano, e il lavoro su PNAS aggiunge che uno stallo può nascere dai dati scarsi oppure dalla capacità limitata: due problemi diversi, due rimedi diversi. Insomma, «è il modello più recente» è un criterio piuttosto grezzo.
Invece, per me la domanda che cambia davvero la decisione è un’altra: su quali dati è stato provato lo strumento, cosa è stato misurato e fin dove è arrivata la verifica? Per il monitoraggio di marca significa controllare se dà risposte sensate sulla vostra categoria e sui vostri termini di paragone, non se sa scrivere un sonetto decente.
Quindi, la prossima volta che vi arriva davanti una tabella comparativa, non fermatevi alla colonna «quale IA»: leggete fino a «provato su cosa» e «misurato come».
Fonti
