«Ma capisce qualcosa, o tira solo a indovinare la parola dopo?»
In riunione quella frase salta sempre fuori, di solito con mezzo sorriso: «tanto l’IA indovina solo la parola successiva».
E si capisce perché giri così tanto.
Si usa ChatGPT tutto il giorno, il testo esce pulito, il senso della domanda lo coglie. Poi arriva la spiegazione tecnica: sotto c’è un completamento automatico, solo con un motore molto più grosso.
Capita anche a me di oscillare fra le due sensazioni. Da una parte «però funziona benissimo», dall’altra «e allora dove si rompe?».
Solo che le neuroscienze da qualche anno stanno misurando quanta previsione c’è nel modo in cui il cervello umano tratta il linguaggio. E la risposta non è «nessuna».
Andiamo allora a vedere cosa hanno trovato. E soprattutto dove la somiglianza finisce.
I modelli che indovinano meglio azzeccano anche il cervello
Il lavoro che ha aperto la strada è di Schrimpf e colleghi del MIT, pubblicato su PNAS (lo studio).
Il gruppo ha preso decine di modelli linguistici a reti neurali e li ha messi alla prova su tre insiemi di dati neurali — registrazioni di cervelli umani mentre elaborano il linguaggio — più un insieme di dati comportamentali.
La domanda era secca: quale modello di IA prevede meglio ciò che un cervello umano fa di una frase?
E i risultati, allora?
Più un modello era bravo a prevedere la parola successiva, meglio prevedeva anche l’attività cerebrale. Il modello migliore è arrivato vicino al tetto di rumore, cioè al punto in cui l’errore residuo è rumore di misura e non più difetto del modello.
La previsione della parola successiva è proprio quello che sembra: dato tutto ciò che precede, indovinare la parola che arriva. In pratica è l’obiettivo su cui si allena un LLM (modello linguistico di grandi dimensioni, il motore sotto ChatGPT).
Se anche noi, leggendo, corriamo avanti rispetto alla frase, che la matematica del modello e la nostra elaborazione del linguaggio si sovrappongano un po’ non è poi così strano. È quasi prevedibile.
Ed è qui che verrebbe da dire: allora la macchina capisce come noi. Teniamolo da parte per un attimo.
Il cervello era già più avanti della frase
Fin qui però siamo in laboratorio. E in una situazione più naturale, quando si ascolta e basta, come chi sente distrattamente uno spot dentro un podcast?
È l’esperimento di Kölbl e colleghi, pubblicato su Scientific Reports (lo studio). 29 partecipanti hanno ascoltato un audiolibro in tedesco mentre l’attività cerebrale veniva registrata per due vie insieme: EEG (l’attività elettrica raccolta sul cuoio capelluto) e MEG (i campi magnetici debolissimi emessi dal cervello).
Poi il gruppo ha confrontato quei pattern cerebrali con i punteggi di prevedibilità di BERT su quattro categorie: sostantivi, verbi, aggettivi e nomi propri. BERT è un modello linguistico precedente a ChatGPT, e per analisi del genere resta uno standard.
Due risultati saltano all’occhio:
- Sui sostantivi compare una preattivazione significativa prima ancora che la parola cominci.
- Più BERT giudicava prevedibile un sostantivo, più bassa risultava l’ampiezza della N400, la risposta cerebrale che si gonfia quando una parola fatica a incastrarsi con quello che c’era prima.
Insomma: anche nell’ascolto naturale il cervello corre davanti a chi parla. La previsione non è il trucchetto che l’IA fa al posto di capire: sembra un pezzo centrale di come trattiamo il linguaggio pure noi.
Curioso, no? Ed è esattamente il punto in cui conviene frenare, prima di ricavarne una conclusione di business.
Dove la somiglianza si ferma
Perché se la previsione spiegasse tutto, basterebbe un numero del modello a rendere conto dei dati cerebrali. E invece no.
Krieger e colleghi hanno affrontato la questione di petto su Brain Research (lo studio). Il loro oggetto è la surprisal: la misura di quanto una parola risulti inattesa per il modello. Bassa se se l’aspettava, alta se casca dalle nuvole.
Il risultato: la surprisal degli LLM non ha spiegato in modo coerente né la N400 né la P600, un’altra risposta cerebrale più tardiva, legata al tornare indietro e rianalizzare la frase. I modelli piccoli si facevano tirare dalla semplice associazione fra parole. E anche i grandi non arrivavano a cogliere la plausibilità graduale né la conoscenza degli eventi.
La conoscenza degli eventi, poi, è buon senso quotidiano: un cliente può restituire una giacca, difficilmente se la mangia e di sicuro non le chiede un parere.
Ecco il buco. Un modello scrive «ai nostri clienti interessa soprattutto la velocità di consegna» in un italiano impeccabile, senza aver mai sfiorato un vostro cliente vero. La scorrevolezza è una proprietà del testo. Il fondamento, invece, dipende da dove arriva l’affermazione.
Potrebbe darsi che il quadro generalizzi meno di quanto sembri: tre studi, una manciata di misure cerebrali. Però la direzione è coerente, e coincide con quello che sospetta già chiunque abbia controllato riga per riga un riassunto scritto dall’IA.
Conclusione: valutare una risposta dell’IA dalla fonte, non da quanto scorre bene
La versione pratica di tutto questo è un po’ scomoda: scorrevole e documentato sono due cose diverse, e a distinguerle siamo pessimi. Anche perché la nostra lettura, di suo, procede per previsione.
Ecco quindi una cosa da cambiare già questa settimana. Quando un riassunto dell’IA parla del vostro mercato o dei vostri clienti, va letto accanto a una fonte primaria: verbali di interviste, ticket dell’assistenza, recensioni, dati di acquisto. Al modello si lascia il riassunto, il raggruppamento, le ipotesi. A decidere resta il dato reale.
E c’è il corollario che quasi nessuno applica: quello che l’IA dice del vostro marchio è un segnale da misurare, non un verdetto. Il suo racconto su chi comanda nella categoria è una supposizione scorrevole, montata con quello che le è capitato di leggere. Proprio per questo conviene seguirla nel tempo: spesso è la prima cosa che vede chi deve comprare, ed è un racconto che si sposta. Ma non è una prova sulla categoria.
Se volete vedere cosa succede dentro il modello mentre costruisce quella supposizione, «Ma l’AI capisce davvero?» Andiamo a sbirciarle dentro la testa riprende il filo da dentro.
Fonti
- Schrimpf, M. et al., “The neural architecture of language: Integrative modeling converges on predictive processing”, PNAS, 2021, pnas.org
- Kölbl, M. et al., “Prediction, syntax and semantic grounding in the brain and large language models”, Scientific Reports, 2026, nature.com
- Krieger, K. et al., “On the limits of LLM surprisal as a functional explanation of the N400 and P600”, Brain Research, 2025, sciencedirect.com
