«Quanto del nostro settore possiamo davvero affidare all’AI?»
Più si va avanti con l’AI, più questa domanda pesa. Le hai versato dentro le specifiche di prodotto e il sapere del settore, e la risposta che torna sbaglia comunque mira.
Anche a me, Hex-ko, è partita ingenua: «le do i dati e risponderà». Nella pratica si ripete il contrario: «dovrebbe saperlo, e non lo tira fuori».
A scomporre questo scarto con esperimenti controllati è Physics of Language Models, la Parte 3 (dalla 3.1 alla 3.3).
Il nocciolo: ci sono tre muri distinti. Come gliela insegni, come gliela chiedi e quanto ci sta dentro.
Muro 1: un fatto in un’unica formulazione non attecchisce
La prima scoperta è di quelle concrete. L’AI ripesca peggio uno stesso fatto quando compare solo in una formulazione unica e fissa.
I ricercatori hanno usato dati sintetici di biografie e hanno confrontato due strade: dare il fatto una volta sola, oppure ripeterlo con frasi e ordini diversi.
Il risultato è pulito. Con una sola formulazione la precisione quasi non si muoveva; mescolando parafrasi e versioni riordinate, la precisione di recupero saliva.
Ecco perché «infilo il testo originale una volta nel RAG e via» resta debole. Una versione riassunto, una versione FAQ, una versione a elenco: presentare la stessa cosa da più angolazioni è ciò che funziona.
Muro 2: gira la domanda al contrario e la precisione crolla
Il secondo muro è la direzione da cui chiedi. Il modello regge bene una domanda diretta, ma con una la precisione tende a calare.
Pensate a «In che università ha studiato A?», a cui risponde facile, contro «Chi ha studiato in quella università?», dove si inceppa. Stesso fatto, direzione opposta.
Questo morde in silenzio nell’assistenza clienti e nei consigli di prodotto. Quando le domande vere partono dalla condizione e non dal soggetto, perdi risposte se non lo progetti.
Muro 3: c’è un tetto a quanto può sapere
Il terzo muro è la capacità. La Parte 3.3 porta alla luce una legge di scala che lega il numero di parametri alla quantità di conoscenza che un modello riesce a trattenere.
In breve: più grande non vuol dire memoria infinita. Ingrandire il modello aumenta la capacità, ma è agganciato dritto al costo.
Per questo, anziché puntare tutto sullo stipare ogni cosa dentro al modello, ripartire il lavoro tra un montaggio RAG e un perimetro di copertura ben delimitato comincia a pesare parecchio.
Conclusione: avvia il tuo RAG da «più formulazioni» e «riscrittura della domanda»
Quando l’AI non risponde a partire da una conoscenza che le hai dato tu, saltare subito a «il modello è scarso» è prematuro. Come mostra questa ricerca, il problema non è solo quanto sa: è se la formulazione con cui è memorizzata e la formulazione con cui chiede l’utente combaciano.
In RAG e nelle basi di conoscenza interne, non registrare un fatto chiave come un’unica frase. Tienilo in più forme: riassunto, FAQ, elenco puntato. E quando una domanda vera fallisce, riscrivila come una semplice conferma diretta e riformula la richiesta. Questi aggiustamenti poco appariscenti rendono spesso prima ancora che cambiare modello faccia qualcosa.
Fonti
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.1, Knowledge Storage and Extraction”, arXiv:2309.14316, 2023. link al paper
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.2, Knowledge Manipulation”, arXiv:2309.14402, 2023. link al paper
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws”, ICLR 2025. link al paper
- Physics of Language Models, sito ufficiale della serie. physics.allen-zhu.com
Articoli collegati
- Quando chiedete all’AI di «ragionare», ci sta ragionando davvero? — la portata reale e i limiti del ragionamento
