«Ho chiesto all’IA la scheda aziendale e i nostri numeri erano sbagliati»
Vi è mai arrivata questa segnalazione?
La liquidavo con una spiegazione comoda: il modello ha smesso di imparare prima, ovvio che non lo sappia.
Quel giorno il numero che ballava era di tre anni prima ed era pubblico da allora.
Se è proprio il vecchio che un modello dovrebbe avere ben fissato, perché con un’azienda ci prende e con la successiva no?
Qualcuno ha posto oltre 197.000 domande su società quotate statunitensi e ha confrontato ogni risposta con i dati ufficiali.
Quanto conosce l’IA i risultati di un’azienda?
Dipende dalla dimensione dell’azienda e da quanto sono leggibili i documenti che pubblica.
Agam Shah e altri quattro coautori del Georgia Institute of Technology hanno posto ai modelli oltre 197.000 domande sui dati finanziari di società quotate statunitensi, confrontando ogni risposta una per una con le cifre ufficiali (pubblicato nel 2025, accettato a COLM 2025, arXiv:2504.00042).
Le aziende più grandi, quelle con maggiore attenzione da parte degli investitori e quelle con documenti scritti in modo più piano ricevevano risposte più accurate.
Lo stesso studio ha trovato che, al crescere della dimensione e dell’attualità dell’esercizio, saliva anche la probabilità che il modello inventasse cifre sbagliate con piena sicurezza.
Essere conosciuti bene e non essere inventati sono due cose distinte.
Rimisurare il presupposto «prima della data di taglio lo sa»
La data di taglio dell’addestramento indica fin dove arriva il materiale su cui il modello ha imparato. Che vacilli su tutto ciò che viene dopo quella linea è noto.
Quello che questo studio ha misurato è ciò che sta prima della linea.
Il metodo non ha misteri. Costruire oltre 197.000 domande su voci finanziarie di società quotate statunitensi e confrontare ogni risposta con il dato ufficiale.
Poi osservare come quattro segnali — capitalizzazione di mercato, attenzione degli investitori al dettaglio, attenzione degli investitori istituzionali e leggibilità dei documenti — si muovono insieme all’accuratezza.
La prima cosa a cadere è stata l’idea che tutto ciò che precede la linea sia saputo. Più l’esercizio è vecchio, più l’accuratezza scende.
A fare la differenza erano la dimensione e la leggibilità
I numeri delle grandi aziende vengono azzeccati più spesso. Fin qui, la scommessa di quasi tutti.
L’interessante è che la leggibilità dei documenti pesava accanto alla capitalizzazione. Stessa dimensione, scrittura diversa, risultato diverso.
L’indicatore di leggibilità in sostanza misura se il documento è scritto in frasi piane e con le cifre messe dove si possono leggere.
E questa è una variabile che l’azienda può muovere davvero. Alzare la capitalizzazione oggi non si può. Riscrivere oggi i punti chiave dei risultati in testo piano e cifre leggibili, sì.
È il punto che di tutto lo studio mi ha sollevato di più.
Il dato sull’attenzione degli investitori punta nella stessa direzione: ciò che le persone leggono e citano molto regge meglio anche dal lato del modello.
Il paradosso: più l’azienda è grande, più le si inventa addosso
Qui la buona notizia si ferma. Con aziende più grandi ed esercizi più recenti, le allucinazioni aumentavano.
Allucinazione qui significa che il modello risponde con un fatto che non esiste, e lo fa con assoluta sicurezza. Quando capita ai vostri numeri, qualcuno da fuori li cita senza verificare.
Con più materiale intorno, il modello smette di tacere e assembla qualcosa di verosimile. È lo studente che ha ripassato di più una materia e proprio per questo riempie ogni spazio con errori sicuri di sé invece di lasciarlo in bianco.
Una grande azienda quindi ha più probabilità di essere insieme conosciuta bene e citata a sproposito.
«L’IA su di noi è precisa, quindi siamo a posto» non regge.
Come leggerlo da fuori degli Stati Uniti
Il perimetro sono i dati finanziari di società quotate statunitensi. Se si estenda ad altre aree linguistiche, a società non quotate o a informazioni aziendali non finanziarie, questo studio non lo dimostra.
Anche l’indicatore di leggibilità è costruito sulle caratteristiche dei documenti depositati presso l’autorità di vigilanza statunitense. Un altro regime informativo non regge necessariamente lo stesso metro.
I modelli valutati e l’insieme delle domande sono quelli del momento della pubblicazione: se il quadro tenga dopo gli aggiornamenti va riverificato.
Poste tutte e tre le riserve, una cosa viaggia comunque: la leva che l’azienda tiene in mano è la leggibilità di ciò che pubblica.
mettete i vostri numeri dove un modello possa leggerli
Per iniziare basta un’azione. Aprite la pagina che porta i vostri risultati e le vostre cifre e guardate se un modello riuscirebbe a leggerla.
Gli importi e le quantità sono intrappolati dentro immagini o grafici? L’esercizio e le unità sono scritti come testo nel corpo? Sistemare questi due punti cambia già il materiale disponibile.
Insieme a questo, prendete l’abitudine di verificare le risposte più volte e su più modelli. Che i vostri numeri escano giusti in una singola esecuzione non esclude che il paradosso di sopra sia ancora all’opera.
Essere conosciuti bene e non essere inventati. Due verifiche distinte: è questo da portarsi a casa.
Fonti
- Agam Shah e altri quattro coautori (Georgia Institute of Technology), “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, pubblicato nel 2025, accettato a COLM 2025, arxiv.org (oltre 197.000 domande sui dati finanziari di società quotate statunitensi, ogni risposta confrontata con le cifre ufficiali. L’accuratezza cresceva con la capitalizzazione di mercato, l’attenzione degli investitori al dettaglio e istituzionali e la leggibilità dei documenti, e calava per gli esercizi più vecchi. I tassi di allucinazione crescevano per aziende più grandi ed esercizi più recenti. Il perimetro è limitato ai dati finanziari di società quotate statunitensi; l’indicatore di leggibilità è costruito sui depositi presso l’autorità di vigilanza statunitense; i modelli valutati e l’insieme delle domande sono quelli del momento della pubblicazione.)
