«Ho chiesto all’IA la scheda aziendale e i nostri numeri erano sbagliati»
Vi è mai arrivata questa segnalazione?
La liquidavo con una spiegazione comoda: il modello ha smesso di imparare prima, ovvio che non lo sappia.
Quel giorno il numero che ballava era di tre anni prima ed era pubblico da allora.
Se è proprio il vecchio che un modello dovrebbe avere ben fissato, perché con un’azienda ci prende e con la successiva no?
Qualcuno ha posto oltre 197.000 domande su società quotate statunitensi e ha confrontato ogni risposta con i ricavi registrati nella banca dati Compustat di S&P Global.
Quanto conosce l’IA i risultati di un’azienda?
Dipende dalla dimensione dell’azienda e da quanto sono leggibili i documenti che pubblica.
Agam Shah e altri quattro coautori del Georgia Institute of Technology hanno posto ai modelli oltre 197.000 domande sui ricavi di società quotate statunitensi, confrontando ogni risposta una per una con la cifra di Compustat (pubblicato nel 2025, accettato a COLM 2025, arXiv:2504.00042).
Le aziende più grandi, quelle con maggiore attenzione da parte degli investitori e quelle con documenti scritti in modo più piano ricevevano risposte più accurate.
Lo stesso studio ha trovato che, al crescere della dimensione e dell’attualità dell’esercizio, saliva anche la probabilità che il modello inventasse cifre sbagliate con piena sicurezza.
Essere conosciuti bene e non essere inventati sono due cose distinte.
Rimisurare il presupposto «prima della data di taglio lo sa»
La data di taglio dell’addestramento indica fin dove arriva il materiale su cui il modello ha imparato. Che vacilli su tutto ciò che viene dopo quella linea è noto.
Quello che questo studio ha misurato è ciò che sta prima della linea.
Tutte le domande hanno la stessa forma: quali erano i ricavi di questa azienda in questo esercizio? Oltre 197.000, ogni risposta confrontata con la banca dati e considerata giusta se restava entro il 10% della cifra reale.
Poi osservare come cinque segnali — capitalizzazione di mercato, attenzione degli investitori al dettaglio, attenzione degli investitori istituzionali, download dei documenti dalla SEC e leggibilità dei documenti — si muovono insieme all’accuratezza.
La prima cosa a cadere è stata l’idea che tutto ciò che precede la linea sia saputo. Più l’esercizio è vecchio, più l’accuratezza scende.
A fare la differenza erano la dimensione e la leggibilità
I numeri delle grandi aziende vengono azzeccati più spesso. Fin qui, la scommessa di quasi tutti.
Anche la leggibilità dei documenti andava di pari passo con l’accuratezza. Ogni segnale però è stato testato da solo, quindi lo studio non dice quanto conti la leggibilità tra due aziende della stessa dimensione.
L’indicatore di leggibilità è il Bog Index, un punteggio di quanto è scritta in modo piano la relazione annuale che ogni azienda deposita presso la SEC; più è alto, più il testo è difficile da leggere.
E questa è una variabile che l’azienda può muovere davvero. Alzare la capitalizzazione oggi non si può. Riscrivere oggi i punti chiave dei risultati in testo piano e cifre leggibili, sì.
È il punto che di tutto lo studio mi ha sollevato di più.
Il dato sull’attenzione degli investitori punta nella stessa direzione: ciò che le persone leggono e citano molto regge meglio anche dal lato del modello.
Il paradosso: più l’azienda è grande, più le si inventa addosso
Qui la buona notizia si ferma. Con aziende più grandi ed esercizi più recenti, le allucinazioni aumentavano.
Allucinazione qui significa che il modello risponde con un fatto che non esiste, e lo fa con assoluta sicurezza. Quando capita ai vostri numeri, qualcuno da fuori li cita senza verificare.
Con più materiale intorno, il modello smette di tacere e assembla qualcosa di verosimile. È lo studente che ha ripassato di più una materia e proprio per questo riempie ogni spazio con errori sicuri di sé invece di lasciarlo in bianco.
Una grande azienda quindi ha più probabilità di essere insieme conosciuta bene e citata a sproposito.
«L’IA su di noi è precisa, quindi siamo a posto» non regge.
Come leggerlo da fuori degli Stati Uniti
Il perimetro sono i dati finanziari di società quotate statunitensi. Se si estenda ad altre aree linguistiche, a società non quotate o a informazioni aziendali non finanziarie, questo studio non lo dimostra.
Anche l’indicatore di leggibilità è costruito sulle caratteristiche dei documenti depositati presso l’autorità di vigilanza statunitense. Un altro regime informativo non regge necessariamente lo stesso metro.
I modelli valutati e l’insieme delle domande sono quelli del momento della pubblicazione: se il quadro tenga dopo gli aggiornamenti va riverificato.
Poste tutte e tre le riserve, una cosa viaggia comunque: la leva che l’azienda tiene in mano è la leggibilità di ciò che pubblica.
mettete i vostri numeri dove un modello possa leggerli
Per iniziare basta un’azione. Aprite la pagina che porta i vostri risultati e le vostre cifre e guardate se un modello riuscirebbe a leggerla.
Gli importi e le quantità sono intrappolati dentro immagini o grafici? L’esercizio e le unità sono scritti come testo nel corpo? Sistemare questi due punti cambia già il materiale disponibile.
Insieme a questo, prendete l’abitudine di verificare le risposte più volte e su più modelli. Che i vostri numeri escano giusti in una singola esecuzione non esclude che il paradosso di sopra sia ancora all’opera.
Essere conosciuti bene e non essere inventati. Due verifiche distinte: è questo da portarsi a casa.
Fonti
- Agam Shah e altri quattro coautori (Georgia Institute of Technology), “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, pubblicato nel 2025, accettato a COLM 2025, arxiv.org (oltre 197.000 domande sui ricavi di una società quotata statunitense in un dato esercizio, ogni risposta confrontata con i dati Compustat di S&P Global. L’accuratezza cresceva con la capitalizzazione di mercato, l’attenzione degli investitori al dettaglio e istituzionali, i download dalla SEC e la leggibilità delle relazioni annuali (Bog Index), testati ciascuno da solo, e calava per gli esercizi più vecchi. I tassi di allucinazione crescevano per aziende più grandi ed esercizi più recenti. Il perimetro è limitato ai dati finanziari di società quotate statunitensi; l’indicatore di leggibilità è costruito sui depositi presso l’autorità di vigilanza statunitense; i modelli valutati e l’insieme delle domande sono quelli del momento della pubblicazione.)