«Le he preguntado a la IA por la ficha de la empresa y las cifras estaban mal»
¿Te ha llegado alguna vez ese aviso?
Hex-ko lo despachaba con una explicación cómoda: el modelo dejó de aprender antes de eso, normal que no lo sepa.
Salvo que aquel día el dato que bailaba era de hacía tres años y llevaba publicado desde entonces.
Si lo antiguo es justo lo que un modelo debería tener bien fijado, ¿por qué acierta con unas empresas y falla con otras?
Alguien lanzó más de 197.000 preguntas sobre cotizadas estadounidenses y comparó cada respuesta con los datos oficiales.
¿Hasta qué punto conoce la IA los resultados de una empresa?
Depende del tamaño de la empresa y de lo legible que sea su información publicada.
Agam Shah y otros cuatro autores del Georgia Institute of Technology preguntaron a varios modelos más de 197.000 cuestiones sobre datos financieros de cotizadas estadounidenses y las cotejaron una a una con las cifras oficiales (publicado en 2025, aceptado en COLM 2025, arXiv:2504.00042).
Las empresas grandes, las que despiertan más interés inversor y las que redactan documentos más llanos recibían respuestas más precisas.
El mismo estudio encontró que, cuanto mayor la empresa y más reciente el ejercicio, más subía la probabilidad de que el modelo se inventara cifras con total aplomo.
Que te conozcan bien y que no se inventen cosas sobre ti son dos cosas distintas.
Volver a medir el supuesto «si es anterior al corte, lo sabe»
La fecha de corte del entrenamiento marca hasta cuándo llega el material que aprendió el modelo. Que flaquee con lo posterior a esa línea es sabido.
Lo que midió este estudio es lo que queda antes de la línea.
El método no tiene misterio. Construir más de 197.000 preguntas sobre partidas financieras de cotizadas estadounidenses y contrastar cada respuesta con el dato oficial.
Después, mirar cómo se mueven con la precisión cuatro señales: capitalización bursátil, interés del inversor minorista, interés del inversor institucional y legibilidad de los documentos.
Lo primero que se rompió fue el supuesto de que todo lo anterior a la línea está sabido. Cuanto más antiguo el ejercicio, menor la precisión.
Lo que marcaba la diferencia era el tamaño y la legibilidad
Las cifras de las empresas grandes se aciertan más. Hasta ahí, lo que casi todo el mundo habría apostado.
Lo interesante es que la legibilidad de los documentos pesaba junto a la capitalización. Mismo tamaño, distinta redacción, distinto resultado.
El indicador de legibilidad viene a puntuar si el documento está escrito con frases llanas y las cifras colocadas donde se pueden leer.
Y esa sí es una variable que la empresa mueve. Subir la capitalización hoy no se puede. Reescribir hoy las claves de los resultados en texto plano y cifras legibles, sí.
Eso fue lo que más alivió a Hex-ko de todo el estudio.
El dato del interés inversor apunta en la misma dirección: la información que la gente lee y cita mucho también aguanta mejor del lado del modelo.
La paradoja: cuanto más grande la empresa, más se la inventan
Aquí es donde deja de ser una buena noticia limpia. Con empresas mayores y ejercicios más recientes, las alucinaciones aumentaban.
Alucinación significa aquí que el modelo responde con un hecho que no existe y lo hace con la mayor seguridad. Cuando le pasa a tus cifras, alguien de fuera las cita sin dudar.
Con más material alrededor, el modelo deja de callarse y monta algo verosímil. Como el estudiante que más ha empollado una asignatura y por eso rellena todos los huecos con errores seguros de sí mismos en vez de dejarlos en blanco.
O sea que una empresa grande tiene más papeletas para que la conozcan bien y para que le atribuyan cifras inventadas.
«Como somos grandes, la IA nos tiene fichados, así que tranquilos» no se sostiene.
Cómo leer esto desde fuera de Estados Unidos
El alcance son los datos financieros de cotizadas estadounidenses. Si se extiende a otros mercados lingüísticos, a empresas no cotizadas o a información corporativa no financiera, este estudio no lo demuestra.
El indicador de legibilidad también está construido sobre las características de los documentos que se presentan al regulador estadounidense. Otro régimen de información no tiene por qué admitir la misma vara de medir.
Los modelos evaluados y el conjunto de preguntas son los del momento de publicación, así que conviene volver a comprobar si el patrón aguanta tras las actualizaciones.
Con las tres reservas puestas, algo sigue viajando: la palanca que controla la propia empresa resultó ser la legibilidad de lo que publica.
coloca tus cifras donde un modelo pueda leerlas
Con una acción basta para empezar. Abre la página que recoge tus resultados y tus cifras y mira si un modelo podría leerla.
¿Los importes y los volúmenes están atrapados dentro de imágenes o gráficos? ¿El ejercicio y las unidades están escritos como texto en el cuerpo? Arreglar esas dos cosas ya cambia el material disponible.
Y conviene coger la costumbre de comprobar las respuestas varias veces y en varios modelos. Que una ejecución devuelva bien tus cifras no descarta que la paradoja siga actuando.
Que te conozcan bien y que no te inventen. Son dos comprobaciones distintas: eso es lo que hay que llevarse.
Fuentes
- Agam Shah y otros cuatro autores (Georgia Institute of Technology), “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, publicado en 2025, aceptado en COLM 2025, arxiv.org (más de 197.000 preguntas sobre datos financieros de cotizadas estadounidenses, cada respuesta cotejada con las cifras oficiales. La precisión aumentaba con la capitalización bursátil, el interés inversor minorista e institucional y la legibilidad de los documentos, y caía en los ejercicios más antiguos. Las tasas de alucinación aumentaban en empresas mayores y ejercicios más recientes. El alcance se limita a datos financieros de cotizadas estadounidenses; el indicador de legibilidad está construido sobre documentos presentados al regulador estadounidense; los modelos evaluados y el conjunto de preguntas son los del momento de publicación.)
