“ChatGPT o Claude, ¿cuál es mejor?”
Cada vez que una empresa va a meter IA en su trabajo, aparece esta pregunta. Casi siempre.
Cada proveedor jura que el suyo es el mejor. Y las tablas de puntuaciones están ahí, una al lado de otra.
Pero con la nota delante, sigues sin poder decidir.
Porque en cuanto bajas al uso real, la cosa cambia. Dos modelos que en el ranking salen empatados arriba pueden comportarse muy distinto: uno te da una salida estable y el otro, según el día, se desvía.
A esa sensación incómoda le entró de frente una línea de investigación de Microsoft Research: Physics of Language Models.
Es un trabajo en curso desde 2023 que se dedica, básicamente, a rehacer la pregunta de cómo deberíamos medir la capacidad de una IA.
Y su mensaje central es sencillo. Los rankings de rendimiento de hoy se malinterpretan con mucha facilidad si no miras el diseño de la prueba.
Los benchmarks de hoy mezclan entender con acertar de memoria
Empecemos por lo básico. Un benchmark es un examen común para comparar modelos. Les das los mismos problemas, calculas el porcentaje de aciertos y los ordenas.
El problema llega cuando esos problemas están escritos en lenguaje natural.
Porque ahí se cuelan demasiadas variables. El vocabulario, el contexto, la forma de formular la pregunta, el déjà vu de algo que el modelo ya vio durante su entrenamiento.
Y con todo eso mezclado, cuesta separar dos cosas muy distintas: si el modelo entendió de verdad, o si solo encajó la respuesta en un molde que le sonaba.
Aquí aparece un sospechoso incómodo: la fuga de datos (data leak).
Es lo que pasa cuando el material de evaluación se filtra en los datos de entrenamiento. El modelo ya ha visto el examen. Y entonces la nota sube por encima de su capacidad real.
Physics of Language Models atacó este lío desde la raíz: cambiando la forma de fabricar el examen.
Un examen “imposible de copiar”: por eso recurrieron a una CFG
El equipo hizo algo poco intuitivo. En lugar de usar lenguaje natural, usó datos sintéticos.
Es decir, un examen en el que quien pregunta controla todas las condiciones. Nada de material que ande suelto por internet.
Y dieron un paso más. Para generar los problemas se apoyaron en una CFG (gramática libre de contexto), que no es más que un conjunto de reglas gramaticales con las que se construyen las frases.
¿Y qué ganan con eso? Que pueden rastrear, en cada respuesta correcta, qué comprensión estructural la produjo.
Con ese diseño consiguen separar de forma bastante limpia las dos cosas de antes: si el modelo resolvió el problema porque entendió la estructura, o si fue puro emparejamiento de patrones.
Es la misma lógica de un experimento de física. Cambias una variable cada vez para poder rastrear la causa y el efecto.
De ahí el nombre de la serie.
Lo que le sirve a un marketer no es la nota, es el diseño de la medición
Hasta aquí puede parecer una conversación entre investigadores. Pero en el trabajo del día a día es justo al revés: importa, y mucho.
Al elegir IA, lo que conviene mirar no es solo “qué modelo sacó qué nota”. Es “bajo qué condiciones de medición salió esa nota”.
Y esto pesa especialmente en un caso concreto. Si tu trabajo está lleno de contexto de marca y de jerga del sector, la precisión depende de si el diseño de la prueba se parece a tus datos reales.
Por eso, para juzgar si una IA encaja en lo tuyo, lee las condiciones de evaluación, no la tabla de clasificación.
Si te saltas esa parte, es fácil acabar pensando, ya con la herramienta dentro: “esto no era lo que me habían vendido”.
Antes de comparar IAs, mira el diseño de la prueba, no la nota
Recapitulando: lo más arriesgado al comparar modelos es mirar solo la nota y zanjarlo con un “este es el más fuerte”.
Lo que enseña toda esta línea de investigación es otra cosa. Una nota solo se puede leer junto a tres cosas: el diseño de la prueba, cómo se crearon los datos y cómo se trataron los fallos.
Así que, cuando compares proveedores, no te quedes en la tabla. Revisa las condiciones de evaluación, si los resultados son reproducibles y qué tipo de fallos se produjeron.
Y para tu validación interna, hay un truco sencillo. Fija unas pocas preguntas realistas de tu negocio y mide varios modelos de forma repetida, siempre en las mismas condiciones.
Con eso dejas de ir a remolque de la clasificación de turno.
La nota no miente, pero tampoco habla sola. Habla contigo solo cuando sabes cómo se hizo el examen.
Fuentes
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, ICML 2023, arXiv:2305.13673
- Physics of Language Models (sitio de la serie), physics.allen-zhu.com
