En una demo alguien suelta «usamos el modelo más reciente» y todo el mundo asiente.
Es normal. Pones dos herramientas en una tabla comparativa y el ojo se va solo al número más grande.
A Hex-ko también le pasa.
Pero el tamaño resulta ser una variable bastante más rara de lo que sugiere la ficha técnica. Importa, sí. Solo que no importa solo, y no siempre en la dirección que imaginas.
Todo esto se ordena con una idea: las leyes de escalado. Hay tres investigaciones: OpenAI, DeepMind y un equipo de Google Research.
Juntas te dan una forma decente de leer cualquier promesa de rendimiento. Vamos a verlas.
Hacer la IA más grande funciona, y es sorprendentemente regular
El punto de partida es un trabajo de 2020 de Kaplan y su equipo en OpenAI, «Scaling Laws for Neural Language Models».
Ahí la pérdida de un modelo de lenguaje sigue una ley de potencias. ¿Respecto a qué? Al tamaño del modelo. Al tamaño del conjunto de datos. Y al cómputo de entrenamiento.
Vamos por partes. La pérdida es el error del modelo al predecir el siguiente trozo de texto.
Y una ley de potencias significa que la relación es regular. Subes una de esas tres cosas y el error baja. De forma previsible, no por suerte.
La relación se mantuvo a lo largo de más de siete órdenes de magnitud. El exponente de escalado ronda el 0,076 para el tamaño del modelo y el 0,095 para el conjunto de datos. Y los modelos grandes llegaban a la misma pérdida con menos datos.
Los exponentes, en tu trabajo, dan igual. Lo que no da igual es lo que implican: la mejora por escala se puede estimar de antemano.
Y eso es lo que convirtió «hazlo más grande» en un plan y no en una esperanza.
Pero un modelo grande y mal alimentado se queda corto
La corrección llegó rápido. En 2022, Hoffmann y su equipo en DeepMind publicaron el famoso artículo de Chinchilla, «Training Compute-Optimal Large Language Models».
Entrenaron más de 400 modelos de lenguaje. De 70 millones a 16.000 millones de parámetros. Y entre 5.000 y 500.000 millones de tokens.
Un token es la pieza con la que la IA mastica texto. Más o menos una palabra, o un trozo de palabra.
¿Y qué salió? Esto:
Con el mismo presupuesto de cómputo, modelo y tokens deben crecer a la par.
Más o menos así: si doblas el modelo, doblas los datos de entrenamiento.
Chinchilla se entrenó así, con 70.000 millones de parámetros. Y superó a los modelos existentes en un amplio abanico de tareas de evaluación.
Entre ellos Gopher, cuatro veces mayor: 280.000 millones de parámetros.
La imagen que mejor lo explica: el fichaje con un currículum espectacular y cero horas de campo.
El cargo de la tarjeta es real. La experiencia práctica todavía no. Y se nota justo en las situaciones para las que lo contrataste.
Hay dos motivos distintos para que una IA deje de mejorar
Falta una pieza, y es la que más rentabilidad da en una reunión.
Bahri y su equipo fueron a por el porqué. Es decir: qué produce estas leyes de escalado. Están en Google Research y en la Johns Hopkins University.
La respuesta está en un artículo de 2024 en PNAS, «Explaining Neural Scaling Laws».
Ahí se separan dos orígenes del escalado:
- Variance-limited: el cuello de botella es el ruido estadístico de tener una muestra finita de datos.
- Resolution-limited: el cuello de botella es la capacidad del propio modelo para representar el mundo con suficiente detalle.
En otras palabras: ¿la respuesta baila porque faltan datos, o porque el modelo no ve con suficiente resolución? Mismo síntoma, remedio distinto.
Y aquí es donde uno mete la pata. Cuando una herramienta de IA responde flojo sobre tu sector, la reacción inmediata es «cambiemos a un modelo más potente».
Pero podría ser que los datos de evaluación estuvieran sesgados. O que a la herramienta nunca le llegara el contexto que hace la pregunta respondible. Cambiar de modelo no arregla ninguna de las dos.
Qué mirar en lugar del nombre del modelo
¿Y esto en qué te cambia el día si llevas marketing o marca?
Sobre todo en una cosa: deja de aceptar que el nombre del modelo sostenga solo todo el argumento de rendimiento.
Por supuesto, las leyes de escalado son un hallazgo general sobre el entrenamiento, no un veredicto sobre una herramienta concreta. De aquí en adelante conviene leerlas como una pista para diseñar la evaluación, no como prueba directa de nada.
Aun así, cuando usas IA para ver cómo se habla de tu marca, lo que compras no es «una respuesta lista en general».
Quieres respuestas que aguanten en tu categoría. Frente a tus competidores, con el contexto de tus clientes.
Y por eso el rendimiento general y el ajuste al uso se puntúan por separado.
Tres cosas que conviene separar en la próxima demo:
- qué modelo hay debajo
- con qué datos y qué contexto se hizo la evaluación
- qué métrica cuenta como buena o mala para ese uso
Conclusión: pregunta qué se midió, no qué modelo lo hizo
Las leyes de escalado dicen que, en general, más grande tiende a ir mejor. Pero Chinchilla enseñó que la eficiencia se rompe cuando tamaño y datos se desequilibran.
Y el trabajo de PNAS añade otra cosa: un estancamiento puede venir de datos escasos o de capacidad limitada. Dos problemas distintos, arreglos distintos.
Así que «es el modelo más nuevo» es un criterio bastante burdo.
La pregunta que sí cambia tu decisión no es qué modelo usa la herramienta. Es con qué datos se probó, qué se midió y hasta dónde se verificó.
En investigación de marca eso significa una cosa: comprobar si responde con sentido sobre tu categoría y tus comparables, no si escribe un buen soneto.
Así que la próxima vez que mires una comparativa, no te quedes en la columna de «qué IA». Sigue leyendo hasta «con qué datos» y «qué se midió».
Fuentes
