«El modelo nuevo es más listo». Habrás oído esa frase cuatro veces este año, ¿a que sí?
A Hex-ko le pasa lo mismo: asiente, y dos segundos después no sabría decir a qué se refiere ese «más listo».
El resultado sí se ve: mejores respuestas, mejores notas. Lo de en medio, el tramo en el que la IA se está volviendo más lista, sigue cerrado.
Pero hay quien ha empezado a mirar justo ese tramo. No abrir en canal un modelo terminado, sino seguirlo mientras crece.
Y lo que sale es curioso: las piezas de dentro se van repartiendo el trabajo durante el entrenamiento.
«Vale, ¿pero qué pasa ahí dentro mientras aprende?»
El artículo central es de Timaeus, un centro de investigación, y entró como Spotlight en ICLR 2025: «Differentiation and Specialization in LLMs» (estudio).
Lo que miraron fue una pieza llamada cabeza de atención. Es el trocito que decide en qué palabras se fija la IA cuando lee una frase, y en un solo modelo hay muchísimas apiladas.
¿Y qué tienen de interesante? Su aspecto al principio del entrenamiento.
Nada más empezar, todas se comportan más o menos igual. Apenas hay diferencia entre unas y otras.
En el estudio llaman a ese estado «no diferenciado». Con el entrenamiento, esas mismas cabezas se van separando en papeles distintos. Un crecimiento bastante formalito, la verdad.
Como un óvulo fecundado que se convierte en órganos
Eso de «al principio todo igual y luego cada uno a lo suyo» te suena de algo, ¿no?
Claro: es el desarrollo de los seres vivos. Un óvulo fecundado se divide una y otra vez hasta que unas células acaban siendo corazón y otras, nervio.
Con las piezas de la IA pasa parecido. Imagina una hornada de novatos que el primer día son indistinguibles y que, tras la formación, acaban unos en comercial y otros en contabilidad.
¿Y en qué se especializan de verdad las cabezas ya diferenciadas? Se observaron papeles como estos:
- El más simple, predecir la palabra siguiente a partir de la anterior (bigram, la relación entre dos palabras seguidas)
- Localizar un patrón que apareció antes y volver a aplicarlo (induction, repetir una regla del contexto)
Y además apareció algo que no estaba descrito: los «circuitos multigram», que manejan patrones algo más complejos.
Ese es el premio por seguir el entrenamiento paso a paso. Estructura que mirando el modelo acabado no se ve.
¿Y cómo se mide que una pieza «se ha hecho»?
Aquí es normal preguntarse: ¿cómo demonios se mide el reparto de papeles dentro de un modelo? Pues esa es la clave del trabajo.
Usaron un indicador basado en la teoría del aprendizaje singular, el marco matemático que construyó Sumio Watanabe para analizar con rigor el aprendizaje de modelos que la estadística de siempre lleva mal, como las redes neuronales.
Aplicando ese indicador cabeza por cabeza, se obtiene un número para «cuánto se ha construido esta pieza hasta ahora».
Y ahora lo importante: este cambio interno no se ve mirando solo la nota de la IA.
La lista de un modelo en entrenamiento se mide por cómo baja el error de test (la pérdida). Pero incluso cuando esa curva baja suave y sin sobresaltos, dentro está ocurriendo un cambio estructural por etapas: el reparto de papeles.
Es decir, en lugar de analizar en frío un modelo terminado, se siguen los cambios a lo largo del eje temporal del entrenamiento. El estudio llama a esta mirada .
Dicho de otra forma: a la investigación sobre el interior de la IA se le añade un eje más, el del tiempo.
Conclusión: pregunta si esa IA se puede explicar, no solo cuánto puntúa
Lo que enseña este trabajo es que la inteligencia de una IA no se acumula de forma lisa. Es un proceso por etapas en el que las piezas de dentro van recibiendo su papel.
Piezas que empezaron siendo indistinguibles acaban convertidas en especialistas, y eso ya se puede observar en un sitio distinto del marcador. Es un avance bastante gordo.
Por supuesto, aquí se comprobó en modelos pequeños, de unas dos capas. No se puede afirmar sin más que lo mismo ocurra en los modelos gigantes. Conviene descontarlo.
Pero lo que merece la pena llevarse, como responsable de marketing o de decisiones, es otra cosa: la premisa de que «la IA es una caja negra, así que solo queda juzgarla por su puntuación final» está empezando a resquebrajarse.
Si crece la investigación capaz de preguntar qué pasa dentro, también crece la posibilidad de comprobar por qué una IA decidió lo que decidió.
Así que, cuando toque evaluar o elegir una IA, no te tragues solo la puntuación que te enseñan. «¿Alguien sabe explicar lo que hay dentro?» es una pregunta que cada año pesa más, y guardarla en el bolsillo no cuesta nada.
Mira que asomarse a cómo crece una IA daba de sí. A Hex-ko le ha cambiado un poco la mirada, la verdad. Si te ha picado la curiosidad, empieza por lo pequeño: la próxima vez que una respuesta te sorprenda, párate y pregúntate por qué salió esa.
Fuentes
- Timaeus Research, «Differentiation and Specialization in LLMs», ICLR 2025 (Spotlight), 2024, enlace
