“Cuando la IA responde, ¿de verdad ha entendido algo?”
Si usas IA en el trabajo, esta duda no te la quitas de encima. La respuesta sale fluida, pulida. Pero ¿ha entendido lo que dice, o solo lo ha dejado bonito?
Y cuanto mejor escribe, más sospechas. Le pides un borrador de campaña o una nota de análisis, te lo clava… y justo ahí piensas: “¿esto es comprensión o es puro relleno con buena cara?”.
No es una manía. Esa duda decide hasta dónde le sueltas la mano a la herramienta. Y eso, al final, es la decisión de qué modelo eliges.
En el artículo anterior de la serie hablamos de Physics of Language Models, la línea de Microsoft Research que rehace la pregunta de cómo medir una IA. Hoy nos metemos en una parte concreta: qué se ve cuando miras lo que pasa dentro del modelo mientras lee.
Cuando sigues los “estados internos”, aparece el plano de la frase
El equipo —Zeyuan Allen-Zhu y Yuanzhi Li— no probó el modelo con texto suelto de internet. Usó datos sintéticos de estructura controlada: frases fabricadas con reglas claras, donde se sabe exactamente qué se está midiendo. Así puedes seguir la pista de si el modelo entendió o no.
Lo que miraron fueron los estados internos (hidden states): la representación que el modelo va construyendo y guardando mientras lee la frase. Es, más o menos, su libreta de apuntes mientras procesa.
¿Y qué encontraron al revisar esa libreta? Que ante una frase con cláusulas anidadas —frases dentro de frases—, el modelo reconstruía por dentro una jerarquía de relaciones.
Es decir, no trataba la frase como una fila plana de palabras. Manejaba su estructura: el plano de cómo encajan las piezas, no solo el orden en que aparecen.
El recorrido de la atención se parecía a “resolver por partes”
Lo siguiente fue ver cómo armaba ese plano. Para eso rastrearon la atención, el mecanismo con el que el modelo decide a qué partes de la frase mirar en cada momento.
Y el patrón de atención recordaba a la programación dinámica: una técnica que parte un problema grande en subproblemas, los resuelve y reutiliza esos resultados intermedios en vez de empezar de cero cada vez.
¿Qué significa eso en cristiano? Que el modelo no iba “a ver si acierto”. Por dentro montaba un orden de operaciones: primero esto, luego aquello, apoyándose en lo ya resuelto.
Y ahí está el centro del asunto. Un sistema que solo encaja patrones no necesita un orden interno. Que aparezca uno es justo el rastro de que hay algo más cerca de “entender” que de “adivinar con buena puntería”.
El diseño del modelo cambia la profundidad de lo que entiende
Pero cuidado: no todos los modelos hacen esto igual de bien. La forma en que están construidos por dentro cambia, y mucho, la profundidad de esa comprensión estructural.
Un ejemplo claro está en cómo el modelo maneja la posición de cada palabra. Los diseños que usan posición relativa —del estilo de RoPE, que codifica “a qué distancia está una palabra de otra” en lugar de un número fijo— salían mejor parados en estas pruebas.
Y hay otro contraste que conviene mirar. Al comparar dos familias de modelos, una tipo GPT (que lee de izquierda a derecha) y otra tipo BERT (con más restricciones sobre cómo accede al texto), en varios casos el diseño más restringido mostraba una comprensión de la estructura más profunda.
¿La lectura práctica? Que dos modelos “empatados” en una tabla no son intercambiables. Por dentro pueden estar trabajando de formas muy distintas. Y esa diferencia de diseño se nota justo donde aprieta tu caso de uso, no en la media.
Conclusión: fíjate en el diseño y en cómo falla, no en la cara que pone la respuesta
Si te llevas una sola idea, que sea esta: que una respuesta parezca segura y bien escrita no garantiza que por dentro haya un procesamiento estable.
Cuando el texto sale limpio, dan ganas de fiarse. Pero hasta que no ves por dónde se rompe —en un texto largo, en una comparación, en una condición con varios “si esto, entonces aquello”—, no sabes si esa IA aguanta tu trabajo de verdad.
Así que, al comparar modelos, no te quedes con el porcentaje de acierto. Apunta también qué tipo de preguntas falló cada uno. Esa lista vale más que la nota global.
Y cuando un proveedor te lo venda, dale la vuelta a la conversación. Pregunta menos por los casos de éxito de catálogo y más por dos cosas: en qué condiciones flojea el modelo y bajo qué condiciones se hizo la prueba.
Luego, antes de adoptarlo, pásale tus propias tareas y repite la prueba en tu contexto. Esa distancia —probar en tu terreno, no en el del folleto— es la que separa una buena decisión de un “esto no era lo que me habían contado”.
Fuentes
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, ICML 2023, arXiv:2305.13673
- Physics of Language Models (sitio de la serie), physics.allen-zhu.com
