“Vale, ¿hasta dónde de mi sector puedo dejarle a la IA?”
Cuanto más usas la IA, más pesa esa pregunta. Le cargas las especificaciones de tu producto y el saber del sector, y la respuesta que vuelve no da en el clavo.
A Hex-ko le pasó igual: empezó pensando “le doy los datos y ya responderá”. En la práctica, lo que se repite es “debería saberlo y no lo suelta”.
Quien desmonta ese desajuste con experimentos controlados es Physics of Language Models, la Part 3 (de la 3.1 a la 3.3).
La idea clave: hay tres muros distintos. Cómo se lo enseñas, cómo se lo preguntas y cuánto cabe dentro.
Muro 1: un dato con una sola forma de decirlo no cuaja
El primer hallazgo es de los prácticos. La IA recupera peor un mismo dato cuando solo aparece con una redacción fija.
Los investigadores usaron datos sintéticos de biografías y compararon dar el mismo dato una vez o repetirlo con frases y órdenes distintos.
El resultado fue limpio: con una sola forma, la precisión apenas se movía; al mezclar paráfrasis y reordenaciones, la precisión de recuperación subía.
Por eso “meto el texto original una vez en el RAG y listo” se queda corto. Una versión resumen, una versión FAQ, una versión en viñetas: presentar lo mismo desde varios ángulos es lo que funciona.
Muro 2: dale la vuelta a la pregunta y la precisión se desploma
El segundo muro es la dirección desde la que preguntas. El modelo resuelve bien una pregunta directa, pero con una la precisión tiende a caer.
Piensa en “¿En qué universidad estudió A?”, que contesta fácil, frente a “¿Quién estudió en tal universidad?”, donde se atasca. Mismo dato, dirección contraria.
Esto muerde en silencio en atención al cliente y en recomendación de producto. Cuando las preguntas reales empiezan por la condición y no por el sujeto, se te escapan respuestas si no lo diseñas.
Muro 3: hay un techo en cuánto puede saber
El tercer muro es la capacidad. La Part 3.3 muestra una ley de escala que relaciona el número de parámetros con la cantidad de conocimiento que un modelo puede retener.
En corto: más grande no significa memoria infinita. Subir el tamaño del modelo aumenta la capacidad, pero va pegado al coste.
Por eso, en vez de apostarlo todo a embutirlo todo dentro del modelo, repartir el trabajo en un montaje RAG y un alcance bien acotado empieza a pesar mucho.
Conclusión: arranca tu RAG por “más formas de decirlo” y “reescribir la pregunta”
Cuando la IA no responde con un conocimiento que tú le diste, saltar directo a “el modelo es flojo” es precipitado. Como muestra este estudio, el problema no es solo cuánto sabe: es si la forma con la que está guardado y la forma con la que pregunta el usuario encajan.
En RAG y en bases de conocimiento internas, no registres un dato clave como una sola frase. Guárdalo en varias formas: resumen, FAQ, viñetas. Y cuando una pregunta real falle, reescríbela como una confirmación directa y vuelve a consultar. Estos ajustes poco vistosos suelen rendir antes que cambiar de modelo.
Fuentes
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.1, Knowledge Storage and Extraction”, arXiv:2309.14316, 2023. Enlace al paper
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.2, Knowledge Manipulation”, arXiv:2309.14402, 2023. Enlace al paper
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws”, ICLR 2025. Enlace al paper
- Physics of Language Models (sitio de la serie): physics.allen-zhu.com
Artículo relacionado
- Cuando le pides a la IA que “razone”, ¿de verdad razona? — el alcance real y los límites del razonamiento
