Le preguntas a ChatGPT por tu propia empresa y lo que vuelve está casi bien.
El año de fundación baila uno arriba. El producto estrella aparece descrito como era hace dos reposicionamientos.
Y todo eso está escrito, tal cual, en tu página de «quiénes somos».
A Hex-ko también le pasó. Pegó en el chat el texto corporativo de una empresa y preguntó por el año de fundación.
La respuesta llegó con toda la seguridad del mundo. Y con un año que no era el que acababa de darle.
Pero lo raro viene al darle la vuelta a la pregunta. Describe tu empresa con precisión (el sector, la especialidad, el tipo de cliente) y pregunta de qué empresa se trata.
Una persona diría «ah, eso suena a fulanito». El modelo se queda callado.
«Pero si lo tiene delante», piensas. Y sí, lo tiene.
Hay un hueco, entonces, entre lo que está en los datos de entrenamiento y lo que sale por la boca del modelo. Y hay un grupo de investigadores que fue a por ese hueco con un experimento deliberadamente artificial.
Personas inventadas, memorizadas a propósito
La serie se llama Physics of Language Models y la firman Zeyuan Allen-Zhu y sus colegas en Meta FAIR.
El nombre ya lo dice todo. La física sacó sus leyes de experimentos pelados, así que hagamos lo mismo con los modelos: condiciones controladas, y no lo que haya tirado por internet.
Lo ingenioso está en que escribieron un montón de biografías de personas que no existen.
Con famosos de verdad nunca puedes descartar que el modelo haya visto la respuesta en otro sitio. Con personas inventadas sabes exactamente qué sabe: las biografías que le diste, y nada más.
Luego lo entrenaron con esas biografías y le fueron preguntando por ellas: cumpleaños, dónde trabaja, ese tipo de cosas.
Además, iban cambiando las condiciones para ver cuántas veces acertaba en cada caso.
Lo tiene guardado, pero no lo saca
Y el primer resultado es el que más sorprende. Cuando cada biografía estaba escrita con una única plantilla limpia, el modelo apenas sabía responder preguntas sobre ella.
¿Qué quiere decir aquí «extracción»? Poder sacar un dato memorizado a demanda, cuando alguien lo pregunta.
Memorizar lo había memorizado, la información estaba dentro. Pero no venía cuando la llamabas.
Es esa sensación de tener el nombre en la punta de la lengua. Lo sabes y no sale.
A Hex-ko le recordó a lo del año de fundación. El dato estaba delante y aun así salió otro.
¿Y qué hace que salga? Lo que sí movía la aguja, según el equipo, era la variedad de redacción en el momento de aprender.
El mismo dato con otro orden de palabras, con otra frase, en otro contexto. Visto así una y otra vez, el modelo contesta la versión en forma de pregunta sin despeinarse.
Y al revés. Si la redacción se quedaba en un único molde, la precisión al extraer casi no mejoraba, por mucho entrenamiento extra que le metieran después.
Que un dato se pueda recuperar se decide, en gran parte, en el momento en que se aprende.
La búsqueda «al revés» es su gran punto débil
La continuación de la serie mira qué sabe hacer el modelo con el conocimiento que ya tiene. Y ahí aparecen usos fáciles y usos que fallan de forma estructural.
El fácil es la consulta directa. «¿Cuándo nació A?»: coge el dato guardado, lo entrega, listo.
Pero en cuanto hay que poner varios datos uno al lado del otro, para clasificarlos o compararlos, la precisión se desploma. Salvo que le dejes escribir los pasos intermedios.
De hecho, el peor caso era la búsqueda inversa. Le das los rasgos y le preguntas de quién son: el rendimiento estaba prácticamente en cero.
Hacia delante funciona. Hacia atrás se cae entero, como una puerta que solo abre por un lado.
Y esto no cambiaba ni en modelos del nivel de GPT-4.
«Saberlo» y «poder decirlo» no son lo mismo ahí dentro
Puestos en fila, los resultados dibujan una línea clara. Para un modelo, tener un conocimiento y poder sacarlo son dos propiedades distintas, no la misma cosa con dos nombres.
Para nosotros no funciona así, y por eso el error es tan fácil de cometer. Si lo sabes, lo dices cuando te preguntan.
De ahí saltamos a pensar que «está en los datos de entrenamiento» equivale a «la IA puede responderlo». La realidad es que este trabajo le pone una raya a esa suposición.
La palanca, y esto es lo que conviene guardarse, es en cuántas formas distintas apareció el dato.
El modelo no memoriza una frase tal cual. Aprende mejor el hecho que reaparece bajo muchas redacciones, y esa es la versión que sabe devolver.
Es decir, no manda solo el volumen de exposición. También manda su variedad.
Conclusión: no dejes que una sola frase cargue con todo
¿Y qué significa esto para quien lleva una marca?
Lo primero es que tus datos importantes tienen que existir ahí fuera en varias voces y varios contextos. Una línea correcta en la ficha corporativa no es la meta.
Notas de prensa, artículos que expliquen tu sector, páginas de preguntas frecuentes, terceros que te mencionen.
Que el mismo dato aparezca vestido de formas distintas es, según esta investigación, la condición para que se vuelva conocimiento recuperable y no texto muerto.
Lo segundo es tener presente lo de la búsqueda inversa. Ahí entran preguntas como «¿qué empresas hacen esto?» o «¿quién destaca en el sector por aquello?».
Ese es justo el sentido en el que el modelo flojea, aunque tú encajes en la descripción.
Por eso sale más a cuenta reforzar la exposición que une tu nombre directamente con el rasgo, en vez de esperar a que la IA llegue sola hasta ti.
Y encima de todo eso va una costumbre poco lucida pero decisiva: comprobar en vez de suponer.
Qué es capaz de decir un modelo sobre ti, y con qué formulaciones, no se deduce desde fuera. Se mide, se cambia la forma de sacar los datos, y se vuelve a mirar si mejora.
Ese es el paso que separa que la IA te conozca de que la IA hable bien de ti.
