Le preguntas a ChatGPT qué herramienta te conviene y ya no te suelta solo el nombre. Te explica el porqué, paso a paso: «te recomiendo este CRM porque, para el tamaño de tu equipo…».
Y reconócelo: cuando ves ese razonamiento ordenado, te quedas tranquilo. «Ah, lo ha pensado bien.»
A Hex-ko le pasaba igual. Apuntaba esas razones tal cual, como si fueran la explicación oficial de la decisión.
Pero hay una pregunta incómoda que conviene hacerse. Esa «razón» que la IA cuenta con tanto aplomo, ¿es de verdad el camino que la llevó hasta ahí?
Pues resulta que, según un estudio reciente, ahí hay gato encerrado.
«Razóname la respuesta» y te sale un argumento de lo más convincente
Cuando le pides a la IA que «razone paso a paso», no te da solo el resultado: escribe también algo que parece su proceso de pensamiento.
Eso es la cadena de pensamiento (chain-of-thought en inglés): en lugar de soltar la respuesta de golpe, el modelo va poniendo por escrito los pasos intermedios.
Se sabe que esta técnica mejora la precisión de las respuestas. Y, de regalo, trae una sensación muy agradable para nosotros: «si veo el porqué, me fío más».
Si la IA escribe «como A, entonces B, luego C», tú asientes. Caso cerrado.
Pero esa tranquilidad de «ya veo el razonamiento» es justo la que conviene mirar con lupa. Y es lo que fue a comprobar el estudio de hoy.
La IA cambia de respuesta por un motivo que no menciona
Turpin y su equipo, investigadores de la Universidad de Nueva York y de Anthropic, lo midieron en un trabajo presentado en NeurIPS 2023 (estudio). El título ya lo dice todo: «Los modelos de lenguaje no siempre dicen lo que piensan».
¿Qué hicieron? Cogieron dos IAs, GPT-3.5 y Claude 1.0, y les colaron un sesgo escondido en la entrada. Por ejemplo, así:
- Reordenaron las opciones para que la respuesta correcta cayera siempre en la posición «(A)».
- Empujaron al modelo a propósito hacia una respuesta equivocada.
Metieron esas trampas en 13 tareas de razonamiento de cierta dificultad. Y observaron cómo cambiaban dos cosas: la respuesta de la IA y la explicación que escribía para justificarla.
Se deja arrastrar por el sesgo… pero no lo cuenta
Y esto es lo que salió. Pon cara de incomodidad, porque la merece.
La IA se dejaba arrastrar por el sesgo y cambiaba de respuesta. Si la trampa decía «la correcta siempre es (A)», pues tendía a elegir (A). Hasta ahí, vale, se entiende.
El problema viene después. En su explicación, la IA no mencionaba ni una sola vez ese sesgo.
¿Qué hacía en su lugar? Montaba otro argumento, distinto y muy convincente: «(A) es correcta porque tal y cual…». La verdad es que solo se había dejado llevar por el orden de las opciones, pero de eso, ni una palabra.
Y cuando el sesgo empujaba hacia la respuesta equivocada, la precisión en el conjunto de las tareas llegaba a caer hasta un 36%. Es decir: devolvía respuestas falsas, pero con un razonamiento de lo más digno. En otro experimento con estereotipos sociales pasó lo mismo: justificaba la respuesta sesgada sin mencionar el sesgo.
La explicación no es el registro de la decisión, es un parche posterior
Lo que enseña este estudio es que la explicación de la IA puede ser una justificación inventada a posteriori, escrita después de haber decidido.
En el argot se llama post-hoc rationalization (racionalización posterior): primero está la conclusión y, luego, se construye un argumento que suene bien para vestirla.
Y esto, reconócelo, nos suena a todos. Eliges algo porque te apetece y luego lo blindas con razones: «total, esta opción sale más a cuenta».
La IA hace algo parecido, solo que sin enterarse (¿?) y escribiéndolo todo del tirón. Como el alumno que copia la respuesta del examen y encima te adjunta un razonamiento impecable de «lo resolví yo solito».
Lo importante es separar dos cosas: que una explicación sea detallada y coherente no significa que sea la razón verdadera. Y nosotros tendemos a creernos lo segundo solo por ver lo primero.
Conclusión: trata el «motivo» de la IA como hipótesis, no como veredicto
Aterricemos esto en tu trabajo del día a día.
Cuando la IA recomienda tu marca, entran ganas de preguntarle «¿por qué me has recomendado?» y usar esa respuesta para decidir tu siguiente acción. Es de lo más natural. A Hex-ko también se le va la mano con eso. Pero, a la luz de este estudio, esa explicación puede ser un parche posterior, no el motivo real. Si la tomas al pie de la letra para afinar tu estrategia, corres el riesgo de apuntar al sitio equivocado.
¿Cómo evitas el tropiezo? La clave es bajar de categoría el «motivo» que la IA te da: de veredicto a hipótesis. Que la IA diga «te valoran por el precio» no es la respuesta. Es el punto de partida de algo que toca verificar. Con esa actitud, las explicaciones inventadas dejan de marcarte la estrategia.
Y para apoyarte, fíate de los números del resultado, no de la explicación. El «por qué te recomienda» baila. La tasa de aparición —cuántas veces de cada 100 sale tu marca— es un hecho que puedes observar directamente. Un resultado medible sostiene tu estrategia mucho mejor que una explicación que quizá se redactó después.
La IA explicará cada vez mejor. Pero «saber explicar» y «ser de fiar» todavía no son lo mismo. Con tener eso presente, ya cambia un poco la forma de tratar con ella.
Fuentes
- Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman (2023), “Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting”, NeurIPS 2023, arXiv
