Le preguntas a ChatGPT «¿qué marcas recomiendas en mi sector?» y apuntas la respuesta. Vuelves al rato, repites la misma pregunta… y la lista es otra. Otros nombres, otro orden.
Y ahí llega el pensamiento traicionero. «Si cada vez dice algo distinto, ¿para qué voy a medir nada?»
Lo entiendo. A Hex-ko también le pasó: la primera reacción es cerrar la pestaña y volver al SEO de toda la vida.
Pero rendirse aquí es precipitarse. Porque hay una parte de esa respuesta que sí se queda quieta, y no es la que estás mirando.
El problema no es que la IA sea un caos. Es que estás leyendo el dato equivocado. Vamos a verlo con tres estudios que ponen número a cuánto baila la IA de verdad… y a qué se puede seguir con tranquilidad.
«Si cambia cada vez, ¿qué sentido tiene medir?»
Primero hay que separar dos cosas que solemos mezclar.
Una es el ranking de una sola respuesta: quién sale primero, quién segundo, quién ni aparece esta vez. Eso baila mucho, y es lo que te hace pensar que medir es inútil.
La otra es la tasa de aparición: de cien veces que preguntas en las mismas condiciones, en cuántas sale tu marca. Ese número, spoiler, es mucho más tozudo.
El marketer que se frustra está leyendo una sola respuesta como si fuera una tabla de posiciones de la liga. Y no lo es.
Una respuesta de ChatGPT es una tirada, no un censo. Sacar conclusiones de una tirada es como juzgar un dado por un solo lanzamiento.
Así que la pregunta buena no es «¿por qué cambia?». Es «¿cuánto cambia de verdad, y qué parte se mantiene?». Vamos a por los datos.
La paráfrasis solo mueve la respuesta un 3,2-10%
Empecemos por el miedo más básico: que con solo reformular la pregunta, la IA cambie de opinión de arriba abajo.
El equipo de Errica lo midió en serio (Errica et al., NAACL 2025). Su trabajo gira en torno a la sensibilidad al prompt: cuánto cambia la predicción del modelo cuando reformulas la misma pregunta con otras palabras.
Reformular aquí es básicamente parafrasear. El mismo sentido, distinta forma. «¿Qué marcas recomiendas?» frente a «¿qué marcas me sugieres?».
¿Y cuánto bailó la cosa? En varios LLM —los modelos de lenguaje que hay detrás de ChatGPT— la variación por paráfrasis fue de un 3,2 a 10%.
No es cero. Pero tampoco es «cambio una palabra y se derrumba todo». Está lejísimos de esa sensación de caos.
Y hay un detalle que vale oro para ti. Lo que movía la aguja no era la forma superficial de la frase: era la estructura de significado, lo que de verdad le estás pidiendo al modelo.
Es decir: si dos preguntas significan lo mismo, la respuesta se parece bastante. La inestabilidad que sientes no viene de que cambies tres palabras al preguntar.
A lo mejor esa variación la infla tu forma de medir
Aquí viene un giro incómodo. ¿Y si buena parte de ese baile no lo pone la IA, sino tu manera de puntuarla?
Es lo que se pregunta el equipo de Hua (Hua et al., EMNLP 2025). Pusieron a prueba siete LLM en seis benchmarks (baterías de pruebas estandarizadas) con doce plantillas de evaluación distintas.
Su sospecha: que mucha de la variación aparente fuera un artefacto del método de medición. O sea, ruido que mete tu regla, no el modelo.
Y eso es justo lo que encontraron. Cuando dejaron atrás métodos rígidos —como exigir que la respuesta coincida palabra por palabra— y pasaron a que un modelo capaz juzgara si dos respuestas querían decir lo mismo, la varianza bajó y los rankings se estabilizaron.
Traducido a tu trabajo: el protocolo de evaluación —el conjunto de reglas con el que puntúas y comparas siempre el mismo objetivo— movía los resultados más que el propio modelo.
Esto es importante de verdad. Significa que una parte de «la IA es un desastre, no se puede medir» nunca fue la IA. Era la regla con la que la mirabas. Y si la regla está torcida, todo lo que midas saldrá torcido en la misma dirección.
En 2.961 consultas reales, la aparición fue más estable que el ranking
Vale, los benchmarks están muy bien. Pero ¿qué pasa cuando gente normal le pregunta a la IA por marcas, en la vida real?
Eso es lo que montó SparkToro con Gumshoe (Fishkin, SparkToro). 600 personas le preguntaron a 3 IA distintas. En total, 2.961 consultas sobre recomendaciones de marcas y productos.
Y esto es lo que salió, en dos mitades que conviene no confundir:
- La lista idéntica se repitió menos del 1% de las veces.
- Que coincidiera además el orden exacto: alrededor del 0,1%.
Si te quedas ahí, firmas el «esto no hay quien lo mida» y te vas. El ranking, ya lo ves, es puro humo.
Pero mira la otra mitad. La tasa de aparición de una marca concreta era estable. Una marca de alta visibilidad apareció en el 97% de 71 veces que tocaba.
¿Lo ves? El puesto exacto fluctúa sin parar. Pero «cada cuánto aparece» sí se puede seguir. Es una señal limpia escondida debajo del ruido del orden.
Las tres piezas encajan. La paráfrasis mueve poco. La regla de medir infla el resto. Y en datos reales, lo que aguanta no es el ranking: es la frecuencia.
Conclusión: mira la tasa de aparición, no el ranking de una respuesta suelta
Si los tres estudios coinciden en algo, es esto: el problema casi nunca fue que la IA no se pueda medir. Fue medir lo que no toca, de una sola tirada.
Así que el cambio es de mentalidad, y cabe en una frase. Deja de leer una respuesta como una tabla de posiciones; mira la tasa de aparición a lo largo de muchas preguntas repetidas en las mismas condiciones.
Para eso, fija los dos primeros pasos antes de sacar conclusiones:
- El diseño de la pregunta: qué preguntas exactamente, con qué palabras, en qué contexto.
- Las condiciones de agregación: cuántas veces repites y cómo sumas las apariciones.
Si esos dos pasos cambian a tu antojo entre medida y medida, no estás midiendo: estás coleccionando tiradas sueltas.
Y cuando elijas una herramienta para vigilar tu visibilidad en IA, pídele cuentas de tres cosas concretas: si publica el número de repeticiones por consulta, el método con el que agrega la tasa de aparición y el periodo de comparación. Un panel que te suelta un ranking bonito sin explicar nada de eso no merece ser el motor de tus decisiones.
El ranking de una respuesta es una anécdota. La tasa de aparición es la métrica. Persigue la segunda, y el caos que te hacía rendirte se vuelve, de pronto, algo que sí puedes seguir.
Fuentes
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
- Fishkin, R., “NEW Research: AIs are highly inconsistent when recommending brands or products”, SparkToro / Gumshoe, sparktoro.com
