«Cuantos más decimales, más fino», ¿a que suena lógico?
Abres un panel de visibilidad en IA, o un informe de evaluación de LLM, y te reciben números finísimos. «12.847 prompts al mes». «La precisión cae un 7,3 %».
A Hex-ko al principio le pasaba: cuantos más dígitos traía el dato, más se lo creía.
Pero en el terreno de la IA, ese «fino igual a fiable» se cae más de lo que parece. La pantalla enseña decimales, y el método que hay detrás no siempre los sostiene.
Y lo peor es que «parece preciso, pero es tosco» no se ve a simple vista. Así que hoy, con tres estudios en la mano, vamos a separar el número que aguanta del que solo aparenta.
Parece preciso, pero el método no lo sostiene
Aquí conviene pararse en una palabra: la pseudoprecisión.
La pseudoprecisión es un número de apariencia precisa cuyo método de medición no asegura esa precisión. Trae decimales, así que parece exacto, aunque nada en la forma de medirlo lo garantice.
Piénsalo con una báscula. Si varía ±3 kg pero te muestra «62,347 kg», esos tres decimales no merecen ninguna confianza. No la arreglan: solo hacen que te la creas más.
Con los indicadores de IA pasa igual. Y el «volumen de búsqueda de prompts» es el ejemplo de manual.
La reseña de jaeckert-odaniel.com le encuentra el fallo de raíz (reseña). Ese dato no lo publica nadie: se estima a partir de clickstream (el rastro de clics que deja la gente al navegar) y de paneles de usuarios.
Y esos paneles van sesgados hacia Chrome de escritorio. Así que el uso en apps móviles se pierde de entrada, y los usuarios de extensiones se inclinan a perfiles tech, masculinos y profesionales.
Extrapola el uso total desde esa muestra y el sesgo y el error se hinchan juntos. Pero en pantalla queda un entero limpio y fino. Número redondito, método con agujeros.
A veces no falla la IA, falla el instrumento
Y esto no va solo del volumen de prompts. Hay un estudio que parece de otro tema y toca el mismo nervio.
Lo firman Andong Hua y su equipo: «Flaw or Artifact?», presentado en EMNLP 2025 (estudio).
Se hacen una pregunta incómoda. Cuando decimos que un LLM (el modelo de lenguaje que hay detrás de ChatGPT) es hipersensible a cómo le preguntas… ¿lo es de verdad, o lo parece por culpa de cómo lo medimos?
Esa «sensibilidad al prompt» es justo eso: la misma pregunta, con otra redacción, te da otro resultado.
Lo probaron a lo grande: 7 LLM principales, 6 benchmarks (pruebas estándar para puntuar modelos) y 12 plantillas de prompt. Y esto es lo que salió:
- Buena parte de esos «grandes vaivenes de rendimiento» es más probablemente un artefacto del método de evaluación que una debilidad real del modelo.
- Un artefacto es un resultado aparente que crea la propia forma de medir, no el objeto medido.
- La log-verosimilitud y la coincidencia exacta (dos formas automáticas de corregir) pudieron exagerar las diferencias.
- Al pasar a LLM-as-Judge (otro modelo que juzga si dos respuestas significan lo mismo), la varianza de rendimiento bajó y la consistencia de los rankings subió.
O sea, buena parte de «la IA se descoloca con cualquier matiz» era el instrumento, no el modelo.
Y esto vale igual para tus métricas. «El número baila» y «lo que mides baila» son dos cosas distintas. Confúndelas y corregirás en la dirección equivocada con toda la convicción del mundo.
Entonces, ¿de qué número sí te puedes fiar?
¿Significa esto que ningún número de IA vale? Para nada. Un indicador bien diseñado es de lo más útil.
Federico Errica y su equipo, en NAACL 2025 (estudio), proponen dos métricas: sensibilidad y consistencia.
La de sensibilidad mide cuánto cambian las predicciones cuando parafraseas la pregunta. Y lo práctico es que funciona sin etiquetas de verdad de referencia, o sea, sin necesitar la respuesta «correcta» de antemano.
En ese trabajo, la variación de exactitud por paráfrasis se queda entre 3,2 % y 10 %.
Pero lo importante no es memorizar ese número. Es mirar si el indicador trae definición clara, condiciones de reproducibilidad y un eje de comparación.
Y, sobre todo, si los dígitos que enseña encajan con su : la unidad más pequeña que el método puede distinguir de verdad.
Cuando esa resolución es más tosca que los decimales que ves, los decimales sobran. Por eso un número sin origen, sin muestra y sin forma de repetirlo se queda en valor orientativo, por muchos dígitos que traiga.
Conclusión: antes de creerte el decimal, mira de dónde sale
Un decimal en un panel de IA parece de laboratorio. Pero si no sabes si sale de clickstream, de un panel, de logs reales o de un experimento, solo parece preciso.
Así que el orden importa. Primero, revisa los datos de origen y las condiciones de reproducibilidad: el indicador que no las explica no merece ser tu indicador estrella.
Y al decidir, no lo leas solo. Ponlo al lado de métricas que sí se repiten: tu tasa de aparición en las respuestas o la tendencia en el tiempo. Un número solo es material de decisión cuando otro, recogido de otra forma, le da la razón.
Porque medir bien la visibilidad en IA se puede, y merece la pena. La clave no es desconfiar de todo: es saber de qué número fiarte.
Si quieres ver esta misma trampa en un caso concreto, ¿Te puedes fiar del «volumen de prompts» que te enseña tu herramienta de IA? la desmonta paso a paso.
Fuentes
- jaeckert-odaniel.com, “Prompt search volume: Real data or all guessed?”, 2025-12-16, enlace
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025 Main Conference, arXiv:2509.01790
- Federico Errica, Giuseppe Siracusano, Davide Sanvito, Roberto Bifulco, “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
Artículos relacionados
- pieza sobre el volumen de búsqueda de prompts — la misma pseudoprecisión, vista en un solo indicador y con su origen al descubierto.
- ¿La IA responde distinto cada vez por defecto suyo… o porque medimos mal? — cuánto de la «inestabilidad» de la IA es del modelo y cuánto del método.
