Volver HexScope Lens

¿Te puedes fiar del «volumen de prompts» que te enseña tu herramienta de IA?

POINT Puntos clave
  • El dato nace de Chrome de escritorio y pierde casi todo el móvil
  • Léelo como dirección y crúzalo con otro indicador, nunca como cifra

«Un volumen de prompts, ¿es lo mismo que un volumen de búsqueda?»

Abres cualquier herramienta de visibilidad en IA y ahí está: «volumen de búsqueda de prompts». Tantas veces al mes le preguntan a la IA por «mejores herramientas de gestión».

Se lee exactamente igual que el Planificador de Palabras Clave. Y la tentación es inmediata: ordenar los prompts por volumen y priorizar como llevas priorizando SEO desde hace diez años.

A Hex-ko también le pasó. Lo vio y pensó «qué bien, esto ya sé usarlo».

Pero antes de montar un plan encima, conviene mirar de dónde sale el número. Porque la forma de recogerlo tiene bastante más agujero de lo que aparenta.

De dónde sale realmente ese número

Primero lo básico. El volumen de prompts no lo publica OpenAI ni nadie. Es una estimación: se recoge una muestra de lo que la gente le escribe a la IA y se extrapola al mundo entero.

Una reseña bastante afilada de jaeckert-odaniel.com le encuentra tres agujeros a esa receta (reseña):

  • La fuente está sesgada: viene sobre todo de extensiones de Chrome de escritorio, pierde el uso en apps móviles, y los paneles se cargan hacia perfiles técnicos, masculinos y profesionales.
  • La muestra es pequeña: se extrapola el total desde unos miles o decenas de miles de personas, así que el error viaja con el dato y crece.
  • Se copia la lógica de búsqueda: cuentan como «demanda de búsqueda» hasta los encargos de trabajo, y le aplican a un prompt en prosa la idea de concordancia de Google Ads.

Es como calcular la estatura media del país midiendo a los asistentes de un meetup de tecnología.

Aquí la palabra clave es : el trozo de uso real que el método directamente no ve. Y en móvil, ese hueco es enorme.

Que salga un número no significa que el número sea bueno

La conclusión de la reseña es la frase que conviene pegar en el monitor:

«Las cifras que se reportan parecen precisas, pero transmiten una falsa precisión que induce a errores estratégicos graves.»

La pseudo-precisión es eso: el dato viene con decimales, así que parece exacto, aunque el método no garantice esa exactitud por ningún lado.

¿Y cómo se nota? Ves «4.200 prompts al mes» y tu cabeza asume sola un margen de error de ±100. La realidad es que el fallo puede ser de un orden de magnitud entero.

Piénsalo como una báscula rota que marca dos decimales. Los decimales no la arreglan: solo hacen que te la creas más.

Cuando la que baila es la regla, no lo que mides

Y aquí engancho con un estudio que parece de otro tema pero es el mismo problema: «Flaw or Artifact?», de Hua y su equipo, en EMNLP 2025 (estudio).

Se preguntan algo incómodo. Cuando decimos que un LLM (el modelo de lenguaje que hay detrás de ChatGPT) es hipersensible a cómo le preguntas… ¿lo es de verdad, o lo parece por culpa de cómo lo corregimos?

Lo midieron en siete LLM principales, con seis benchmarks y doce plantillas de prompt. Y esto es lo que salió:

  • La mayor parte de la variación venía de los métodos de corrección heurísticos (verosimilitud, coincidencia exacta), no del modelo.
  • Con LLM-as-Judge (otro modelo que juzga si dos respuestas significan lo mismo), la varianza bajó y la consistencia de los rankings subió.
  • La diferencia real entre prompts que significan lo mismo era menor de lo que se venía asumiendo.

O sea: buena parte de «la IA se descoloca con cualquier matiz» era un artefacto del instrumento.

Y esto vale igual para el volumen de prompts. «El número baila» y «lo que mides baila» son dos cosas distintas. Si le echas a tu mercado la culpa de un problema que está en la recogida de datos, vas a corregir en la dirección equivocada con toda la convicción del mundo.

Conclusión: trátalo como orientación, no como cifra

El volumen de prompts sirve para leer una dirección: qué temas asoman, cuáles se apagan, cómo te ves frente a un competidor. Como brújula, vale.

Lo que no aguanta es sostener un reparto de presupuesto ni convertirse en tu indicador principal, sobre todo cuando la herramienta no te enseña hasta dónde llega su muestra ni cómo extrapola. Si no sabes qué parte del móvil entra y qué perfil tiene el panel, no dejes que los decimales decidan por ti.

Así que en la práctica, haz dos cosas. Léelo en relativo («sube o baja», «cómo voy frente al de enfrente»), nunca en absoluto.

Y crúzalo con al menos un indicador independiente: tu tasa de aparición en las respuestas, tus logs reales, Search Console. Un número solo es material de decisión cuando otro número, recogido de otra forma, le da la razón.

Si lo que quieres es replantear el diseño de la medición entero, este repaso sobre por qué la tasa de aparición aguanta mejor que el rango es una buena continuación.


Fuentes

  • jaeckert-odaniel.com, “Prompt search volume: Real data or all guessed?”, 2025-12-16, enlace
  • Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025 Main Conference, arXiv:2509.01790
Comparte este artículo
Bluesky X
Volver a los artículos