«Los prompts estimados, ¿se parecen en algo a cómo pregunta la gente?»
Pruebas una herramienta de visibilidad en IA, ves un panel lleno de «prompts estimados» (las preguntas que la herramienta supone que la gente le escribe a la IA) y una duda te frena: ¿alguien pregunta de verdad así?
A mí me pasó en la primera demo. La lista tenía buena pinta, pero no me sonaba a ninguna conversación real.
Y no es un detalle menor. Si esos prompts no se parecen a las preguntas reales, puedes estar midiendo con mucha precisión… otra cosa.
Pero «distinto» no significa «inservible». Hay datos que separan bastante bien dónde se puede confiar y dónde no. Vamos a verlos.
Los prompts reales son más largos, más personales y más quejicas
Otterly AI comparó cientos de prompts reales de ChatGPT con los estimados (estudio). Y la diferencia es gorda.
Esto es lo que salió:
- Los estimados tienen de media 8,8 palabras; los reales, 15,1.
- Uso de la primera persona («yo», «mi», «necesito»): 18,8 % en los estimados frente a 52,1 % en los reales.
- Lenguaje orientado al problema: 7,1 % frente a 21,1 %.
O sea: nadie escribe «mejor CRM». La gente escribe «somos cinco, presupuesto ajustado, ¿qué me recomiendas?».
Trae su contexto a cuestas. Y ese contexto es justo lo que un prompt corto y genérico se deja fuera.
Y aun así, el ranking de marcas apenas se mueve
Aquí viene lo curioso. Con entradas tan distintas, el ranking de marcas que devolvía la IA salía bastante parecido en ambos casos.
Es decir: el prompt estimado no es una copia del real. Pero para saber quién queda por delante de quién, todavía sirve.
¿Y dónde está el truco? En no pasarte de la raya con la del dato. La clave no es cuánto acierta el valor absoluto, sino cuánto se mantiene el orden relativo.
Léelo como comparación entre marcas, no como una cifra que puedas llevarte tal cual a tu previsión.
El «volumen de prompts» es donde se cuela la falsa precisión
Una reseña crítica de jaeckert-odaniel.com apunta al punto flaco concreto: el «volumen de búsqueda de prompts» (reseña).
El problema tiene dos capas:
- La recolección por clickstream (el rastro de clics que dejan los usuarios) se sesga hacia Chrome de escritorio y pierde buena parte del uso en móvil.
- Extrapolar desde paneles ya sesgados no corrige el error: lo amplifica.
Por eso un «8.400 al mes» tan redondito engaña más de lo que informa.
Piénsalo como una báscula: que marque decimales no significa que pese mejor. La precisión de lo que ves en pantalla y la exactitud de la medición son dos cosas distintas.
Conclusión: úsalos para comparar, nunca como cifra absoluta
Los prompts estimados son una herramienta útil, pero no son el registro real de lo que pregunta la gente. Y por eso el mismo dato cambia de valor según cómo lo leas: como ranking relativo entre marcas, ayuda; como volumen absoluto de demanda, te la juega.
Antes de fiarte de una herramienta, comprueba una sola cosa: de dónde salen sus prompts estimados. ¿De logs reales, de términos de búsqueda o generados por la propia IA? Y de paso, mira si la metodología dice algo sobre la cobertura en móvil.
Si nada de eso queda claro, no cuelgues una decisión importante solo de ese número. Úsalo como apoyo de comparación, cruzado con tus propios datos, y no como el indicador principal del que depende todo.
Fuentes
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, Otterly AI Blog
- Jäckert & O’Daniel, “Prompt Search Volume: Real Data or All Guessed?”, jaeckert-odaniel.com
