Le pides a la IA que te redacte una encuesta y la velocidad es real. Escribes un objetivo a grandes rasgos y en segundos tienes treinta preguntas.
Para quien ha pasado una tarde entera mirando un cuestionario en blanco, eso ya es un regalo.
A mí también me pasa. Cuesta no apoyarse en ello.
Pero aquí viene la trampa que aparece después. Envías la encuesta, llegan las respuestas y la dispersión es enorme: los ejes de análisis no cuadran y media gente parece estar respondiendo a otra pregunta.
Y es fácil zanjarlo con un «la IA es mala». Eso es una suposición, no un diagnóstico.
Así que vamos a ver tres estudios que señalan dónde se rompe de verdad la calidad: la generación de preguntas, la sensibilidad al prompt y cómo pregunta la gente real.
«El borrador tiene buena pinta, ¿por qué salen mal las respuestas?»
Empecemos por la tensión evidente: las preguntas se leen bien, entonces ¿qué falla?
Un equipo dirigido por Mburu lo miró de cerca (Mburu et al., Journal of Engineering Education, 2025). Diseñaron un método para generar preguntas con un LLM (el modelo de lenguaje detrás de ChatGPT) y validarlas antes con SQRA, una revisión estructurada que comprueba cada ítem antes de enviarlo.
La buena noticia es real: la IA se le da muy bien redactar preguntas ajustadas al contexto. Si la historia acabara aquí, delegarías el diseño y a por el café.
Pero el mismo estudio marca el problema. Los borradores salían con frases largas, con doble intención (dos preguntas metidas en una) y con exceso de jerga.
O sea: «rápido de escribir» y «listo para usar» son dos cosas distintas. El borrador es un punto de partida disfrazado de producto terminado.
Mismo significado, otras palabras, y el número se mueve
Ahora el problema más fino, de un estudio de Errica y su equipo (Errica et al., NAACL 2025). Su hallazgo: incluso una reformulación que significa lo mismo puede mover el resultado medido entre un 3,2 % y un 10 %.
En una encuesta eso es feo. Si dos ítems casi iguales están redactados de forma un poco distinta, ya no sabes si la diferencia en las respuestas viene de una diferencia de intención o solo de redacción.
La señal y el ruido se visten igual.
¿Y qué implica? Que usar bien las preguntas generadas por IA no va solo de qué preguntas. Mantener la redacción coherente entre ítems pasa a formar parte del control de calidad, no de la letra pequeña que te saltas.
La IA tira a corto y comercial. La gente real, no.
El tercero es una comparación de Otterly AI (Peham, Otterly AI, 2026). Enfrentaron los prompts reales de ChatGPT con los que la gente supone que se escriben. Los reales eran de media un 71 % más largos, con muchos más pronombres personales y un lenguaje mucho más centrado en el problema.
Esa brecha aterriza justo en el diseño de encuestas. Si le pides a la IA que «escriba las preguntas que haría la gente», tira hacia una redacción corta, generalizada y con un puntito comercial.
Y así, sin querer, dejas fuera la preocupación real, concreta y con contexto que arrastra quien responde. Que es, precisamente, lo que querías averiguar con la encuesta.
Conclusión: recorta el tiempo de borrador, no el control de calidad
Usar la IA para redactar preguntas acelera de verdad el primer borrador. Pero rápido no significa que el control de calidad también se automatice. En los tres estudios se repite el mismo patrón: la IA es genial sacando una versión inicial, y el último trabajo —dejarla de forma que quien responde no la malinterprete— sigue siendo humano.
Así que antes de enviar, lo que conviene revisar no es lo pulido del borrador, sino tres cosas concretas: ¿cada ítem es una sola pregunta y no dos? ¿El vocabulario es coherente entre ítems? ¿Tiene quien responde contexto suficiente para imaginarse la situación?
Esa es la línea que yo pondría como norma: que la IA se encargue del borrador rápido y que la decisión de «esto se puede enviar» se quede con una persona. Quizá me equivoque en el reparto exacto, pero trazar esa raya de forma explícita es el seguro más barato contra unos datos que parecen limpios y en realidad no dicen nada.
Fuentes
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog
