Le pides a la IA que te redacte una encuesta y la velocidad es real. Escribes un objetivo a grandes rasgos y en segundos tienes treinta preguntas.
Para quien ha pasado una tarde entera mirando un cuestionario en blanco, eso ya es un regalo.
A mí también me pasa. Cuesta no apoyarse en ello.
Pero aquí viene la trampa que aparece después. Envías la encuesta, llegan las respuestas y la dispersión es enorme: los ejes de análisis no cuadran y media gente parece estar respondiendo a otra pregunta.
Y es fácil zanjarlo con un «la IA es mala». Eso es una suposición, no un diagnóstico.
El diagnóstico existe, y viene de tres estudios: uno sobre la generación de preguntas, otro sobre la sensibilidad al prompt y otro sobre cómo pregunta la gente real.
Cómo hacer encuestas con IA sin que se ensucien los datos
Deja que la IA escriba el borrador y quédate tú con la decisión de enviarlo, después de pasar tres controles: una sola pregunta por ítem, vocabulario coherente entre ítems y contexto suficiente para quien responde. Los tres estudios que verás apuntan al mismo sitio: la IA acierta redactando preguntas ajustadas al contexto, y lo que se rompe está en el repaso que nadie hace.
El reparto que funciona es este.
- La IA saca el primer borrador completo, con el objetivo de la encuesta como entrada.
- Una persona revisa ítem por ítem con una lista fija, siempre la misma.
- Solo después de esa revisión se envía, y se anota la fecha de la versión enviada.
Lo que sigue explica por qué cada uno de esos tres controles existe, y qué estudio lo respalda.
«El borrador tiene buena pinta, ¿por qué salen mal las respuestas?»
Empecemos por la tensión evidente: las preguntas se leen bien, entonces ¿qué falla?
Un equipo dirigido por Mburu lo miró de cerca (Mburu et al., Journal of Engineering Education, 2025). Diseñaron un método para generar preguntas con un LLM (el modelo de lenguaje detrás de ChatGPT) y validarlas antes con SQRA, una revisión estructurada que comprueba cada ítem antes de enviarlo.
La buena noticia es real: la IA se le da muy bien redactar preguntas ajustadas al contexto. Si la historia acabara aquí, delegarías el diseño y a por el café.
Pero el mismo estudio marca el problema. Los borradores salían con frases largas, con doble intención (dos preguntas metidas en una) y con exceso de jerga.
O sea: «rápido de escribir» y «listo para usar» son dos cosas distintas. El borrador es un punto de partida disfrazado de producto terminado.
Mismo significado, otras palabras, y el número se mueve
Ahora el problema más fino, de un estudio de Errica y su equipo (Errica et al., NAACL 2025). Su hallazgo: incluso una reformulación que significa lo mismo puede mover el resultado medido entre un 3,2 % y un 10 %.
En una encuesta eso es feo. Si dos ítems casi iguales están redactados de forma un poco distinta, ya no sabes si la diferencia en las respuestas viene de una diferencia de intención o solo de redacción.
La señal y el ruido se visten igual.
¿Y qué implica? Que usar bien las preguntas generadas por IA no va solo de qué preguntas. Mantener la redacción coherente entre ítems pasa a formar parte del control de calidad, no de la letra pequeña que te saltas.
La IA tira a corto y comercial. La gente real, no.
El tercero es una comparación de Otterly AI (Peham, Otterly AI, 2026). Enfrentaron los prompts reales de ChatGPT con los que la gente supone que se escriben. Los reales eran de media un 71 % más largos, con muchos más pronombres personales y un lenguaje mucho más centrado en el problema.
Esa brecha aterriza justo en el diseño de encuestas. Si le pides a la IA que «escriba las preguntas que haría la gente», tira hacia una redacción corta, generalizada y con un puntito comercial.
Y así, sin querer, dejas fuera la preocupación real, concreta y con contexto que arrastra quien responde. Que es, precisamente, lo que querías averiguar con la encuesta.
Qué revisar en un cuestionario que ha redactado la IA
Revisa tres cosas, en este orden: si cada ítem es una sola pregunta y no dos, si el vocabulario se mantiene igual entre ítems parecidos, y si quien responde tiene contexto para imaginarse la situación. Son exactamente los tres puntos donde los estudios detectaron el daño: dobles intenciones y jerga en el borrador, un desvío del 3,2 % al 10 % por reformular, y prompts un 71 % más largos en la gente real.
Ninguno de los tres requiere herramientas. Requiere que alguien lea el cuestionario entero una vez, con la lista delante, antes de darle a enviar.
recorta el tiempo de borrador, no el control de calidad
Usar la IA para redactar preguntas acelera de verdad el primer borrador. Pero rápido no significa que el control de calidad también se automatice. En los tres estudios se repite el mismo patrón: la IA es genial sacando una versión inicial, y el último trabajo —dejarla de forma que quien responde no la malinterprete— sigue siendo humano.
Así que la pregunta útil antes de enviar no es si el borrador se lee bien, sino si ha pasado los tres controles de arriba. Es un repaso de diez minutos que decide si los datos servirán para algo.
Esa es la línea que yo pondría como norma: que la IA se encargue del borrador rápido y que la decisión de «esto se puede enviar» se quede con una persona. Quizá me equivoque en el reparto exacto, pero trazar esa raya de forma explícita es el seguro más barato contra unos datos que parecen limpios y en realidad no dicen nada.
Si quieres ver de cerca cómo pregunta la gente de verdad frente a lo que suponemos, Cientos de preguntas reales a ChatGPT: la gente no pregunta como tú mides lo desglosa consulta a consulta.
Fuentes
- Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog
