「AIに設問を作らせたら楽」だけど、そのまま配ると荒れる問題

POINT この記事のポイント

「AIで設問を作ると速いのに、なぜ結果が荒れるのか」

調査設計をAIに任せると、初稿のスピードは本当に速いですよね。数十問の下書きがあっという間に出てくるので、現場の体感としてはかなり助かります。

ただ、配信したあとで「回答のばらつきが大きい」「分析軸が揃わない」という問題が出るケースも、けっこう多いんですよ。ここを「AIの質が低いせい」で片づけてしまうと、たぶん同じ失敗を繰り返します。

荒れの出どころのひとつは設問の言い回しで、意味の近い言い換えへ差し替えるだけで測定値に3.2〜10%の差が出る、という報告があります。

Mburu らが2025年に組み立てたのは、LLMに設問を作らせて、人へ配る前にで点検するところまでの手順です（R）。

AIは文脈に沿った質問を作るのが得意だったんだそうな。ここだけ見ると、もう設計はお任せでよさそうに思えてきます。

ところが、同じ研究が課題のほうも示しています。冗長表現、、専門用語の過多ですね。

つまり「速く作れる」ことと「そのまま使える」ことは、まったく別の話だ、ということになりましょう。へクス子も、AIが出したままの設問を配ってしまい、集計の段で頭を抱えております。

Errica らは、意味の近い言い換えを与えたときに測定値がどれだけ動くのかを調べました（R）。同じことを聞いているつもりでも、測定上は3.2〜10%の差が出うるわけです。

アンケートだと、この差が「設問文の揺れ」と合わさったときに厄介なんですよ。似た意図なのに言い回しが微妙に違う設問が混ざると、回答分布の差が「意図の差」なのか「文面の差」なのか、分離しにくくなるからですね。

要するに、AI生成質問の運用では「問う内容」だけでなく、「問い方の統一」までが品質管理の範囲に入ってくるわけです。

Otterly AI のほうは、実際に打たれたプロンプトを集めて、ツールが推定したプロンプトと並べています（R）。実プロンプトは平均71%長く、人称代名詞や問題志向の表現も大幅に多かったんだそうな。

この差は、調査設計にもそのまま効いてきます。

AIに「聞きそうな質問を作って」と任せると、どうしても短く一般化された設問に寄りやすい。結果として、実ユーザーの文脈的な悩みを取り逃がしやすくなるわけですなぁ。

AIでアンケート設問を作ると、初稿づくりはたしかにかなり速くなります。

ただし、速くなるのは「品質確認まで自動化できる」という意味ではありません。

今回の3本で見えているのは、AIは設問のたたき台を出すのは得意でも、回答者が誤解しない形に整える最後の責任は、まだ人間側に残っている、ということなんですよね。

なので配信の前には、1問1論点になっているか、用語が揃っているか、回答者が状況を想像できる文脈があるか。

この3点は、人の目で1問ずつ読み返すしかありません。配ってしまうと、設問の文言はもう直せませんからね。

へクス子は、読み返しの枠を、設問を作る時間と同じだけ先に取るようにしております。

AIの役割は「質問の初稿を速く作る」まで、本番で使える品質へ仕上げる責任は人間にある。

ここを運用ではっきり分けておくのが、いちばん安全であります。

実ユーザーの聞き方と推定プロンプトの差分を、もう少し具体的に見たい場合は、ChatGPTへの「実プロンプト」、推定より71%も長くて全然違ったぞ！が、そのまま実務の補助線になりますよ。

出典

Mburu, T. K., Rong, K., McColley, C. J., & Werth, A., “Methodological foundations for artificial intelligence-driven survey question generation”, Journal of Engineering Education, 114(3), e70012, 2025, DOI:10.1002/jee.70012
Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026, Otterly AI Blog