「聞き方ミスで全部ダメ」って、本当なんでしょうか
社内でAI活用を始めると、だいたい同じ不安が出ますよね。「聞き方を少し変えるだけで、答えが別物になる」「プロンプトの正解テンプレートを暗記しないと危ない」みたいな話です。
へクス子も、配られたプロンプト集を律儀に貼り付けていた口です。全社で言い方を統一しようという動きは、あちこちで走っておりますね。
もちろん標準化は大事なんですが、実際どのくらいブレるのかを確かめないまま、運用の手間だけが先に増えていないか。
そこを測らないうちは、言い方を揃えた効き目のほうも分からないままですからね。
プロンプト感度を定量化した研究も、評価方法そのものを疑った研究も、すでに出ています。ブレているのはAIの答えのほうなのか、それとも点数のつけ方のほうなのか。
研究①: 言い換えの影響はゼロじゃないが、想像より小さい
まずは Errica らの研究であります（Errica et al., NAACL 2025）。この研究では、LLMのプロンプト感度を測るために、2つの指標を置いています。
- 感度（sensitivity）: プロンプトを言い換えたとき、予測がどれだけ変わるか
- 一貫性（consistency）: 同じ入力群で、言い換え間の予測がどれだけ安定するか
ここでいう言い換えは、に近い操作ですね。要は、表現だけ変えて意味は揃える、という操作だと思ってください。
で、複数の分類タスクで測ると、精度変動は**3.2〜10%**に収まったんだそうな。
ゼロではないけれど、「一語違えば全部壊れる」ほどではない。「一文字でも間違えたら即アウト」みたいな緊張感で向き合っている方も多いんですが（爆弾処理班じゃないんですから）、実態はもう少し穏やかなわけっすね。
効いていたのは、表面的な語順よりも意味構造のほうでした。つまり運用で効くのは「正解の言い回し」より「何を判断させたいかを明確にする」ほうだ、ということになりましょう。
研究②: 大きなブレは評価手法のアーティファクトかもしれない
Hua らが立てた問いは、「高い感度はモデルの弱点なのか、それとも評価方法が作った見かけなのか？」というものです（Hua et al., EMNLP 2025）。
7つの主要LLMを、6ベンチマーク・12テンプレートで検証しています。
やり玉に挙がったのは、従来よく使われてきた次の2つの採点方法であります。
- 対数尤度スコアリング
- 厳密回答マッチング
どちらも意味的には同等の回答まで不一致として扱うので、ブレを過大に見せている可能性が示されました。逆に LLM-as-Judge を使うと、性能分散が下がり、ランキングの一貫性が上がったんだそうです。
要するに、「AIが不安定だ」と思っていたものの一部は、測定器そのものの設計問題だったのかもしれない、ということですね。この切り分けは、運用設計のうえでかなり大きい話ですなぁ。
へクス子も、プロンプト集を配り直す前に、まず採点のルールのほうを見せてくださいとお願いしております。
「魔法の一文」探しより評価ルールを先に点検する
プロンプトで結果が変わるのは事実なんですが、だからといって「これさえ唱えれば勝てる一文」を探し続けるのは、あまり筋がよくありません。
今回の2本で見えたのは、プロンプトの問題に見えていたものの一部が、評価方法の粗さや完全一致判定のクセで膨らんでいた可能性のほうでした。
なので、マーケ運用で先に点検したいのは、聞き方そのものよりも、回答をどう採点しているかです。完全一致だけで良し悪しを決めていないか、意味が合っている回答まで落としていないか。
ここを見直すだけで、見かけのブレはかなり落ち着きます。
そのうえで、社内のプロンプト方針は「目的・制約・出力形式」を明示するくらいに整理すれば十分でしょう。この順番にすると、「聞き方を間違えたら全部ダメ」という恐怖から、するっと抜けやすくなりますよ。
出典
- Errica, F., Siracusano, G., Sanvito, D., & Bifulco, R., “What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering”, NAACL 2025, arXiv:2406.12334
- Hua, A., Tang, K., Gu, C., Gu, J., Wong, E., & Qin, Y., “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025, arXiv:2509.01790
