「プロンプト検索ボリュームって、SEOの検索数と同じ感覚で見ていいの？」
最近、AI可視性ツールを触っていると、ほぼ必ず「プロンプト検索ボリューム」みたいな指標を見かけます。
「業務管理ツール おすすめ」の月間件数を出すような、SEOで見慣れた表示の生成AI版ですね。
へクス子も最初に見たときは「お、便利そうだ」と思いました。
SEO担当なら「キーワードプランナー」の感覚で、対策プロンプトの優先順位を出せそうに見えますからね。
なんですが、この数字、データの取り方がけっこう怪しい可能性があるんですよ。オンラインマーケティングのJaeckert & O’Danielが、この指標の作られ方に3つの穴を数えています。
データの出どころが偏りすぎ問題
まずは「プロンプト検索ボリューム」がどう作られているかを押さえましょう。これは、世界中の人がAIへ投げるプロンプトを、クリックストリームやパネルデータで集計した推定値なんですよね。
ここで、オンラインマーケティングを手がける Jaeckert & O’Daniel が、この指標の作られ方を1本の記事で洗い直しています（R）。データの取り方には大きく3つの穴があるんだそうな。
- 集計元が偏っている: デスクトップChromeの拡張機能由来が中心で、モバイルアプリ利用を取りこぼし、パネルもテック系・男性・専門職に寄りやすい
- 小サンプルからの外挿: 数千〜数万人の母集団から全体を推定するので、誤差がそのまま膨らむ
- 検索の発想を流用している: 作業依頼まで「検索需要」に数え、Adsのマッチタイプ思想を文章プロンプトへ当てはめている
要するに、IT勉強会の参加者名簿だけを見て国民全体の平均像を語るようなもので、Google検索の感覚で眺めると、サンプリングのがかなり大きい印象なんですよ。
「数字が出ること」と「数字が正しいこと」は別
でですね、Jaeckert & O’Daniel はこの記事を、こう結んでいます。
「報告される数字は精密に見えるが、戦略的に大きな誤りを招きやすい疑似精度を伝えている」
「疑似精度（pseudo-precision）」というのは、小数点まで出るので正確そうに見えるのに、手法側がその精度を保証していない状態のことであります。
たとえば「月間4,200プロンプト」と出ると、つい「誤差は±100ぐらいかな」と受け取りたくなります。
でも実態は、桁レベルでも怪しい可能性があるわけです。
ここがこの指標のいちばん怖いところでしょうな。
へクス子も、この手の数字を月次の表に入れかけて、出どころを1行も書けないことに気づいて引っ込めております。桁が違うかもしれない数字を、そろえた表に並べる気にはなれませんでした。
「ブレ」は対象より測定手法で増幅されることがある
EMNLP 2025の Hua らの論文「Flaw or Artifact?」は、LLMのプロンプト感度の正体を真正面から検証しています（R）。
研究チームは、7つの主要LLMを6ベンチマーク・12テンプレートで評価したんだそうな。
プロンプトの言い換えで性能がどれだけ変わるかを測った結果が、こうなっています。
- 大部分は、対数尤度や厳密一致などヒューリスティック評価手法に起因していた
- LLM-as-Judgeへ切り替えると、性能分散が減り、ランキング一貫性が上がった
- 意味的に等価なプロンプトへの実質差は、従来考えられていたより小さかった
つまり、「LLMは少しの言い換えに弱い」と見えていた現象の多くは、モデル本体ではなく評価手法のアーティファクトだった可能性が高いわけですね。
これ、プロンプト検索ボリュームの議論とも地続きなんですよ。「数字がブレる」のと「対象がブレる」は、分けて考える必要があります。
さっきの「月間4,200プロンプト」も、需要そのものが動いたのか、数え方が動いただけなのかは、この数字ひとつでは切り分けられません。データ側の問題を対象のせいにしてしまうと、打ち手をまるごと間違えますからね。
「プロンプト検索ボリューム」は参考値として扱う
プロンプト検索ボリュームは、需要の方向感を見るには使えます。
ただし、データ取得範囲や外挿ロジックが見えないまま、予算配分や評価指標の中心に置くには弱い指標です。
特にモバイルをどこまで含むのか、パネルがどんな構成なのかが見えない場合は、数字の精密さに引っ張られないほうがいいでしょう。
実務では、絶対値ではなく「増えているか、減っているか」「競合と比べてどうか」ぐらいの補助線として扱うのが安全です。出現率、実ログ、Search Console など、別の独立指標と突き合わせて初めて、施策判断に使える材料になりましょう。
AI可視性の測定設計そのものを見直したい場合は、AI可視性ツールは「順位より出現率」を見れば外しにくい話 もあわせてどうぞ。
出典
- jaeckert-odaniel.com, “Prompt search volume: Real data or all guessed?”, 2025-12-16, リンク
- Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs”, EMNLP 2025 Main Conference, arXiv:2509.01790
関連記事
