もどる HexScope Lens

AIでの順位はブレても、「出現率」ならブランドは測れるぞ!

POINT この記事のポイント
  • 2,961回の実験で、個別の順位はほぼ再現しなかった
  • 実務で効くのは反復測定した「出現率」の推移だけ

「うちのブランド、AIに出てる?」で迷う理由

最近は、ChatGPTやClaudeに自社名が出るかを追う「AI Visibility」ツールが、一気に増えてきましたよね。

実際に触ってみると、同じ質問でも順位が毎回ズレるんですよ。「このスコアを会議に出して大丈夫なのか」と、報告の一歩手前で止まってしまう。

へクス子も、月曜の朝に測り直したら順位が入れ替わっていて、刷った資料を差し替えた口ですからね。

この迷いは、むしろ正しい反応だと思うんですよ。

AI可視性は新しい領域なので、指標ごとの信頼性を分けて読まないと、ダッシュボードの見た目だけで判断してしまいがちなんですよね。

出どころは、600人のボランティアが数えた回答と、実プロンプトを集めた分析会社の比較と、その指標そのものを疑ったレビューの3本ですね。

2,961回の実験が示した「順位はノイズ、出現率は信号」

SparkToroの大規模調査では、600人のボランティアが3つのAIに合計2,961回のブランド推薦クエリを実行したそうです(R)。ここでまず確認したい事実が2つあります。

  • 同一リストの再現は1%未満、順序一致は約0.1%
  • いっぽうで「何回中何回出たか」を見る出現率は安定

分かれ目は、1回聞いたか、何度も聞いて数えたかであります。同じ質問を繰り返すと、順位はばらけても「何回中何回出たか」のほうは落ち着いてくるわけですね。

今日の順位が3位でも明日は7位、みたいな数字を真顔で並べても、それはサイコロの出目を記録しているようなものでしょう。

高可視性ブランドが71回中97%で出るような結果なら、月次比較の土台として十分に実務的であります。

推定プロンプトでも、相対比較ならまだ使える

Otterly AIの分析も、この話を補強してくれています(R)。

実プロンプトは平均15.1語、推定プロンプトは8.8語で、入力の性格はかなり違っていたんだそうな。

実プロンプトのほうが人称や文脈が多く、推定側は短く商業寄りに偏りやすいわけですね。

なんですが、ブランドの相対ランキングは両者で「かなり類似」していたんですよね。つまり推定プロンプトは実態そのものではないけれど、競合との位置関係をざっくり掴む用途になら、まだ使えるという整理になりましょう。

「プロンプト検索ボリューム」は精密に見えてズレやすい

jaeckert-odaniel.comの批判的レビューは、もう一段厳しい論点を出しています(jaeckert-odaniel, 2025)。

「プロンプト検索ボリューム」は、数字の見た目こそ精密でも、土台が偏っている可能性が高い、という指摘ですなぁ。

  • 元データがデスクトップChrome寄りで、モバイル利用を取りこぼしやすい
  • パネル属性がテック系に寄り、が崩れやすい
  • 小サンプルの外挿で誤差が積み上がり、疑似精度になりやすい

この指標は、仮説づくりには使えても、予算配分の主KPIに据えるには危ない、というのが妥当な読み方でしょう。

へクス子は、この手の数字を見るときはパネルの内訳から先に開いております。

スコアの数字より、その出どころを先に読む

AI可視性ツールを開くと、つい順位やスコアの数字そのものに目が行きます。

ですが、実務でまず読むべきなのは数字の大きさではなく、その出どころのほうです。

何回の反復から出た数字なのか、出現率をどう定義しているのか。

ここが曖昧なままだと、ダッシュボードがどれだけきれいでも、判断はかなり危うくなります。

SparkToroのように方法論を公開しているツールなら、その2つは説明を読めば分かります。少なくとも数十回の反復測定を前提にしているかどうかも、同じ場所で確かめられますよ。

反復回数と出現率の定義。ダッシュボードの数字より先に、この2つを探しにいきましょう。

一方で、「プロンプト検索ボリューム」の絶対値は、そのままKPIに置かないほうが安全でしょう。

順位トレンドや一次データと合わせて、補助指標として読むくらいが現実的だと思います。

「プロンプト検索ボリューム」の扱いだけ先に深掘りしたい方は、データ源はデスクトップChromeのパネルだけ。「プロンプト検索ボリューム」の正体 を続けてどうぞ。


出典

  • Rand Fishkin (SparkToro/Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products”, 2026-01-27, sparktoro.com
  • Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026-02-03, otterly.ai
  • jaeckert-odaniel.com, “Prompt search volume: Real data or all guessed?”, 2025-12-16, jaeckert-odaniel.com
この記事をシェア
Bluesky X
記事一覧にもどる