「うちのブランド、AIに出てる?」で迷う理由
最近は、ChatGPTやClaudeに自社名が出るかを追う「AI Visibility」ツールが、一気に増えてきましたよね。
実際に触ってみると、同じ質問でも順位が毎回ズレるんですよ。「このスコアを会議に出して大丈夫なのか」と、報告の一歩手前で止まってしまう。
へクス子も、月曜の朝に測り直したら順位が入れ替わっていて、刷った資料を差し替えた口ですからね。
この迷いは、むしろ正しい反応だと思うんですよ。
AI可視性は新しい領域なので、指標ごとの信頼性を分けて読まないと、ダッシュボードの見た目だけで判断してしまいがちなんですよね。
出どころは、600人のボランティアが数えた回答と、実プロンプトを集めた分析会社の比較と、その指標そのものを疑ったレビューの3本ですね。
2,961回の実験が示した「順位はノイズ、出現率は信号」
SparkToroの大規模調査では、600人のボランティアが3つのAIに合計2,961回のブランド推薦クエリを実行したそうです(R)。ここでまず確認したい事実が2つあります。
- 同一リストの再現は1%未満、順序一致は約0.1%
- いっぽうで「何回中何回出たか」を見る出現率は安定
分かれ目は、1回聞いたか、何度も聞いて数えたかであります。同じ質問を繰り返すと、順位はばらけても「何回中何回出たか」のほうは落ち着いてくるわけですね。
今日の順位が3位でも明日は7位、みたいな数字を真顔で並べても、それはサイコロの出目を記録しているようなものでしょう。
高可視性ブランドが71回中97%で出るような結果なら、月次比較の土台として十分に実務的であります。
推定プロンプトでも、相対比較ならまだ使える
Otterly AIの分析も、この話を補強してくれています(R)。
実プロンプトは平均15.1語、推定プロンプトは8.8語で、入力の性格はかなり違っていたんだそうな。
実プロンプトのほうが人称や文脈が多く、推定側は短く商業寄りに偏りやすいわけですね。
なんですが、ブランドの相対ランキングは両者で「かなり類似」していたんですよね。つまり推定プロンプトは実態そのものではないけれど、競合との位置関係をざっくり掴む用途になら、まだ使えるという整理になりましょう。
「プロンプト検索ボリューム」は精密に見えてズレやすい
jaeckert-odaniel.comの批判的レビューは、もう一段厳しい論点を出しています(jaeckert-odaniel, 2025)。
「プロンプト検索ボリューム」は、数字の見た目こそ精密でも、土台が偏っている可能性が高い、という指摘ですなぁ。
- 元データがデスクトップChrome寄りで、モバイル利用を取りこぼしやすい
- パネル属性がテック系に寄り、が崩れやすい
- 小サンプルの外挿で誤差が積み上がり、疑似精度になりやすい
この指標は、仮説づくりには使えても、予算配分の主KPIに据えるには危ない、というのが妥当な読み方でしょう。
へクス子は、この手の数字を見るときはパネルの内訳から先に開いております。
スコアの数字より、その出どころを先に読む
AI可視性ツールを開くと、つい順位やスコアの数字そのものに目が行きます。
ですが、実務でまず読むべきなのは数字の大きさではなく、その出どころのほうです。
何回の反復から出た数字なのか、出現率をどう定義しているのか。
ここが曖昧なままだと、ダッシュボードがどれだけきれいでも、判断はかなり危うくなります。
SparkToroのように方法論を公開しているツールなら、その2つは説明を読めば分かります。少なくとも数十回の反復測定を前提にしているかどうかも、同じ場所で確かめられますよ。
反復回数と出現率の定義。ダッシュボードの数字より先に、この2つを探しにいきましょう。
一方で、「プロンプト検索ボリューム」の絶対値は、そのままKPIに置かないほうが安全でしょう。
順位トレンドや一次データと合わせて、補助指標として読むくらいが現実的だと思います。
「プロンプト検索ボリューム」の扱いだけ先に深掘りしたい方は、データ源はデスクトップChromeのパネルだけ。「プロンプト検索ボリューム」の正体 を続けてどうぞ。
出典
- Rand Fishkin (SparkToro/Gumshoe), “NEW Research: AIs are highly inconsistent when recommending brands or products”, 2026-01-27, sparktoro.com
- Thomas Peham (Otterly AI), “Real vs Estimated Prompts: I Analyzed 100s of Real ChatGPT Queries”, 2026-02-03, otterly.ai
- jaeckert-odaniel.com, “Prompt search volume: Real data or all guessed?”, 2025-12-16, jaeckert-odaniel.com