もどる HexScope Lens

「引用されただけ」と「AIの答えに使われた」の差を2万1千件で分けた研究の話

POINT この記事のポイント
  • ChatGPTは引用が少ないのに1件あたりが重い
  • 答えに使われたページに共通する4つの厚み

「引用件数、増えてはいるんですよね」

月初のレポート会で、この一言が出た現場は少なくないはずです。

先月より引用された件数は増えている。グラフも右肩上がりになっている。

なのに、問い合わせも指名検索も、そこまで動いた感じがしない。

へクス子はこういうとき、まずグラフの期間を広げてみる側でした。体重が減らないので体重計の電池を替えてみる人か。

なんですが、数えている単位そのものが荒すぎるとしたら、期間を広げても同じ荒さが伸びるだけなんですよ。

その単位を1段分解して測り直した研究がありましてね。

AIに引用されることと、AIの答えに使われることは何が違うのか

引用元として選ばれることと、答えの中身に使われることは別の段階です。

602件の統制プロンプトに対する21,143件の引用を分解すると、ChatGPTは引用するソースが少ないのに、取得ページあたりの影響度が実質的に高いという差が出ました(R)。

一方でPerplexityとGoogleは、平均してより多くのソースを引用しておりました。

研究したのはZhang Kai、He Xinyue、Yao Jinganの3氏で、arXivでの公開は2026年4月28日となっております。

**引用の選択(citation selection)**ってのは、AIが「検索するか」を決めて、どのページを引用元に選ぶかまでの段階のこと。いまのAI可視性ツールが数えているのは、ほぼここだけであります。

**引用の吸収(citation absorption)**ってのは、そのページが答えの中身にどれだけ入り込んだかの段階のこと。引用リストに名前が載っただけのページと、答えの骨格になったページを区別する見方ですね。

使ったのは公開データセットのgeo-citation-labで、対象はChatGPT、Google AI Overview・Gemini、Perplexityの3系統。

有効な引用21,143件、取得に成功したページ18,151件から、長さや構造といった72種類の特徴を取り出して比べています。

件数を横並びにすると消えてしまうもの

で、結果がどうだったかと言いますと、引用の「広さ」と「深さ」がきれいに分かれておりました。

  • PerplexityとGoogleは、平均してより多くのソースを引用する(広い)
  • ChatGPTは引用するソースが少ないのに、1ページあたりの影響度が実質的に高い(深い)

つまり、ChatGPTの引用1件とPerplexityの引用1件は、答えへの効き方の重みが違うわけです。

ここが実務にいちばん刺さるところでして、AI別の可視性を件数だけで棒グラフに並べると、この重みの差がまるごと消えます。

Perplexityの棒が高くてChatGPTの棒が低い、というレポートを見たとします。その差が映しているのは、自社への評価の高さよりも、引用をたくさん出すというPerplexity側の仕様のほうかもしれません。

へクス子はこれを知ってから、AI別の棒グラフを見るとき、まず縦軸が何を数えているのかを確認するようになりました。

答えに使われていたページが持っていた4つの厚み

研究チームが挙げた高影響ページの共通点は、次の4つであります。

  • 長い
  • 構造化されている
  • プロンプトの意図と意味的に整合している
  • 定義・数値の事実・比較・手順という抽出できる根拠が豊富

なぜこの4つなのかと言いますと、AIの動き方が「読んで理解して要約する」より「使える断片を取り出す」に近いからだと考えられます。

取り出せる断片が置いてあるページほど、答えの骨格として使いやすい。同じ長さでも、意見の連なりより定義と数値の並びのほうが強いということですね。

裏を返すと、読み物として良くできていても、断片として切り出せる根拠が薄いページは、引用されても答えの中身には入りにくいわけです。

へクス子が有り難いと思ったのは最後の1つで、自社ページを開けばその場で確認できる粒度になっているんですよ。

その用語の定義が書いてあるか。具体的な数値が置いてあるか。他の選択肢との比較があるか。手順が順番に並んでいるか。

この4つの厚みを、どこまで信じて使うか

まず、これは査読前のプレプリントです。第三者の査読を経ていません。

著者の所属機関が明示されていないため、利害関係については判断材料がない状態です。ベンダーの調査ではなさそうですが、無所属であることも検証できないんですよね。

そして中心の結果は、著者自身が「記述的な発見」と述べているとおり記述統計です。介入実験ではありません。

言えるのは「答えに使われていたページは構造が厚かった」までで、「構造化すれば吸収される」という因果は主張されていないんですよ。

対象は602件の統制プロンプトという限られた集合で、日本語での実測ではないという点も残ります。対象AIもChatGPT・Google系・Perplexityの3系統で、ClaudeとCopilotは入っていません。

なので、この4つの厚みは「因果が確かめられた打ち手」ではなく、「自社ページを見直すときの観点」として使うのが妥当かと思います。

引用件数の隣に、答えに使われた形跡の列を足す

引用件数を追うのは、これからも続けていいんですよ。選ばれた回数は、AIに見つけられているかを示す一次的な指標ですから。

ただ、その隣にもう一列あると、同じ数字の意味が変わってきます。その引用が答えの中身に使われた形跡があるか、という列ですね。

手を動かすなら、まず自社の主要ページを1枚だけ開いてみてください。

定義・数値・比較・手順のうち、いちばん薄いものを1つ足す。今日はそこまでで十分でしょうな。4つ全部を一気に揃えにいかなくて構いません。

そのうえで、AI別の可視性比較を件数だけで並べるのは、やめておきたいですね。ChatGPTとPerplexityは引用の出し方の仕様が違うので、同じ物差しに載せた瞬間に読み間違えます。

AIごとに分けて、前月の自分と比べる。そのほうが打ち手を決める材料になりますよ。

「何回名前が出たか」から「答えのどこまで届いたか」へ。1件を1件として数えない発想が出てきたあたり、なかなか面白い流れっすね。

この記事をシェア
Bluesky X
記事一覧にもどる