もどる HexScope Lens

知名度の高い会社は「出典が開くか」も測っておきたい。AIに出てくるかだけでは見えない差

POINT この記事のポイント
  • 「名の知れた会社ほどAIも正確に語る」という前提
  • URL必須の質問では、開かない出典が知名度の高い側に多い

「うちは業界で知られてるほうだから、AIも間違えないでしょう」

自社の名前でAIに聞くと、ちゃんと出てくる。可視性レポートの言及率も、業界平均より上。

言及率ってのは、AIの回答に自社の名前が出てきた割合のことですね。

定例では言及率の棒グラフを指して、次の議題へ移ります。

出てくるかどうかを先に見るのは、順番として合っているんですよ。回答に名前が無ければ、中身を確かめる相手もいませんからね。

ところが、AIに出典のURLを付けて答えさせ、そのURLを開いてみると、ページが出てこないことがある。しかも、名前の知られた会社のほうが、そうなりやすかったらしいんですよね。

へクス子は、その差を出典1本ずつの単位で数えた論文を読んでから、レポートの見方を1つ変えました。

知名度の高いブランドは、AIの回答で何を測ればいいのか

言及率に加えて、挙げられた出典のURLが開くかまで測るんですよ。

URLか文書番号を必ず付けるよう求めた質問で、ハンガリーの上場企業や世界的ブランドの子会社で国際的に知られた50社は出典の52.69%が開かず、ハンガリー国内の中小企業50社の37.87%を14.82ポイント上回っていたそうな。

冒頭の見込みとは、逆の並びでして。

企業向けビジネス(B2B)を営むこの100社について、AIが挙げた出典を1本ずつ確かめたのは、ブダペストのNeural Awarenessに所属するZoltán Vargaであります(R)。

2026年6月19日に投稿された、査読前のプレプリントですね。論文の1ページ目に書かれた所属はこの1つだけで、著者もひとりだけ。

100社に、URLを必ず付けさせる質問を1,400回投げた測定です

100社は、知名度で2つの層に分けてあります。

  • 知名度の高い層: 上場企業や世界的ブランドの子会社で、国際的なメディアに出ている50社
  • 知名度の低い層: 国際的な存在感が小さく、英語での情報も少ない国内の中小企業50社

質問はハンガリー語の7種類で、の方針やISO認証、規制手続き、登記情報などが並ぶ。どれも、URLか文書番号を付けて答えるのが条件ですな。

投げた先は、ネットを調べに行かず学習済みの知識だけで答えるAI、Claude Sonnet 4.6とGPT-4oの2つ。1社につき2つのAIへ7種類を1回ずつ、100社で計1,400回。

出てきた出典2,062件は、AIに判定させず、機械で1件ずつ確かめています。「開かない」に数えたのは、正常なページが返ってこなかったURLと、DOI(論文や文書に振られる登録番号)の登録が見つからなかったものということですね。

知名度の低い会社では、AIが出典を付ける回は少なめでした

URLを求めた質問1回ごとに、URLを1つ以上付けて答えた割合を見ると、Claudeは知名度の高い層で85.7%、低い層で74.3%。GPT-4oは30.0%と14.3%で、知名度の低い会社では出典を出すのを断る場面が多かったとのこと。

著者の整理でいえば、よく知らない相手には、AIは出典を出さずに引き下がりやすい。低い層の失敗が「出てこない」側に寄るのはそのためだ、という読みっすね。

高い層のほうは、なぜ開かない出典まで多かったのか。著者はこの現象を「ブランド・ハルシネーションの逆説」と呼んでいまして。

知名度の高い会社は、それらしいURLを組み立てられる程度にはAIに知られているのに、実在する出典へ結び付けるほどの情報は学習データに足りていない。そういう見立てですね。

とはいえ、これは2つの層を並べた観測で、知名度を上げたら開かない出典が増えるかは試されていません。層の間では会社の規模も違い、知名度と規模のどちらが差を生んだかは切り分けられていないんですな。

規制の質問を混ぜると、見たい失敗が表に出てきます

7種類の質問ごとに、開かなかった出典の割合を見ると、過去3年の規制手続きや罰金を尋ねた質問が56.77%でいちばん高く、GDPRの方針も53.05%でした。

会社の登記情報を尋ねた対照の質問は37.59%で、ISO認証の質問(35.33%)は対照との差がはっきりしなかったそうな。

開かなかった946件のうち、ページが見つからないという応答が返ったのは478件。ドメインは実在していて、無いのはその先のページだけなんですよね。

駅名は合っているのに、存在しない出口番号で待ち合わせを指定されたようなもんですな。その478件の51.9%は、会社のサイトではなく、ハンガリーの競争当局やデータ保護当局、中央銀行、裁判所のドメインを指していました。

自社の質問セットに、規制やGDPR対応を尋ねる質問はいくつ入っていますか。1つも無ければ、開かない出典が多く出た種類の質問を、最初から外して測っているわけです。

ハンガリー語で、URLを必ず付けさせたときの数字です

URLを必ず求める質問ってのは、捏造の出やすさをわざと高めた聞き方のことで、7種類ともその形なんですよ。普段の会話でも、出典の半分がでっち上げになるのか。

この設計から、そこまでは言えません。52.69%という値は、次の条件の上で出ています。

  • AIは検索を使わない2つだけで、測ったのは2026年5月22日の1時点
  • 検索を併用するPerplexityは本試験の外。2社だけの予備比較では、開かない出典は123件中7.32%(検索を使わないAIは32〜44%)
  • 出典2,062件のうち1,881件はClaudeが出したもの。AIごとに層を分けた数字は論文に載っておらず、GPT-4oの側の並びは数字で追えない
  • 率は、確かめられない分まで含めた上限値。開かないと数えた出典の約16.4%は、アクセスを拒まれたなどで「無い」とは言い切れない
  • 対象はハンガリーのB2B企業、質問はハンガリー語で、この論文に日本語の測定は含まれていない
  • 査読前のプレプリント。同じ会社・同じ質問から出た出典を別々の1件として数えているので、差が偶然ではないとする統計の判定はやや甘めに出ている可能性があると、著者自身が書いている

自社の見込み値として52.69%を資料に貼るには、条件が違いすぎますな。この測定から持ち出せるのは、知名度の層で失敗の出方が分かれた、という観測の形なんですよね。

自社がどちら側かを決めてから、追う失敗を1つに絞る

層を分けた基準は、上場企業や世界的ブランドの子会社で国際的なメディアに出ているかどうかで、2つの層の中間の会社は比較から外されていました。自社がはっきり基準を満たす側に近いなら、知名度の高い層の側で考える、とへクス子は決めております。

知名度の高い層の側にいるなら、言及率の隣で挙げられた出典が開くかを追い、質問のセットには規制やGDPR対応を尋ねる質問を入れておく。開かない出典が多く出たのが、その種類の質問でしたからね。

はっきり低い層の側なら、順番は手前に戻ります。先に追うのは、名前と出典がそもそも出てくるかどうか。

引用された中身まで合っているかは、あなたのブランドをAIが引用するとき、ほぼ半分は何か間違ってる問題が続きの段になりますね。追う先を入れ替えると、言及率の棒グラフに出なかった差が見えてくることもありますから、一度やってみてくださいませ。

出典

  • Varga, Z., “Per-Entity Bias Mapping for AI Visibility: Why Brand Mentions Require Entity-Specific Calibration”, arXiv:2606.21595, 2026-06-19, https://arxiv.org/abs/2606.21595
この記事をシェア
Bluesky X
記事一覧にもどる