「AIに記事をタダで持っていかれるくらいなら、いっそ全部ブロックしてしまおう」。コンテンツの打ち合わせで、きっと賛成でも反対でもなく、とりあえず様子見という結論に逃げたはずです。
厄介なのは、賛成する側も反対する側も、手元に数字を持っていないところなんですよ。
へクス子も去年この話を振られまして、「止めたらどうなるんでしょうね」と返すのが精一杯でした。
なんですが、実際に締め出した媒体を追いかけて測った調査が、この春に2本そろっております。
400万件の引用を数えた実測と、新聞社30社を比べた分析。
robots.txt で AI クローラをブロックすると、AI に引用されなくなるのか
なりません。各ボットをブロックしていたニュースサイト上位50件のうち、それでもAIの引用に出続けていたサイトは70.6〜92.3%でした（BuzzStream、約400万件の引用・3,600プロンプト、2026年4月8日公開）。
学習用のGPTBotを止めていたサイトでは88.2%、Googleの学習利用を止めるGoogle-Extendedでは92.3%が、引用に残っております。
robots.txtってのは、要は「このロボットはうちのサイトを読まないでください」と書いて置いておく、玄関の貼り紙みたいなファイルですね。
数えたのはデジタルPRツールを売っているBuzzStreamで、ChatGPT・Gemini・Google AI Overviews・Google AI Modeの4つ、10業種ぶんの引用を集めています（R）。
ブロックしているボット別に並べると、こうなります。
- その場でページを取りに行くChatGPT-User: 70.6%
- OpenAIの検索インデックス用のOAI-SearchBot: 82.4%
- OpenAIの学習用クロールのGPTBot: 88.2%
- Googleの学習利用を制御するGoogle-Extended: 92.3%
学習に使われるのを止めているサイトほど、引用には残っている並びになりました。
引用の出どころを数え直すと、止めている側が主流だった
同じ調査には、引用する側から見た割合も載っています。
ChatGPTが挙げた引用のうち、約70%が取得系のボットを止めているサイトから来ていました。
学習系のボットを止めているサイトからのものは、約95%。
読ませない設定にしているサイトが、引用の主流になっているわけですね。
では、なぜ読ませていないサイトが引用に出てくるのか。
なぜブロックしても引用されるのかは、まだ分かっていない
ここは原典自身が「推測しかできない」と書いているところであります。
候補に挙がるのは、モデルが学習済みで持っている知識、robots.txtに名前を書いていない別のボット、そして転載先から拾われる経路あたり。
同窓会の名簿から自分の欄を消しても、みんなの記憶までは消せないようなものでしょうな。
ニュース記事は他媒体へ回りやすいので、本人のサイトを読まなくても内容が回る、という事情もあります。
理由は確定していません。ただ実務で効いてくるのは、読ませない設定にしてもAIの答えから自社が消えるとは限らない、という結果のほうですね。
減ったのは、引用よりも来訪のほうだった
もう1本は学術研究で、Rutgers Business SchoolのHangcheng Zhao氏と、ペンシルベニア大学ウォートン校のRon Berman氏がAI系クローラのブロックとトラフィックの関係を測っています（R）。
比べたのは、生成AI系のクローラを止めた媒体と、止めなかった媒体の週次トラフィック。主標本は新聞社30社、対象期間は2022年11月から2024年5月までです。
使っているのは差の差分析ってやつで、要は「止めた側と止めなかった側で、変化の大きさがどれだけ違ったか」を取り出すやり方ですね。
ブロック実施後6週以内の推定値は、SimilarWebで−7.4%、Semrushで−6.9%、Comscoreで−6.5%。独立した3つのデータが、そろって約7%減の側に振れました。
引用は7〜9割残るのに、来訪だけが減っていく。この非対称が、締め出しという打ち手の割に合わなさを作っています。
この数字を、どこまで自社にあてはめられるか
まず、どちらも対象はニュース媒体です。転載で内容が回りやすい世界なので、一般企業の自社サイトへそのまま置き換えられません。
BuzzStream側は計測期間が非公表で、robots.txtの書き換えと引用の時点対応が保証されていないんですよ。引用データもXOFUという単一のツール頼りで、第三者による検証もありません。
調査主体がデジタルPRツールの販売事業者である点も、頭の隅に置いておくのがフェアでしょう。「止めるより外で言及を取るほうが効く」という結論は、その会社の商売に近いところにあります。
学術研究のほうは、主標本が30社と小さく、信頼区間が0をまたがない（統計的に有意な）のはSimilarWebの推定だけです。約20週後には有意でなくなります。
査読前のプレプリント、つまり学術誌の審査を通す前に公開された論文である点も押さえておきたいところ。
著者自身も、分析期間がAI統合型の検索が広く普及する前にあたること、AIの画面内で完結する消費はこのトラフィックデータで捉えられないことを断っています。
加えて、どちらの調査も対象は米国中心の媒体で、日本語圏での実測ではありません。
へクス子は、この数字をそのまま自社の見込みに置くのは避けて、日本語で聞かれたときの出方は手元で測ることにしております。
もう1つ。この研究は初期版をもとにした報道で「月次トラフィック23.1%減」という数字が流通しました。
同じ著者が週次で測り直した最新版では約7%まで下がっているので、古い数字を見かけたら最新版のほうを見てくださいませ。
締め出しを決める前に、AIの答えに自社がどう出ているかを見ておく
実際に触るところは、2か所です。
1つめ。自社のrobots.txtが、AI系のボットをどう扱っているかを確認する。書いた覚えがなくても、CMSやテンプレートの既定値で何かの行が入っていることがあります。
2つめ。AIの答えに自社がどう出ているかを、遮断の有無と切り離して見る対象にしておく。自社カテゴリでよく聞かれる質問を3〜5本決めて、主要なAIに同じ問いを投げてみるところからで足ります。
読ませた後にどうなるかは自社サイトがAIに何万回も読まれてるのに、流入はほぼゼロな件で、読ませるための追加ファイルの話は「llms.txt」を置く前に、AIが読みに来ている場所を13万7千サイトで調べた話で書いております。
今回はその手前、読ませるかどうかを決める場面の話でした。
締め出しても、AIが語る自社の姿は消えません。消せないのなら、把握して作りに行くほうが筋が通りますね。
ということで、今日はこのあたりで失礼しますよ。
出典
- Hangcheng Zhao（Rutgers Business School）, Ron Berman（The Wharton School, University of Pennsylvania）, “Strategic Response of News Publishers to Generative AI”, arXiv:2512.24968, 2026-04-15, https://arxiv.org/abs/2512.24968
