もどる HexScope Lens

「llms.txt」を置く前に、AIが読みに来ている場所を13万7千サイトで調べた話

POINT この記事のポイント
  • 「AI対策には、まず専用ファイル」という通説
  • AIが取りに来ていたのは、いつも公開しているページ

「AI対策として、まず llms.txt を置きましょう」。社内や代理店の提案書で、こんな一文を見た方も多いんじゃないですかね。

robots.txt のAI版です、と説明されると、たしかに置かない理由はなさそうに見えます。

ファイルを1枚用意するだけですし、費用もほぼかかりません。へクス子も、やらないよりはマシだろうと思っておりました(押し入れの非常用持ち出し袋くらいの気持ちですよ)。

なんですが、ここでひとつ、素朴な疑問が残るわけです。

置いたあと、それは本当に読まれているんでしょうか。

この問いに、13万7千サイトのサーバーログで答えた調査が出てきまして。今回はそのへんを掘り下げてみたいと思います。

そもそも「llms.txt」って、何を置いているんでしたっけ

ってのは、サイトの重要ページや要約をまとめて、サイトのルート(一番上の階層)に置くテキストファイルのことですね。

2024年に提案された仕様で、「AIにはここを読んでほしい」と示す案内図のような位置づけであります。

ただ、ここが肝心なところなんですが、主要なAIプラットフォームがこのファイルを読むことは、公式にはコミットされていません。

Google にいたっては、検索システムは llms.txt を読まないと明言しています。

つまり「置けば読まれる」を保証する仕組みは、いまのところ存在しないわけですね。

13万7千サイトのサーバーログを開けてみたら

では、実際のところどうなのか。見ていくのは、SEOツールを手がける Ahrefs が2026年6月に公開した分析であります(R)。

対象は、同社の計測基盤で2026年5月にトラフィックのあった 137,210 ドメイン。

材料になったのはです。サーバーログってのは、誰がどのファイルを取りに来たかの生の記録ですね。

推定ではなく実際に来た記録ですから、「読まれたのか」を見るにはうってつけの材料っすね。

なお Ahrefs はSEOツールのベンダーですから、「従来型のSEOが有効」という結論に利害を持つ立場ではあります。

採用率28%という数字も、同社の利用サイトに偏った上限寄りの値だと発行者自身が明記しておりますね。

そのうえで、出てきた数字を並べてみましょう。

  • 有効な llms.txt を公開していたドメイン: 28%(約38,360)
  • そのうち2026年5月にリクエストが1件もなかった割合: 97%
  • 何らかのリクエストがあったドメイン: 3%(約1,100)

置いたはいいものの、9割以上のファイルは、その月に一度も取りに来られていなかったわけです。

その3%、取りに来ていたのは誰だったのか

で、この中身がまた面白いところでして。

リクエストの96%はボット、人間は4%だったそうな。

そのボットのうち、AI系と識別できたのは19.5%。残る77%は、AIとは関係のないツール類だったわけですね。

しかもその中の12%は、llms.txt が正しく置かれているかを点検するSEOツールだったんですよ。

さらにAI系の内訳を開くと、こんな並びになります。

  • AIエージェントやその基盤: 10.5%
  • AIの学習用クローラー: 5.3%
  • AIアシスタント: 2.5%
  • AI検索の取得ボット: 1.1%

個別のボットで見ると、GPTBot が4.51%、ClaudeBot が0.80%だったそうな。

そして、いちばん効いた事実がこれですね。

llms.txt を置いていないサイトに、AIボットがそれを探しに来たケースは0件でした。

探しに来ていないのだから、置いても取りに来ない。順序としては、そういうことになりましょう。

置く側だけが、1年で8.8倍に増えていた

一方で、置く側の動きはまったく逆を向いていまして。

Originality.ai が300万サイト以上を12か月追った集計では、llms.txt を置いたサイトが 4,088 から 36,120 へ。1年で8.8倍ですね。

似た形式の llms-full.txt や ai.txt も、規模はずっと小さいながら100倍前後に伸びています。

サイト側の期待だけが先に膨らんで、エンジン側の対応がまだ追いついていない。数字で見ると、このズレはかなりくっきり出ていますなぁ。

ここで話を終えると、ただの残念なニュースになってしまいますね。ところが、へクス子がこのログで面白いと思ったのは、ここから先の話なんですよね。

では、AIが実際に読みに来ているのはどこなのか

ここまで見てきたのは、「読まれていないファイル」のほう。ここからは、実際に読まれている場所の話になります。

同じ分析が示しているのは、AI検索のクローラーが、サイトの本体を直接取りに来ているという事実であります。

HTML ってのは、要するにウェブページそのものの中身のことなんですよ。人間がブラウザで見ているページと同じものを、AIも取りに行っているわけです。

だとすれば、AIに読ませたい情報の置き場所は、専用ファイルではなくページ本体の中ということになります。

そう考えると、確かめるべき点もだいぶ具体的になりますね。

  • 主要なページが、AIから取得できる状態になっているか
  • 中身が、AIに読み取れる構造と表現になっているか
  • サイトの外に、第三者からの言及が積み上がっているか

このうち最初の2つは、以前の記事でも数字が出ているところでしょう。

商品ページの3割がAIから見えていなかったという調査と、出典と数字を添えると引用が4割変わったという分析

新しいファイルを1枚増やすより、いま持っているページを整えるほうが、実測に照らせば近道になるわけです。

新しいファイルより、いま持っているページから確かめる

そんなわけで、今回の話をマーケター目線でまとめてみましょう。

llms.txt が悪いわけでも、置いたことが間違いだったわけでもありません。

いまのところエンジン側がそこを見に来ていない、というだけの話ですからね。

一方で、AI検索のクローラーがページ本体を取りに来ていることは、同じログではっきりしています。だとすれば、限られた手間はそちらへ寄せるのが合理的でしょう。

では、どこから手を付けるか。

まず、自社の主要なページがAIから取得できる状態になっているかを確かめること。AI向けの新しい置き物を探す前に、いま公開しているページが読める状態かを見るほうが先ですね。

そのうえで、AI上で自社の名前がどれだけ出て、どのページが引用されているかを定点で測ること。整えた効果が届いているかどうかは、測らないと分かりません。

手元にあるものを、もう一度読める形に整える。地味な話ですが、こういうのが案外いちばん効くんでございますよ。


出典

  • Ahrefs (Louise Linehan), “We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read”, 2026年6月15日, ahrefs.com(Ahrefs Web Analytics / Bot Analytics のサーバーログをもとに、2026年5月にトラフィックのあった 137,210 ドメインを分析。ルートの llms.txt が HTTP 200 を返し実体が Markdown であることを検証したうえで、有効な llms.txt を公開していたのは28%(約38,360ドメイン)、そのうち97%は2026年5月のリクエストが0件、何らかのリクエストがあったのは3%(約1,100ドメイン)。その3%の内訳はボット96%・人間4%で、ボットのうちAI系は19.5%、非AI系ツールが77%(うち12%は llms.txt を監査するSEOツール)。AI系の内訳はAIエージェント/エージェント基盤10.5%、AI学習クローラー5.3%、AIアシスタント2.5%、AI検索の取得ボット1.1%。個別ボットは GPTBot 4.51%、ClaudeBot 0.80%、DeepseekBot 0.02%。存在しない llms.txt を AI ボットが探しに来たケースは0件。Google は検索システムが llms.txt を読まないと明言。AI検索のクローラーはHTML本体を直接取得しており、投資先はHTML本体の可読性・構造・権威性になると結論。限界: Ahrefs はSEOツールベンダーで従来型SEOが有効という結論に利害を持ち、計測対象が同社利用サイトに偏るため採用率28%は上限寄りの数字だと発行者自身が明記している)
  • Originality.ai の12か月トラッキング(300万サイト以上、2025年6月〜2026年5月)。報道まとめ: PPC Land, “llms.txt adoption rises 8.8x but 97% of files get zero AI requests”, 2026年6月, ppc.land(llms.txt を設置したサイトは 4,088(2025年6月)から 36,120(2026年5月)へ8.8倍に増加。llms-full.txt は 23 → 2,463サイト(107.1倍)、ai.txt は 4 → 397サイト(99.3倍)。3形式の合計は 38,980サイトで、llms.txt が実装の92.7%を占める)
この記事をシェア
Bluesky X
記事一覧にもどる