Irgendwo in einem Agentur-Deck oder im Slack-Thread deines eigenen Teams steht dieser eine Satz: Für die KI legst du erst mal eine llms.txt an.
Dazu kommt meist die Erklärung in einem Halbsatz — das ist die robots.txt für KI — und dann fällt einem spontan halt kein Gegenargument ein.
Eine Datei. Fünf Minuten Arbeit. Ich hab auch eine hochgeladen, mit dem Gedanken, dass es ja nicht schaden kann (dasselbe Prinzip wie beim Notfallrucksack im Schrank, den ich nie geöffnet habe).
Nur bleibt da eine ziemlich banale Frage.
Liest die Datei da oben eigentlich irgendwer?
Genau die hat sich jetzt mal jemand richtig angeschaut — mit den Server-Logs von 137.000 Websites.
Wozu ist diese llms.txt noch mal da?
Die ist eine Textdatei im Wurzelverzeichnis deiner Website — also ganz oben, da wo auch die robots.txt liegt — mit einer Liste deiner wichtigen Seiten und deren Zusammenfassungen. Heißt im Kern: ein Zettel an die Modelle mit der Ansage „hier lang”.
Vorgeschlagen wurde das Format 2024. Die Idee ist eine Art Sitemap, nur für KI geschrieben statt für Google.
Nur hat die Sache einen Haken. Keine große KI-Plattform hat sich verpflichtet, die Datei zu lesen.
Google ist sogar noch weiter gegangen und sagt offen, dass die eigenen Suchsysteme die llms.txt nicht auswerten.
Sprich: Technisch gibt es nichts, was aus „ich hab sie hochgeladen” ein „sie wurde gelesen” macht. Genau diese Lücke füllen jetzt die Logs.
137.000 Websites, einmal durchleuchtet
Die Analyse kommt von Ahrefs, dem SEO-Tool-Anbieter, veröffentlicht im Juni 2026 (die Studie).
Das Team hat alle Domains aus dem eigenen Messnetz genommen, die im Mai 2026 Traffic hatten — 137.210 Stück — und sich die angesehen.
Ein Server-Log ist die rohe Mitschrift, wer welche Datei abgerufen hat. Keine Schätzung, kein Modell, sondern die echte Besucherliste. Für die Frage „wurde das gelesen?” gibt es wohl kaum besseres Material.
Ein Vorbehalt gehört vorweg, und der wiegt schwer: Ahrefs verkauft SEO-Tools, und „klassisches SEO funktioniert weiterhin” ist für die Firma ein bequemes Ergebnis. Ahrefs schreibt selbst dazu, dass die Messung zu den eigenen Nutzern hin verzerrt ist — die Verbreitung von 28 % ist also eher eine Obergrenze.
Und was kam raus?
- Domains mit gültiger llms.txt: 28 % (rund 38.360)
- Davon ohne eine einzige Anfrage im Mai 2026: 97 %
- Mit mindestens einer Anfrage: 3 % (rund 1.100)
Bei mehr als neun von zehn Dateien kam in dem Monat also niemand vorbei. Kein einziges Mal.
Und wer hat die 3 % abgeholt?
Jetzt wird’s kurios.
96 % dieser Anfragen kamen von Bots, 4 % von Menschen.
Und von den Bots ließen sich nur 19,5 % der KI zuordnen. Weitere 77 % waren Werkzeuge, die mit KI nichts zu tun haben — davon 12 % SEO-Crawler, die prüfen, ob die llms.txt korrekt installiert ist.
Ein hübscher Kreis: Das Hauptpublikum dieser Datei ist die Software, die kontrolliert, ob es die Datei gibt.
Schlüsselt man den KI-Anteil auf, sieht die Verteilung so aus:
- KI-Agenten und Agenten-Infrastruktur: 10,5 %
- Trainings-Crawler der Modelle: 5,3 %
- KI-Assistenten: 2,5 %
- Abruf-Bots der KI-Suche: 1,1 %
Einzeln betrachtet: GPTBot 4,51 %, ClaudeBot 0,80 %.
Die Zahl, die die Sache für mich entschieden hat, ist aber eine andere.
Auf Websites ohne llms.txt hat kein einziger KI-Bot danach gefragt.
Denn da klopft schlicht niemand an. Und wenn niemand anklopft, bringt dir eine neue Tür halt auch keinen Besuch.
Gleichzeitig: 8,8-mal so viele Dateien wie im Vorjahr
Auf der Seite der Websites läuft es ja genau andersrum.
Originality.ai hat über drei Millionen Websites zwölf Monate lang verfolgt: Die installierten llms.txt-Dateien stiegen von 4.088 auf 36.120 — 8,8-mal so viele in einem Jahr.
Die verwandten Formate (llms-full.txt, ai.txt) legten um rund das Hundertfache zu, allerdings von so kleinen Basiswerten aus, dass der Faktor schmeichelt.
Die Websites erwarten also längst etwas, das die Engines nie zugesagt haben. So klar sieht man diese Schere selten in Zahlen.
Wenn ich hier aufhören würde, wäre das ein ziemlich trister Artikel. Nur haben dieselben Logs eine zweite Hälfte — und die ist der brauchbare Teil.
Wo holt sich die KI ihren Lesestoff wirklich?
Bisher ging es um die Datei, die keiner abruft. Jetzt kommt die, die alle abrufen.
Dieselbe Analyse zeigt: Die Crawler der KI-Suche holen sich direkt das der Websites.
HTML ist schlicht die Seite selbst — das, was ein Mensch im Browser sieht. Die Modelle gehen also genau dorthin, wo deine Kunden eh schon sind.
Damit verschiebt sich die ganze Frage. Wenn die KI etwas lesen soll, gehört es nicht in eine Nebendatei, sondern auf die Seite.
Das macht die Prüfung angenehm konkret:
- Sind deine wichtigsten Seiten überhaupt abrufbar?
- Sind die Inhalte so strukturiert, dass ein Modell sie lesen kann?
- Redet außerhalb deiner Domain irgendwer über dich?
Zu den ersten beiden Punkten gibt es längst Zahlen: Knapp ein Drittel der Produktseiten war für den Einkaufs-Traffic aus KI unsichtbar, und Quellen plus Statistiken haben die Zitierchance um 30–40 % gehoben.
Gemessen an den Logs ist das Aufräumen im Bestand also der kürzere Weg.
Fazit: Erst die vorhandenen Seiten aufräumen, dann messen
Nichts davon macht die llms.txt zum Fehler. Es ist ja eine vernünftige Idee, die die Engines bislang nicht aufgegriffen haben — noch nicht, vielleicht.
Aber die Crawler holen sich nachweislich heute dein HTML, und Aufmerksamkeit ist endlich. Also gehört sie dorthin.
Fang damit an zu prüfen, ob deine wichtigsten Seiten wirklich abrufbar und lesbar sind. Bevor du nach der nächsten Datei für die KI suchst, sollte das sauber lesbar sein, was schon online steht.
Und danach schaust du, ob sich was bewegt: wie oft dein Name in KI-Antworten auftaucht und welche deiner Seiten zitiert werden. Aufräumen im Bestand ist unspektakulär — und wirkt trotzdem oft am stärksten.
Quellen
- Ahrefs (Louise Linehan), „We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read”, 15. Juni 2026, ahrefs.com (Server-Logs aus Ahrefs Web Analytics / Bot Analytics zu 137.210 Domains mit Traffic im Mai 2026. Nach der Prüfung, dass eine llms.txt im Wurzelverzeichnis HTTP 200 mit echtem Markdown liefert, veröffentlichten 28 % der Domains (rund 38.360) eine gültige Datei; 97 % davon erhielten im Mai 2026 keine einzige Anfrage, 3 % (rund 1.100) mindestens eine. Von diesen 3 %: 96 % Bots, 4 % Menschen; unter den Bots 19,5 % KI-bezogen und 77 % nicht KI-bezogene Werkzeuge, davon 12 % SEO-Tools, die die llms.txt prüfen. KI-Aufteilung: KI-Agenten/Agenten-Infrastruktur 10,5 %, Trainings-Crawler 5,3 %, KI-Assistenten 2,5 %, Abruf-Bots der KI-Suche 1,1 %. Einzelne Bots: GPTBot 4,51 %, ClaudeBot 0,80 %, DeepseekBot 0,02 %. Null Fälle, in denen KI-Bots eine nicht vorhandene llms.txt angefragt haben. Google erklärt, dass die eigenen Suchsysteme die llms.txt nicht lesen. Die Crawler der KI-Suche rufen direkt das HTML ab; die Studie schließt daraus, dass Investitionen in Lesbarkeit, Struktur und Autorität des HTML gehören. Einschränkung: Ahrefs ist ein SEO-Tool-Anbieter mit Interesse am Ergebnis „klassisches SEO funktioniert”, und die Messung ist zu Websites der eigenen Nutzer hin verzerrt — der Anbieter selbst weist darauf hin, dass die Verbreitung von 28 % eine Obergrenze ist.)
- Zwölfmonats-Tracking von Originality.ai (über 3 Millionen Websites, Juni 2025 bis Mai 2026). Aufbereitung: PPC Land, „llms.txt adoption rises 8.8x but 97% of files get zero AI requests”, Juni 2026, ppc.land (Websites mit llms.txt stiegen von 4.088 im Juni 2025 auf 36.120 im Mai 2026, also um das 8,8-Fache. llms-full.txt ging von 23 auf 2.463 Websites (Faktor 107,1), ai.txt von 4 auf 397 (Faktor 99,3). Die drei Formate zusammen kommen auf 38.980 Websites, wobei die llms.txt 92,7 % der Umsetzungen ausmacht.)
