„Willst du von der KI zitiert werden, dann schreib mit Quellen und Zahlen.” Diesen Ratschlag liest man gerade an jeder Ecke, oder?
Ging mir genauso: nickte, fand’s einleuchtend, setze es selber um.
Nur eine Sache hat mich dabei die ganze Zeit gewurmt.
Angenommen, diese Schreibweise wirkt tatsächlich. Was passiert dann im Kopf der KI, dass ausgerechnet mein Text ausgewählt wird?
„Sie nimmt halt das, was überzeugender klingt” ist als Antwort keine Antwort.
Das ist so, als würdest du das Essen mit „schmeckt” beschreiben. Klingt nach Aussage, erklärt aber genau nichts.
Genau diesen Moment, in dem die KI eine Quelle auswählt, hat jetzt ein Team bis auf die Schaltungsebene im Modell auseinandergenommen. Da bin ich der Sache mal nachgegangen.
Wie entscheidet die KI überhaupt, wem sie glaubt?
Wir schauen auf eine Arbeit zur mechanistischen Interpretierbarkeit, die im Mai 2026 auf arXiv erschienen ist (R).
Mechanistische Interpretierbarkeit heißt im Kern: Man macht das Modell bis auf die Verdrahtungsebene auf und verfolgt, warum genau diese Antwort rausgekommen ist. Sprich, nicht „was sagt die KI”, sondern „welches Bauteil hat es entschieden”.
Das Team hat sich vorgenommen, das Phänomen, dass eine KI sich überreden lässt und die richtige Antwort fallen lässt, direkt aus den Schaltkreisen im Inneren dingfest zu machen.
Was passiert, wenn man der KI eine „absichtlich falsche Überredung” hinwirft?
Getestet wurden vier Familien quelloffener Modelle: Llama-3, Qwen-3, Gemma-2 und Gemma-3.
Denen hat das Team zwei Arten von Aufgaben vorgelegt. Die erste heißt NQ2, ein Faktenquiz mit eingebauter Überredung.
Vier Antwortmöglichkeiten stehen zur Wahl: die richtige, ein absichtlich gepflanztes Falschziel, auf das die Überredung lockt, und dazu zwei Ablenker.
Die zweite Aufgabe heißt Geo-Bench, und hier soll die KI selbst auswählen, welche Quelle sie nimmt.
Von vier Kandidaten-Quellen wird genau eine gegen eine GEO-optimierte Fassung getauscht, die anderen drei bleiben unangetastet. GEO steht für Generative Engine Optimization: Man optimiert einen Inhalt nicht mehr auf Platz eins bei Google, sondern darauf, dass die KI ihn überhaupt aufgreift.
Und dann kommt die eigentliche Arbeit, eine eingriffsbasierte Kausalanalyse: Man schaltet die Bauteile der Schaltung eines nach dem anderen ab und schaut, wo es klemmt.
Entschieden hat ein einziger Kopf mitten im Modell
Und was kam raus? Ehrlich, ziemlich verblüffend.
Die finale Antwort des Modells wurde fast vollständig von einer winzigen Handvoll Aufmerksamkeitsköpfen (das sind die Bauteile, die entscheiden, auf welchen Teil des Textes das Modell gerade schaut) in den mittleren Schichten festgelegt.
Als Hauptdarsteller namentlich benannt wurde ein einzelnes Bauteil: der 24. Kopf in der 17. Schicht, kurz L17H24 — Schicht 17, Kopf 24.
Dieser Kopf hat eine reichlich stumpfe Eigenschaft: Er kopiert schlicht die Antwortoption, auf die seine Aufmerksamkeit gerade zeigt. Mehr nicht.
Heißt: Da wird nicht abgewogen, nicht auf Wahr und Falsch geprüft. Wohin die Aufmerksamkeit zeigt, so fällt die Antwort — rein mechanisch.
Überredung „schleift kein Selbstvertrauen ab”, sie lässt umspringen
Spannend wird die Frage: Was verändert sich in der überredeten KI eigentlich?
Naiv gedacht würde das Vertrauen in die richtige Antwort langsam bröckeln und am Ende kippen, oder?
Tatsächlich läuft es anders. Vom Cluster der richtigen Antwort springt das Modell schlagartig ins Cluster der falschen — ein diskreter Sprung, kein sanftes Erodieren.
Der Auslöser ist ein Signal, das in den flachen Schichten entsteht, ungefähr in den Schichten 8 bis 12. Das Paper nennt es „evidence-routing feature”, also ein Merkmal, das die Beweislage umleitet.
Dieses Merkmal ist rangeins, entsteht aus Köpfen der flachen Schichten, die auf überzeugend klingende Schlüsselwörter anspringen, und lenkt die Aufmerksamkeit des Entscheidungskopfes auf ein neues Ziel um.
Kurz: Ein Schlüsselwort legt den Aufmerksamkeitspunkt um, der Entscheidungskopf kopiert, was da jetzt steht. Eine einbahnige Straße.
Das gehört aber präzise hingeschrieben. In hochbrisanten Bereichen lag die Rate, mit der die KI die richtige Antwort aufgab und aufs gepflanzte Falschziel umschwenkte, bei 29 bis 62 %.
Rund die Hälfte fällt drauf rein, das ist keine Kleinigkeit. Umgekehrt heißt es aber auch: nicht jedes Mal.
Diese Schaltung lief auch bei der echten KI-Quellenauswahl
Bis hierhin ging es ums Faktenquiz. Und jetzt kommt der eigentliche Punkt.
Die Schaltung, die man in NQ2 gefunden hat, lief bei Geo-Bench, wo die KI eine Quelle auswählt, genau so weiter.
Das gibt dem Allgemeinplatz „für die KI schreiben wirkt” endlich eine mechanische Rückendeckung.
Die eine GEO-optimierte Quelle reizt die Köpfe in den flachen Schichten, zieht die Aufmerksamkeit an, und der Entscheidungskopf übernimmt sie. So läuft das ab.
Nicht „klang irgendwie überzeugend”, sondern: Ein bestimmtes Schlüsselwort hat die Aufmerksamkeit umgelegt. Dafür gibt es jetzt eine Erklärung.
Das Paper beschreibt diese Schaltung als „narrow, monitorable” — eng und überwachbar. Der Einfluss ist nicht breit und dünn verstreut, sondern der Durchgang liegt klar auf der Hand.
Ein Vorbehalt gehört trotzdem sauber hingestellt. Diese Analyse bleibt auf ein kontrolliertes Multiple-Choice-Setting beschränkt, nicht auf den freien Fließtext im echten Einsatz.
Und ob eine Abwehr, die genau an dieser Schaltung ansetzt, tatsächlich wirkt, wurde bislang gar nicht geprüft.
Fazit: Ist die Schaltung eng, lässt sich das Reden über dich messen und steuern
Was diese Arbeit dem Marketing beibringt, ist am Ende erstaunlich klar.
Wie die KI über deine Firma redet, ist keine „Stimmung”, sondern ein benennbarer Vorgang.
Steht draußen eine „überzeugend klingende”, aber falsche Info über dich, springt die KI dorthin. Die 29 bis 62 % zeigen genau das.
Umgekehrt heißt es: Steht der richtige Fakt in überzeugender Form da, hat die Aufmerksamkeit die Chance, dorthin zu wandern.
Damit engt sich die Sache auf zwei Handgriffe ein.
- Platziere die richtigen Fakten überzeugend dort, wo Dritte sie sehen.
- Miss laufend, wie die KI deine Marke gerade beschreibt.
Ist die Schaltung eng, dann ist sie überwachbar. Kein Gegner, der als Blackbox jedem Zugriff entzogen ist.
Wie über dich geredet wird, ist nichts, was man resigniert anschaut, sondern etwas, das man misst und wo man dann handelt. Fang einfach damit an, das heutige Reden über dich zu zählen.
Quellen
- Xiangkun Sun, Lingkai Kong, Aoqi Zhang, Liang Zeng, Tonghan Wang, „How LLMs Are Persuaded: A Few Attention Heads, Rerouted”, arXiv:2605.09314, 10. Mai 2026, arxiv.org (vier quelloffene Familien Llama-3 / Qwen-3 / Gemma-2 / Gemma-3, überredungsangereichertes Fakten-QA „NQ2” und Quellenauswahl-Aufgabe „Geo-Bench”, eingriffsbasierte Kausalanalyse. Eine kleine Zahl Aufmerksamkeitsköpfe in den mittleren Schichten entscheidet die Antwort fast vollständig; der zentrale Entscheidungskopf ist L17H24, also Schicht 17, Kopf 24. Überredung ist kein sinkendes Selbstvertrauen, sondern ein diskreter Sprung von der richtigen zur falschen Antwort. Auslöser ist ein rangeins „evidence-routing feature”, das in den flachen Schichten 8 bis 12 aus Köpfen entsteht, die auf überzeugende Schlüsselwörter reagieren. Übernahmerate des gepflanzten Falschziels in hochbrisanten Bereichen 29 bis 62 %. Dieselbe Schaltung überträgt sich auf Geo-Bench, wirkt also auch bei realer generativer Quellenauswahl. Die Schaltung ist „narrow, monitorable”. Grenzen: beschränkt auf ein kontrolliertes Multiple-Choice-Setting, eine gezielte Abwehr wurde noch nicht evaluiert)
