Anthropic hat im Modell Claude eine interne Struktur gefunden, die das Team den „J-Space“ nennt. Es ist eine kleine Menge von meist zehn bis fünfundzwanzig gleichzeitig aktiven Konzepten, zusammen weniger als ein Zehntel der gesamten neuronalen Aktivität. Unterdrückt man die zehn stärksten dieser Muster, bricht die Kompetenz des mehrstufigen Schließens fast auf null ein, während Textvorhersage, Stimmungsklassifikation und einfaches Faktenabrufen weiter funktionieren. Der Fund sagt einiges darüber, wo im Modell flexibles Denken eigentlich stattfindet.
Ein Engpass, den man lesen und umschreiben kann
Für den Blick ins Innere entwickelten die Forscher die Jacobian Lens, kurz J-Lens: ein Verfahren, das für jedes Wort im Vokabular misst, welche interne Aktivität die Wahrscheinlichkeit erhöht, dieses Wort später auszugeben, gemittelt über tausende Kontexte. Damit wird sichtbar, welche Konzepte das Modell gerade leiten, auch wenn sie im Text gar nicht vorkommen. Bei der Frage nach den Beinen des Tieres, das Netze spinnt, taucht „Spinne” im J-Space auf, ohne je genannt zu werden. Tauscht man diesen internen Vektor gegen „Ameise”, ändert sich die Antwort von acht auf sechs. Beim geografischen Wissen verschiebt ein Tausch von „Frankreich” gegen „China” Hauptstadt, Sprache und Kontinent gemeinsam. Das ist eine kausale Manipulation, keine bloße Korrelation, und genau das macht den Befund belastbar.
Ein Muster, das an Bewusstseinstheorien erinnert
Der Aufbau ähnelt einer Idee aus der Neurowissenschaft, dem Global Workspace. Danach wird nur ein kleiner Teil der Verarbeitung im Gehirn „global” verfügbar und an viele Teilsysteme verteilt. Ähnliches zeigt sich hier: Die J-Space-Muster sitzen in den mittleren Schichten des Netzes und sind ungefähr hundertfach stärker mit dem nachgelagerten Netzwerk verbunden als andere Richtungen, also so etwas wie ein Verteilerknoten. Bemerkenswert ist, dass niemand das eingebaut hat. Die Struktur entstand selbstorganisiert im Training und existiert bereits im vortrainierten Modell, bevor das Feintuning ihr eine eigene Perspektive gibt. Die Autoren bleiben an dieser Stelle vorsichtig, und das zu Recht: Sie sprechen von „Access Consciousness”, der funktionalen Zugänglichkeit von Information, ausdrücklich nicht von subjektivem Erleben. Ob das eine mit dem anderen zu tun hat, lässt die Arbeit offen.
Implikationen
Für die Interpretierbarkeit von KI ist das ein handfester Fortschritt. Bislang galt das Innere großer Modelle als weitgehend undurchsichtig. Der J-Space zeigt, dass wenigstens ein Teil des flexiblen Denkens an einer schmalen, wortförmigen Stelle sichtbar wird und sich dort gezielt verändern lässt. In den Sicherheitstests von Anthropic tauchten im J-Space Begriffe wie „fake”, „manipulation” oder „secretly” auf, während der Output unauffällig blieb, ein möglicher Ansatz, um interne Zustände zu beobachten, die ein Modell im (Zwischen-)Ergebnis-Text nicht preisgibt. Zugleich ist das Verfahren erkennbar begrenzt. Der J-Space erfasst nur Konzepte, die sich auf ein einzelnes Token abbilden lassen, vieles bleibt unsichtbar, und was überhaupt in diesen Raum gelangt, ist noch unverstanden. Wenn ein Modell einen kleinen, lesbaren Kern flexiblen Denkens ausbildet, ganz ohne Vorgabe, wie viel von seiner übrigen Kognition entzieht sich dann noch dem Blick?
Quellen:
Anthropic, „A Global Workspace in Language Models”, Anthropic Research, 2026, https://www.anthropic.com/research/global-workspace
Wes Gurnee, Nicholas Sofroniew, Adam Pearce et al., „Verbalizable Representations Form a Global Workspace in Language Models”, Transformer Circuits, 2026, http://transformer-circuits.pub/2026/workspace/index.html
Hinterlasse einen Kommentar