Research Bites - xm-institute - Dr. Oliver MackIn einem viel zitierten Experiment von 2022 trainierten Forscher bei OpenAI ein kleines neuronales Netz auf eine schlichte Rechenaufgabe. Auf den Trainingsdaten saß die Lösung schnell, praktisch fehlerfrei. Auf neuen Daten blieb das Netz danach tausende Optimierungsschritte lang auf Ratewahrscheinlichkeit. Dann, weit hinter dem Punkt, an dem die meisten das Training abgebrochen hätten, sprang die Testleistung fast senkrecht auf nahezu hundert Prozent. Die Autoren nannten das Phänomen „Grokking”. Mich hat weniger der Sprung selbst beschäftigt als die Frage danach: Wenn Kompetenz so spät und so abrupt erscheint, woran hätte man sie kommen sehen?

Ein Wort aus der Science-Fiction für ein Phänomen aus dem Labor

Der Begriff ist geliehen. „Grok” stammt aus Robert Heinleins Roman „Stranger in a Strange Land” von 1961 und meint dort, etwas so vollständig zu erfassen, dass es Teil von einem wird. Alethea Power und Kolleginnen übertrugen das Wort im Januar 2022 auf ein maschinelles Lernphänomen: die verspätete Generalisierung. Wichtig ist die Abgrenzung, denn Grokking ist im ML-Sprachgebrauch kein Synonym für Generalisierung. Gemeint ist der spezielle Fall, dass ein Modell erst lange überanpasst, also die Trainingsdaten auswendig beherrscht, und erst deutlich später auf ungesehene Fälle überspringt.

Untersucht wurde das zunächst an kleinen, algorithmisch erzeugten Aufgaben, oft modularer Arithmetik. Das klingt nach Spielzeug, und in gewisser Weise ist es das auch. Der Reiz liegt gerade darin: Weil die Aufgabe so überschaubar ist, lässt sich der Übergang im Detail beobachten, den man bei großen Modellen nur ahnt. Andrey Gromov zeigte 2023, dass sich die gelernte Lösung für modulare Arithmetik sogar analytisch aufschreiben lässt. Das Netz findet hier keine beliebige Abkürzung, sondern eine saubere, interpretierbare Struktur.

Der Sprung kündigt sich in den Standardmetriken nicht an

Das eigentlich Unbequeme ist die Beobachtbarkeit. Die Kurven, auf die man beim Training normalerweise schaut, Trainingsfehler und Testgenauigkeit, zeigen über weite Strecken schlicht Stillstand. Nach außen sieht das aus wie ein Modell, das auswendig gelernt hat und nicht weiterkommt. Dass sich darunter längst etwas aufbaut, ist an diesen Zahlen nicht abzulesen.

Neel Nanda und Kollegen haben 2023 mit Methoden der mechanistischen Interpretierbarkeit ins Modell hineingeschaut und den Vorgang in drei Phasen zerlegt: erst reine Memorisierung, dann eine allmähliche Schaltkreisbildung, bei der sich im Hintergrund die generalisierende Struktur formt, schließlich ein Cleanup, in dem die auswendig gelernten Anteile abgeräumt werden. Der scheinbar plötzliche Sprung ist das sichtbare Ende eines Prozesses, der vorher schon lief. Nanda nennt die Größen, die diesen verborgenen Fortschritt messbar machen, „progress measures”, und der Punkt daran ist, dass es sie überhaupt erst zu konstruieren galt. Die üblichen Kennzahlen reichten nicht.

Theoretisch ordnet sich das in Arbeiten von Ziming Liu und Kollegen ein, die Grokking als eine Art Phasenübergang zwischen einem memorisierenden und einem generalisierenden Regime beschreiben, getrieben unter anderem von Regularisierung wie Weight Decay. Zugleich wäre es zu einfach, daraus schon ein Gesetz für große Sprachmodelle zu machen. Vieles davon ist an kleinen Aufgaben gezeigt, und wie weit es trägt, ist offen. Als Denkfigur ist der Befund trotzdem belastbar: Ein System kann eine Fähigkeit ausbilden, bevor ein Übergang sie nach außen sichtbar macht.

Implikation

Für Führung im KI-Zeitalter berührt das eine Stelle, die man leicht übersieht. Wir steuern Entwicklung und Reife von Systemen über Kennzahlen, und wir gehen stillschweigend davon aus, dass sich Fortschritt in diesen Kennzahlen ankündigt, bevor er eintritt. Grokking ist ein sauber dokumentierter Fall, in dem genau das nicht gilt. Die Fähigkeit war da, bevor die Standardmetrik sie zeigte, und sichtbar wurde sie erst, als jemand eigens dafür gebaute Messgrößen hinzunahm.

Das lässt sich nicht eins zu eins auf Frontier-Modelle übertragen, und man sollte es auch nicht überdehnen. Aber es verschiebt eine Vorannahme. Wenn Capability-Sprünge strukturell schwer vorhersehbar sind, weil die üblichen Beobachtungsgrößen den darunterliegenden Aufbau nicht abbilden, dann ist die Frage für Governance und Risikoeinschätzung weniger, wie schnell ein System besser wird, sondern welche Instrumente überhaupt sehen, was gerade entsteht. Woran würden wir in unseren eigenen Systemen den Sprung erkennen, bevor er passiert?

Quellen:

  • Power, A., Burda, Y., Edwards, H., Babuschkin, I., Misra, V., „Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets”, OpenAI / arXiv:2201.02177, 2022. https://arxiv.org/abs/2201.02177
  • Nanda, N., Chan, L., Lieberum, T., Smith, J., Steinhardt, J., „Progress Measures for Grokking via Mechanistic Interpretability”, arXiv:2301.05217, 2023. https://arxiv.org/abs/2301.05217
  • Liu, Z. et al., „Towards Understanding Grokking: An Effective Theory of Representation Learning”, arXiv:2205.10343, 2022. https://arxiv.org/abs/2205.10343
  • Gromov, A., „Grokking Modular Arithmetic”, arXiv:2301.02679, 2023. https://arxiv.org/abs/2301.02679
  • Heinlein, R. A., „Stranger in a Strange Land”, G. P. Putnam’s Sons, 1961. (Ursprung des Begriffs „grok”)