MIT-Forschende: GPT-6 Astra steigerte Qwens Mathe-Ergebnisse durch direkte Änderungen an den Gewichten

Eine kleine numerische Änderung führte zu einem deutlichen Punkteanstieg

Forschende am Computer Science and Artificial Intelligence Laboratory des MIT berichten, dass OpenAIs GPT-6 Astra die Mathematikleistung eines kleinen Qwen-Modells von 7,9 % auf 48,1 % steigerte, indem es nur 131.072 seiner rund 800 Millionen numerischen Parameter veränderte. Der Eingriff zielte auf ein konkretes Problem: Das Modell erzeugte wiederholt Text, bis ihm der Platz für eine Antwort ausging.

Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab beschrieben die Experimente am 2. November in einem Forschungsbeitrag mit dem Titel Sparks of Weight-Space Programming. Berichte dazu erschienen anschließend, datiert auf den 3. November 2026. Bei ihrem Ansatz soll ein Sprachmodell die Gewichte eines anderen neuronalen Netzes untersuchen, interpretieren und direkt umschreiben – also die Zahlen, die bestimmen, wie es Informationen verarbeitet.

Das beste Ergebnis erzielten sie mit Qwen3.5-0.8B. Dessen Genauigkeit bei MATH-500 stieg um 40,2 Prozentpunkte und damit auf etwa das Sechsfache des ursprünglichen Werts, nachdem Astra rund 0,016 % der Gewichte geändert hatte. Bei den mathematischen Fragen von GSM8K stieg die Genauigkeit von 13,8 % auf 67,1 %, während der Wert für die Befolgung von Anweisungen bei IFEval von 21,0 % auf 62,3 % kletterte und sich damit nahezu verdreifachte.

Die Experimente gingen über Mathematik hinaus. Astra erkannte den Zweck kleiner Netze, reparierte einen simulierten Fahrregler und schrieb direkt aus Regeln und Quellcode spielende Netzwerke. Andere Tests zeigten Grenzen: Astra konnte anhand der Gewichte allein nur schwer erkennen, ob ein Modell den Nutzern übermäßig zustimmte, und seine Änderungen verbesserten die Mathematikleistung eines anderen Sprachmodells kaum.

Für Entwickler eröffnet sich damit möglicherweise eine neue Form der Modellreparatur. Statt ein Netz in einer weiteren herkömmlichen Trainingsrunde anzulernen, könnte ein KI-Assistent einen Fehler untersuchen und die dafür verantwortliche numerische Struktur ändern. Das Qwen-Ergebnis zeigt auch, warum die Art des Fehlers ebenso wichtig ist wie die Höhe des Punkteanstiegs.

Was bedeutet es, Gewichte zu programmieren?

Ein neuronales Netz wandelt Eingaben mithilfe mehrerer Berechnungsschichten in Ausgaben um. Seine Gewichte bestimmen, wie stark Signale zwischen den Komponenten weitergegeben werden. Beim Training werden diese Zahlen gewöhnlich wiederholt angepasst. Beispiele und ein mathematisches Fehlermass helfen dabei zu bestimmen, welche Änderungen nützlich sind.

Gradientenabstieg ist ein verbreitetes Verfahren, um solche Anpassungen zu berechnen. Dabei wird ermittelt, in welche Richtung die Gewichte verändert werden müssen, um Fehler zu verringern. In diesen Experimenten analysierte Astra das Zielnetz dagegen und nahm die Änderungen selbst vor, ohne dass eine Trainingsschleife sie berechnete.

Takehi, Doktorand am MIT CSAIL, beschrieb den vorgeschlagenen Arbeitsablauf in einem Beitrag in sozialen Medien:

Statt trainiert zu werden, könnten Modelle rohe Gewichte wie lesbaren, editierbaren Code behandeln: Fehler diagnostizieren und direkt beheben.

Der Vergleich mit der Reparatur von Software ist hilfreich. Ein Programmierer, der eine fehlerhafte Anwendung untersucht, könnte eine defekte Funktion finden und neu schreiben. Astra suchte hier in numerischen Strukturen nach einem Muster, das mit unerwünschtem Verhalten zusammenhing. Die Gewichte neuronaler Netze lassen sich schwerer interpretieren als gewöhnliche Software, da ihnen meist verständliche Bezeichnungen fehlen, die ihre Aufgaben erklären.

Die Experimente boten unterschiedliche Formen der Unterstützung. Bei manchen erhielt Astra nur die Gewichte und eine Beschreibung der Architektur. Andere lieferten eine Python-Umgebung, Beispiele oder die Erlaubnis, das Zielmodell auszuführen. Auch bei Qwen war der Aufwand trotz des Verzichts auf herkömmliches Training beträchtlich: Es waren umfangreiche Berechnungen, Übungsfragen und Tests nötig.

Wie Astra Qwen davon abhielt, sich zu wiederholen

Qwens anfängliches Verhalten bot Astra ein ungewöhnlich klares Problem. In einer ersten Reihe von 96 Fragen erreichten 85 Antworten die maximale Ausgabelänge von 32.768 Tokens. Tokens sind die Textbestandteile, die ein Sprachmodell verarbeitet und erzeugt; häufig handelt es sich um Wörter oder Wortteile. Rund 95 % dieser abgeschnittenen Antworten endeten in Wiederholungen.

Die umfassendere Auswertung mit MATH-500 zeigte dasselbe Problem: 93,0 % der Antworten des unveränderten Modells erreichten die Token-Grenze. Astra führte die Schleifen auf eine numerische Richtung zurück, die mit den Ausgaben von Feedforward-Komponenten in den Schichten 15 und 19 zusammenhing. Diese Komponenten, häufig als mehrschichtige Perzeptronen oder MLPs bezeichnet, transformieren Informationen innerhalb der jeweiligen Schicht.

Eine numerische Richtung ist ein Muster, das sich über viele Werte erstreckt, und kein einzelner Schalter. Astra zog die mit Wiederholungen verbundene Richtung von 64 Ausgabespalten in jeder der beiden Schichten ab. Dadurch änderte es 131.072 Gewichte und senkte den Anteil der MATH-500-Antworten, die die Token-Grenze erreichten, auf 33,1 %.

Die korrigierten Antworten machen die Verbesserung nachvollziehbar. Von 1.152 zurückgehaltenen Fragen wechselten 579 Antworten von falsch zu richtig, während sich fünf von richtig zu falsch änderten. Von den 579 Verbesserungen waren zuvor 576 an der Ausgabebegrenzung abgeschnitten worden. Die meisten Fortschritte entstanden also dadurch, dass das bearbeitete Modell Antworten zu Ende führte, die zuvor durch Wiederholungen abgebrochen worden waren.

Nach dem Eingriff schöpfte noch etwa ein Drittel der MATH-500-Antworten die Ausgabelänge aus. Unter den Testbedingungen war das bearbeitete Netz deutlich nützlicher, doch Wiederholungsschleifen blieben ein erhebliches Problem.

Die Suche nach der Änderung erforderte stundenlange Arbeit

Bei Astras vielversprechendstem Versuch mit Qwen standen 50 Evaluierungsanfragen zur Verfügung, von denen jede Hunderte von Beispielen umfassen konnte. Die Untersuchung erstreckte sich über 158 Dialogrunden, 80 Python-Ausführungen und 20,3 Stunden. Darin enthalten waren 4,7 Stunden Wartezeit wegen eines Dienstausfalls.

Die Arbeitsumgebung umfasste mehr als 14.000 Übungsfragen aus den Trainingsdatensätzen GSM8K und MATH, Zugriff auf Qwens Gewichte sowie eine Python-Sandbox, die auf CPUs lief. In der Sandbox waren bis zu 300 Codeausführungen möglich. Bei anderen Versuchen standen 10 oder 25 Evaluierungsanfragen zur Verfügung.

Auch die angegebenen Genauigkeitswerte gelten nur für eine bestimmte Konfiguration bei der Textgenerierung. Die Auswertungen nutzten den Denkmodus, eine Ausgabelänge von 32.768 Tokens und eine Temperatur von 0,6. Die Temperatur bestimmt, wie viel Zufall in die Auswahl des nächsten Tokens einfließt; die Modellkarte empfiehlt für Textaufgaben im Denkmodus eine Temperatur von 1,0. Dieser Unterschied ist wichtig, wenn das anfängliche Verhalten reproduziert und Ergebnisse verglichen werden sollen.

Der praktische Ablauf sah so aus:

• Die Forschenden stellten Astra das Zielmodell, Übungsaufgaben und Werkzeuge zur Untersuchung der Gewichte und zum Testen des Verhaltens bereit.
• Astra untersuchte die wiederholten Ausgaben und entwickelte eine gezielte Änderung an den Schichten 15 und 19.
• Die Auswertung erfasste Verbesserungen bei Mathematik und der Befolgung von Anweisungen sowie einen Rückgang der Antworten, die die Ausgabebegrenzung erreichten.
• Das Team stellte die Arbeit am 2. November vor und kündigte an, an einem Benchmark und einem Test-Framework zu arbeiten.

Die endgültige Änderung war klein, doch ihre Entwicklung erforderte einen wesentlich größeren Aufwand. Ob sich mit diesem Ansatz im Vergleich zu herkömmlichem Fine-Tuning Zeit oder Rechenressourcen sparen lassen, ist eine offene praktische Frage.

Spiele, Formen und Sprache aus Zahlen herauslesen

Astras Tests zur Untersuchung von Netzwerken begannen mit vier spielenden Netzwerken, die mit proximaler Policy-Optimierung (PPO) trainiert worden waren. PPO ist ein Verfahren des bestärkenden Lernens, bei dem Verhalten anhand von Belohnungen verbessert wird. Die Netzwerke hatten dieselbe Struktur, dieselben Eingaben und dieselben möglichen Aktionen. Ohne eine Liste möglicher Spiele zu erhalten, erkannte Astra Breakout, Pong, Pac-Man und Freeway.

Die Forschenden zufolge untersuchte Astra Muster in der ersten Schicht und Unterschiede darin, wie die Ausgabeschicht Aktionen auswählte. Im Beispiel zur Erkennung von Breakout gab es seiner Antwort eine Konfidenz von 99 %. Diese Konfidenz war Astras eigene Einschätzung der Erkennung.

Drei kleine Diffusionsmodelle dienten als weiterer Test. Jedes hatte gelernt, Kreise, Dreiecke oder Quadrate zu erzeugen. Ohne die Modelle auszuführen, erkannte Astra die Formen anhand von Umrissen in den Gewichten ihrer Ausgabeschicht. Seine Zeichnungen waren hohl, obwohl die Modelle ausgefüllte Formen erzeugten. Dieses ungewöhnliche Detail verknüpfte seine Interpretation mit der numerischen Struktur, die es untersucht hatte.

Die Spracherkennung wurde mit drei Modellen getestet, die jeweils 7,2 Millionen Parameter enthielten und darauf trainiert waren, das nächste Zeichen in Python-Code, romanisiertem Japanisch oder Englisch vorherzusagen. Astra erhielt nur mittlere Schichten und erkannte in beiden Versuchen die Trainingssprache richtig.

Astra fand auch die Copy-Heads der Modelle, Aufmerksamkeitskomponenten, die dabei helfen, zuvor verarbeiteten Text zu wiederholen. Das Python-Modell hatte mehr solcher Heads, was dazu passt, dass in Code häufig dieselben Variablen- und Funktionsnamen vorkommen. Das Modell für romanisiertes Japanisch hatte weniger von der letzten Komponente ausgegebene Richtungen, was mit seinem kleineren Bestand häufig verwendeter Zeichen übereinstimmt.

Ein Auto reparieren und Spielernetze entwickeln

Ein simuliertes Auto in der Kinetix-Umgebung hatte sich eine ungünstige Angewohnheit angewöhnt: Es fuhr in eine Steigung und blieb dort stecken. Wenn es zuerst rückwärts fuhr, entstand genug Platz für eine erfolgreiche Auffahrt. Astra erhielt die Gewichte des Reglers, eine Beschreibung der Szene und eine Aufzeichnung des Fehlversuchs und lieferte in einer einzigen Antwort eine Reparatur, ohne Werkzeuge zu verwenden.

Die Änderung betraf 3,5 % der Gewichte und war in allen 1.024 Tests erfolgreich. Astra fügte dem Netzwerk einen kleinen Pfad hinzu, über den Position und Geschwindigkeit erfasst wurden. Nachdem das Auto eine Markierung passiert hatte, gab es die Kontrolle wieder an das ursprüngliche Netzwerk ab.

Bei den MinAtar-Spielen Breakout, Seaquest und Asterix stand Astra vor einer anderen Aufgabe: Es sollte Policy-Netzwerke von Grund auf schreiben. Ein Policy-Netzwerk wandelt einen Spielzustand in eine Aktion um. Astra erhielt die Regeln, den Quellcode und die erforderliche Architektur, aber keine Trainingsbeispiele, Gradientenberechnungen, Werkzeuge oder Gelegenheit, vor der Auswertung zu spielen.

Seine Netzwerke übertrafen in allen drei Spielen PPO-Baselines, die mit 100 Millionen Schritten trainiert worden waren. Den größten numerischen Unterschied gab es bei Breakout: Astra erzielte 517,4 Punkte, verglichen mit 15,8 Punkten bei der mit 100 Millionen Schritten trainierten Baseline und 25,3 Punkten bei einer mit 500 Millionen Schritten trainierten Baseline. Im zweiten Vergleich entspricht das einem ungefähr zwanzigfachen Vorsprung.

Der Vorsprung fiel je nach Spiel unterschiedlich aus. Gegenüber PPO-Modellen, die mit 500 Millionen Schritten trainiert worden waren, kam Astra in Asterix nahe heran und erreichte in Seaquest etwa 60 % des Ergebnisses. Bei Breakout setzte Astra eine explizite Strategie in Gewichte um: Es schätzte, wo der Ball landen würde, und bewegte dann den Schläger in diese Richtung.

Für ein größeres Go-Netz war ein anderer Arbeitsablauf nötig

Beim Go-Experiment kam ein Netz mit etwa 1,5 Millionen Parametern zum Einsatz. Es war zu groß, um es direkt in Astras Kontextfenster unterzubringen, also in die Informationsmenge, die Astra auf einmal verarbeiten kann. Stattdessen stellten die Forschenden eine Python-Sandbox bereit, in der die Gewichte untersucht und bearbeitet werden konnten.

Die Architektur hatte 243 Eingaben, sechs verborgene Schichten mit jeweils 512 Einheiten und 82 Ausgaben. Astra strukturierte sie wie ein kompaktes Go-Programm: In den frühen Schichten wurden Steine und Freiheiten dargestellt, also leere benachbarte Punkte, die eine Gruppe am Leben halten. Mittlere Schichten gaben Informationen zwischen verbundenen Gruppen weiter, um Gefahren zu erkennen.

Die letzte Schicht bewertete Züge danach, ob sie gegnerische Steine schlugen, bedrohte Gruppen retteten, Augen schützten und Ataris vermieden. Atari bezeichnet eine Situation, in der einer Gruppe nur noch eine Freiheit bleibt. Diese Strategie entstand durch numerische Gewichte und nicht durch wiederholtes Spielen während des Trainings.

Ohne jegliche Leistungsbewertungen gewann Astras Netz mehr als die Hälfte seiner Partien gegen zwei kleinere PPO-Netze. Mit einem Budget von 50 Bewertungen übertraf es ein gleich großes Netz, das mit 20 Millionen Partien trainiert worden war. Das Feedback ermöglichte Astra, Niederlagen zu untersuchen und Änderungen beizubehalten, die das Spiel verbesserten.

Zwei schwierige Tests zeigen die Grenzen

Gemma 3 270M bot einen nützlichen Kontrast zu Qwen. Es blieb nur selten in Wiederholungsschleifen stecken. Astra fand stattdessen gewöhnliche Denkfehler, darunter Rechenfehler und ungültige algebraische Umformungen. Kleine Änderungen, etwa die Stärke eines auf Zahlen reagierenden Neurons zu verdoppeln, verbesserten die Genauigkeit bei MATH-500 um höchstens etwa einen Prozentpunkt.

Der Vergleich weist auf einen praktischen Unterschied hin. Wird ein wiederholtes Verhalten beseitigt, kann ein Modell möglicherweise Fähigkeiten nutzen, über die es bereits verfügt. Viele unterschiedliche mathematische Fehler zu korrigieren, erfordert eine umfassendere Lösung, als ein gemeinsames numerisches Muster zu entfernen.

Schmeichelei, also die Neigung, einem Nutzer selbst dann zuzustimmen, wenn dieser falschliegt, ließ sich nur schwer direkt untersuchen. Die Forschenden optimierten zwei Gruppen von Gemma-3-270M-Modellen anhand derselben Fragen und Antworten fein. Ein Modell wurde darauf trainiert, richtig zu antworten, das andere darauf, den Vorschlägen der Nutzer zuzustimmen.

Anhand der Gewichte allein konnte Astra die Modelle nicht zuverlässig unterscheiden. Als es die Aufmerksamkeitsmuster bei selbst verfassten Texten untersuchen durfte, ohne die Antworten der Modelle zu sehen, erkannte es in allen drei Paaren das schmeichlerische Modell richtig. Diese Modelle richteten in den mittleren Schichten mehr Aufmerksamkeit auf Inhalte, die von den Nutzern vorgeschlagen worden waren.

Aufmerksamkeitsmessungen zeigen, worauf ein Modell einen Teil seiner Verarbeitung beim Umgang mit Text ausrichtet. Ihr Nutzen in diesem Fall machte die Untersuchung bei laufendem Modell zu einem wichtigen Bestandteil der erfolgreichen Diagnose. Übermäßige Zustimmung zu erkennen war die Aufgabe; dieses Verhalten zu ändern, ist eine davon getrennte mögliche Anwendung.

Was die Forschenden als Nächstes testen wollen

Das MIT-Team sieht mögliche Anwendungen bei der Untersuchung von Modellen, gezielten Reparaturen, der Veränderung von Fähigkeiten ohne herkömmliche Trainingsdaten und der Übertragung nützlicher Komponenten zwischen unterschiedlichen Architekturen. Die direkte Bearbeitung von Modellen hat bereits eine Forschungsgeschichte, zu der ROME gehört, das 2022 bei NeurIPS vorgestellt wurde, sowie MEMIT, das 2023 bei ICLR präsentiert wurde. Die vorliegende Arbeit untersucht, ob ein Sprachmodell die Änderungen selbst durch Schlussfolgerungen entwickeln kann.

Auch rekursive Selbstverbesserung ist eine mögliche Richtung: Ein KI-System könnte dabei helfen, ein Modell zu verbessern, das anschließend selbst besser darin wird, weitere Verbesserungen vorzunehmen. In diesen Experimenten legten Menschen Aufgaben, Werkzeuge und Evaluierungsbudgets fest, während Astra an anderen Netzen arbeitete. Für einen zuverlässigen, sich wiederholenden Prozess wären weitere Experimente erforderlich.

Das Team veröffentlichte Versuchsprotokolle und Bearbeitungsartefakte. Das öffentliche Repository enthält der Beschreibung zufolge Aufzeichnungen von 1.125 Modellaufrufen. Als nächsten Schritt nannte das Team einen Benchmark und ein experimentelles Framework für einheitliche Auswertungen. Ein Veröffentlichungstermin wurde nicht genannt.

Für Menschen, die KI-Anwendungen entwickeln, ist die konkreteste Erkenntnis enger gefasst und unmittelbar verständlich: Eine kleine numerische Reparatur kann eine große Verbesserung bewirken, wenn ein wiederkehrender Fehler das Modell daran hindert, nützliche Aufgaben abzuschließen. Die gegensätzlichen Ergebnisse bei Gemma und bei der Erkennung von Schmeichelei zeigen, warum jede mögliche Reparatur eine eigene Diagnose und Prüfung erfordert.

Die wichtigsten Punkte

• Astra änderte 131.072 Gewichte von Qwen, also etwa 0,016 % des Modells, und steigerte damit die Genauigkeit bei MATH-500 von 7,9 % auf 48,1 %.
• Die Genauigkeit bei GSM8K stieg von 13,8 % auf 67,1 %, bei IFEval von 21,0 % auf 62,3 %.
• Die wichtigste Reparatur verringerte wiederholte Ausgaben; der Anteil der MATH-500-Antworten, die die Token-Grenze erreichten, sank von 93,0 % auf 33,1 %.
• Der beste Versuch mit Qwen nutzte 50 Evaluierungsanfragen und dauerte 20,3 Stunden, einschließlich eines Dienstausfalls.
• Astra reparierte außerdem den Regler eines simulierten Autos und schrieb Netzwerke für vereinfachte Spiele und Go.
• Bei Gemma verbesserte sich die Mathematikleistung kaum, während zur Erkennung von Schmeichelei Aufmerksamkeitsmessungen nötig waren.
• Die Forschenden entwickeln einen Benchmark und ein Test-Framework für das Programmieren im Gewichtsraum.