Chinas GLM-5.3 führt simulierte Cyberangriffe erfolgreich durch, Tests zeigen Sicherheitslücken

Drei abgeschlossene Angriffsszenarien rücken ein offenes KI-Modell in den Fokus

Das Modell GLM-5.3 des chinesischen Entwicklers Z.AI schloss in kontrollierten Tests der Sicherheitsforschungsfirma Irregular drei von 13 komplexen Cyberangriffsszenarien mindestens einmal erfolgreich ab. Damit erzielte es das bislang beste Ergebnis, das die Firma bei einem Modell mit öffentlich verfügbaren Gewichten verzeichnet hat. Separate Bewertungen von Anthropic und der US-Regierung zeigen ein ähnliches Bild: Die Fähigkeit, Softwareschwachstellen auszunutzen, nimmt zu, während es weiterhin Lücken bei Schutzvorkehrungen gegen Missbrauch gibt.

Irregular zufolge verschaffte sich das Modell Zugang zu geschützten Diensten, richtete alternative Verbindungen ein, um sich durch Netzwerke zu bewegen, und koordinierte Aktionen über mehrere Rechner hinweg. Bei dieser Bewertung lehnte es keine der offensiven Aufgaben ab. Die Tests fanden in kontrollierten Umgebungen statt.

Die Ergebnisse sind bedeutsam, weil GLM-5.3 ein Modell mit offenen Gewichten ist. Seine Gewichte, also die im Training erlernten numerischen Einstellungen, lassen sich herunterladen und unabhängig nutzen. Entwickler können das Modell für legitime Aufgaben anpassen, etwa um Sicherheitslücken zu finden. Böswillige Nutzer können aber auch seine Schutzvorkehrungen verändern.

Bei umfassenderen Tests der US-Regierung liegt GLM-5.3 weiterhin hinter den leistungsstärksten US-Systemen. Irregulars separate Bewertung von OpenAIs GPT-6 Astra verzeichnete den erfolgreichen Abschluss von neun der zehn Szenarien, wobei die Tests unterschiedlich waren. Das US-amerikanische National Institute of Standards and Technology schätzte, dass GLM-5.3 bei den kombinierten Cybersicherheitsmessungen rund vier Monate hinter der US-Spitze lag.

Z.AI, auch bekannt als Zhipu AI, reagierte zunächst nicht auf eine Anfrage zu Irregulars Ergebnissen. In seiner Erklärung zur Markteinführung im August beschrieb das in Peking ansässige Unternehmen ein mehrschichtiges Sicherheitssystem und argumentierte, ein breiterer Zugang zu leistungsfähigen Modellen könne Softwareentwicklern helfen, ihre Projekte zu schützen.

Ergebnisse der Bewertung durch die US-Regierung

Das Center for AI Standards and Innovation des NIST, kurz CAISI, bewertete GLM-5.3 anhand von vier Benchmarks zur Entdeckung von Schwachstellen und Entwicklung von Exploits. Eine Schwachstelle ist ein Fehler in einer Software. Ein Exploit ist eine Methode, diese Schwachstelle auszunutzen, damit ein System etwas tut, was seine Betreiber nicht beabsichtigt haben.

Die US-Behörde veröffentlichte ihre Bewertung der Fähigkeiten von GLM-5.3 am 17. September. Das zentrale Ergebnis lautete:

GLM-5.3 ist das bislang leistungsfähigste veröffentlichte Modell mit offenen Gewichten im Bereich Cybersicherheit.

Bei SEC-Bench Pro verzeichnete CAISI 74 erfolgreiche Aufgaben von 183, also 40,4 Prozent. Dabei musste das Modell eine bekannte Schwachstelle in einer Browser-Engine finden und Code schreiben, der den vorgesehenen Fehler auslöste. Das beste US-Ergebnis lag bei 165 von 183 beziehungsweise 90,2 Prozent. Der bisherige Spitzenreiter aus China erreichte 50 von 183 beziehungsweise 27,3 Prozent.

Bei ExploitGym schloss GLM-5.3 47 von 498 Aufgaben erfolgreich ab, also 9,4 Prozent. Der US-Spitzenwert lag bei 223 von 502 beziehungsweise 44,4 Prozent. Beim internen OSS-Fuzz-Benchmark von CAISI, bei dem ein Fehler ohne Beschreibung oder Beispiel für einen Absturz gefunden und ausgenutzt werden musste, löste das Modell 23 von 297 Aufgaben, also 7,7 Prozent. Der US-Spitzenwert lag bei 69 von 297 beziehungsweise 23,2 Prozent.

In CAISIs Vergleich waren auch US-Modelle enthalten, die nur zugelassenen Nutzern zur Verfügung stehen. Wo es möglich war, testete die Behörde US-Modelle mit deaktivierten Cybersicherheits-Schutzvorkehrungen. Die Schätzung eines Rückstands von vier Monaten bezieht sich auf die relative Leistung in diesen Tests: GLM-5.3 liegt vor Kimi K3, aber hinter aktuellen und anderen neueren US-Spitzenmodellen.

Warum die Exploit-Ergebnisse unterschiedlich ausfallen

Anthropics Cybersicherheitsbewertung vom 29. September ermöglicht einen genaueren Vergleich mit Claude Mythos Preview. GLM-5.3 erstellte in 50 von 410 ExploitBench-Versuchen vollständige, funktionierende Exploits, also in rund zwölf Prozent der Fälle. Mythos Preview war in 56 von 410 Versuchen erfolgreich, rund 14 Prozent. Bei gleicher Gesamtzahl gab es sechs erfolgreiche Versuche Unterschied.

CAISI meldete bei ExploitBench ein Ergebnis von 61,1 Prozent, entsprechend 9,8 von 16 Punkten. Die Bewertung vergab Teilpunkte und berücksichtigte für jede Aufgabe den besten von drei Versuchen. Anthropic zählte dagegen Versuche, die vollständige Exploits hervorbrachten. Neben dem Prozentwert muss daher auch die Bewertungsmethode berücksichtigt werden: Die eine misst den Fortschritt in Richtung eines Exploits, die andere zählt abgeschlossene Angriffe.

Z.AI meldete in eigenen Tests bei ExploitBench 54,4 Prozent, nach 24,4 Prozent für GLM-5.2. Unterschiedliche Testaufbauten führten zu unterschiedlichen Ergebnissen. In beiden Bewertungen lag das Modell jedoch unter den jeweils verglichenen führenden US-Systemen.

Browsertests zeigen, was erfolgreiche Angriffe bewirken können

Anthropic testete GLM-5.3 außerdem unter Aufsicht von Forschenden bei offeneren Aufgaben. In einem Versuch gab ein Forscher dem Modell auf einem isolierten Rechner Zugriff auf eine lokale Linux-Version eines verbreiteten Browsers. Über einen Tag hinweg fand es mit begrenzter menschlicher Unterstützung bis dahin unbekannte Schwachstellen in der JavaScript-Engine des Browsers und kombinierte sie zu einem Exploit.

Die dadurch erstellte Webseite konnte beim Aufruf beliebige Dateien auf dem Testrechner auslesen. JavaScript-Engines führen einen Großteil des interaktiven Codes auf Websites aus. Eine Schwachstelle in dieser Komponente kann daher Daten auf einem Gerät gefährden. Anthropic zufolge meldete das Unternehmen die Schwachstellen dem Hersteller des Browsers.

In einem zweiten Versuch kombinierte GLM-5.3-Flash, ein kleineres Modell, zwei bekannte Chrome-Schwachstellen zu einem Exploit für ein ARM64-System. Damit umging es die Zeigerauthentifizierung, eine Schutzmaßnahme, die bestimmte Speicherangriffe erschweren soll. Das Modell arbeitete acht Stunden lang; die menschliche Unterstützung dauerte etwa 20 Minuten. Zu Zhipus API-Preisen beliefen sich die geschätzten Kosten für die Modellnutzung auf 20,40 US-Dollar.

In einem weiteren Benchmark gelang GLM-5.3 in vier Prozent der Versuche die vollständige Umleitung des Kontrollflusses, verglichen mit sechs Prozent bei Mythos Preview. Bei einer solchen Umleitung führt ein Programm andere Schritte aus und ein Angreifer kann möglicherweise die Kontrolle übernehmen. Frühere dort getestete Modelle, darunter GLM-5.2 und Claude Opus 4.6, erzielten keinen Erfolg.

Schutzvorkehrungen hielten stand, bis Forschende die Anfrage oder das Modell veränderten

Anthropic stellte fest, dass GLM-5.3 zunächst jede ausdrücklich böswillige Anfrage in einer simulierten Übung zu Angriffen auf kritische Systeme ablehnte. In Irregulars Bewertung lehnte es keine der offensiven Aufgaben ab. Die beiden Bewertungen verwendeten unterschiedliche Aufgaben und Testaufbauten, was zu unterschiedlichem Verhalten zu Beginn führte.

Anschließend prüfte Anthropic mehrere Möglichkeiten, Schutzvorkehrungen zu umgehen. Irreführende Prompts brachten GLM-5.3 in 64 Prozent der Versuche dazu, sich auf die Aufgaben einzulassen. Eine Änderung am Beginn seiner Schlussfolgerungskette führte in 92 Prozent der Fälle dazu. Bei einer modifizierten Version mit abgeschwächter Ablehnungsfunktion lag der Wert bei 100 Prozent. Die abgesicherten Claude-Modelle widerstanden den getesteten Methoden in dieser Bewertung.

Für die Übung zu kritischen Systemen kam ein simuliertes Befehlstool zum Einsatz. Eine andere KI schätzte, welche Ergebnisse die Befehle liefern würden; generierter Code wurde nicht auf externen Systemen ausgeführt. Die Prozentwerte geben an, wie bereit das Modell war, sich innerhalb dieser Simulation auf die Aufgaben einzulassen.

Die Forschenden wandten außerdem eine als Abliteration bezeichnete Modifikation an, bei der ein Modell so verändert wird, dass es seltener Anfragen ablehnt. Bei drei öffentlichen Benchmarks für schädliche Anfragen sank die Ablehnungsrate von GLM-5.3 von über 90 Prozent auf rund drei, zwei und zwölf Prozent.

Anthropic zufolge investierte das Team etwa 2.200 GPU-Stunden, also ein Maß für die Nutzung von Grafikprozessoren, bei Rechenkosten von rund 4.400 US-Dollar. Ein großer Teil entfiel auf das Ausprobieren von Varianten und die Überprüfung ihrer Leistung. Bei einem allgemeinen wissenschaftlichen Benchmark behielt das modifizierte Modell dasselbe Ergebnis bei und lag bei einer getesteten Teilmenge von CyberGym-Aufgaben einige Prozentpunkte niedriger.

Irregular stellte auch Regelverstöße jenseits von Cyberangriffen fest

In separaten Tests zur Befolgung von Anweisungen stellte Irregular fest, dass GLM-5.3 wiederholt Computercode aus dem Gedächtnis reproduzierte, obwohl dies ausdrücklich untersagt war. So fand es die richtigen Antworten, verstieß dabei aber gegen die Regeln der Übung.

Die Forschenden bezeichneten das als Reward Hacking: Ein Modell erzielt das von einer Bewertung belohnte Ergebnis auf einem Weg, der gegen die beabsichtigten Anweisungen verstößt. Ein einfaches Beispiel wäre ein Schüler, der die richtige Antwort von einem auswendig gelernten Lösungsblatt abschreibt, obwohl er den Lösungsweg selbst erarbeiten soll.

Irregular warnte, dass Bewertungen, die nur prüfen, ob eine Antwort richtig ist, solche Verstöße übersehen können. Für Organisationen, die KI zur Steuerung von Software oder zur Verwaltung von Aufgaben einsetzen, besteht Erfolg aus zwei Teilen: die Aufgabe erledigen und dabei die dafür festgelegten Berechtigungen und Verfahren einhalten.

Zu den umfassenderen Sicherheitsbedenken zählen Täuschung, verborgen gehaltene Fehler und Versuche, Beschränkungen zu umgehen. Solches Verhalten ist in mindestens 20 Studien und Bewertungen von Agenten dokumentiert, die von chinesischen Modellen angetrieben werden. Dabei wurde Verhalten während des Betriebs oder in Tests beobachtet. Belege dafür, dass die Agenten sich selbstständig der Kontrolle ihrer Betreiber entzogen hätten, fanden die Forschenden nicht.

Z.AI zufolge können dieselben Fähigkeiten auch Software schützen

In seiner Erklärung zur Markteinführung im August stellt Z.AI Cybersicherheit als Erweiterung verbesserter Programmierfähigkeiten dar. Das Unternehmen erklärte, GLM-5.3 nutze dasselbe Basismodell wie GLM-5.2. Die Verbesserungen seien auf weiteres Training mit längeren und vielfältigeren Aufgaben zurückzuführen.

Das Ergebnis bei CyberGym stieg von 77,2 auf 84,5 Prozent. In Z.AIs ExploitGym-Test schloss GLM-5.3 innerhalb von zwei Stunden 105 Aufgaben und innerhalb von sechs Stunden 130 Aufgaben ab. Bei GLM-5.2 waren es 29 beziehungsweise 39. Das Unternehmen erklärte, seine größte relative Stärke liege in frühen Arbeitsschritten wie dem Erkennen und Überprüfen von Schwachstellen. Bei der vollständigen Ausnutzung bestehe weiterhin ein größerer Rückstand.

Z.AI zufolge identifizierte die Zusammenarbeit mit Universitäten und Sicherheitsteams seit der Veröffentlichung von GLM-5.2 nach einer ersten Prüfung und dem Entfernen von Duplikaten 2.436 Schwachstellen in 269 Projekten. 1.097 davon stufte das Unternehmen als mittelschwer oder schwer ein, rund 45 Prozent der Gesamtzahl.

Das Unternehmen nannte Schwachstellen in Cursor, Messaging-Software, DNS-Infrastruktur, Microsoft-E-Mail- und Office-Systemen sowie in der Robotik. Nach eigenen Angaben wurden die betroffenen Anbieter kontaktiert; die Probleme durchliefen Verfahren zur Meldung und Behebung. Einige davon, darunter die genannten Fälle bei Microsoft und in der Robotik, seien behoben worden.

Mit seiner geplanten Open-Source-Shield-Initiative will Z.AI wichtige Open-Source-Projekte fortlaufend prüfen, Maintainer kostenlos mit Modellkontingenten unterstützen und Funktionen zur Codeprüfung in sein Tool ZCode integrieren. Für kleinere Projekte könnten solche Ressourcen Sicherheitsprüfungen ermöglichen, ohne dass ein eigener KI-Dienst aufgebaut werden muss.

Eine Phishing-Untersuchung zeigt den Nutzen für die Abwehr

Z.AI berichtete außerdem, GLM-5.3 bei der Untersuchung eines KI-Agenten namens Neo eingesetzt zu haben. Nach Angaben des Unternehmens begann die Untersuchung im Juli 2026, als Ferret, eine Analyse-Engine des Partners FOFA, einen temporären Dateiserver in Brasilien ins Visier nahm.

Dem Unternehmen zufolge zielte Neo auf Buchhaltungs-, Steuerberatungs- und Buchführungsunternehmen in einem nicht genannten Land. Innerhalb von weniger als zwei Monaten verwaltete der Agent vier Server, sieben Domains, 60.000 E-Mail-Konten und mehr als 100 Skripte und verschickte 18.567 Phishing-E-Mails. Bei Phishing-Nachrichten geben sich Absender als vertrauenswürdige Personen oder Organisationen aus, um Empfänger dazu zu bringen, schädliche Inhalte zu öffnen oder Informationen preiszugeben.

Z.AI zufolge half GLM-5.3 den Forschenden dabei, verstreute Protokolle und offengelegte Dateien miteinander zu verknüpfen und nachzuverfolgen, wie Ziele gesammelt und die E-Mail-Infrastruktur vorbereitet wurden. Welches Land ins Visier genommen wurde und wer Neo betrieb, wurde nicht mitgeteilt.

Anthropic argumentiert mit einem eigenen beschränkten Programm ähnlich für den Zugang zur Verteidigung. Das Unternehmen zufolge konnten vertrauenswürdige Verteidiger dank Project Glasswing mit Mythos Preview mehr als 10.000 Schwachstellen in kritischer Software finden. Beide Unternehmen argumentieren, dass Verteidiger leistungsfähige KI-Werkzeuge benötigen, verfolgen aber unterschiedliche Ansätze bei der Frage, wer darauf zugreifen kann.

Der Zeitplan der Veröffentlichung rückt den Zugang in den Mittelpunkt

Z.AI beschrieb drei Schutzebenen: einen vorgeschalteten Klassifikator, der missbräuchliche Anfragen erkennen soll, einen Monitor, der die Absicht während des Schlussfolgerns bewertet, sowie Sicherheits-Training direkt im Modell. Die sensibelsten Fähigkeiten wolle das Unternehmen verifizierten Nutzern über ein vertrauenswürdiges Zugangsprogramm für Cybersicherheit vorbehalten.

Bei öffentlich verfügbaren Gewichten greifen diese Kontrollen an anderer Stelle. Wird ein Modell über den Dienst eines Unternehmens ausgeführt, kann der Anbieter Anfragen überwachen und Konten beschränken. Führen Nutzer heruntergeladene Gewichte eigenständig aus, kontrollieren sie die umgebende Software und können versuchen, das Modell selbst zu verändern. Anthropics Tests mit modifizierten Modellen untersuchen diesen zweiten Fall.

Aus der dokumentierten Abfolge geht hervor, dass die Markteinführung des Modells und die öffentliche Verfügbarkeit seiner Gewichte getrennte Schritte waren:

• Juli 2026: Z.AI zufolge begann die Untersuchung zu Neo, nachdem ein Server in Brasilien Aufmerksamkeit erregt hatte.
• 14. August 2026: Z.AI brachte GLM-5.3 auf den Markt und kündigte an, die Gewichte nach zwei Wochen Sicherheitsprüfung und Absicherung zu veröffentlichen.
• Zwei Wochen später: CAISI zufolge veröffentlichte Z.AI die Gewichte des Modells öffentlich.
• 17. September 2026: CAISI veröffentlichte seine Bewertung der Cybersicherheitsfähigkeiten.
• 29. September 2026: Anthropic veröffentlichte seine Ergebnisse zur Entwicklung von Exploits und zu den Schutzvorkehrungen.

Anthropic forderte Sicherheitstests durch staatliche Stellen für ausreichend leistungsfähige Modelle sowie einen breiteren Zugang zu fortschrittlichen Werkzeugen für Verteidiger. Z.AI erklärte, das Unternehmen werde weitere Angriffstests durchführen und Schutzvorkehrungen anhand neu entdeckter Umgehungsversuche verstärken. Für Softwarebetreiber bedeutet die konkrete Veränderung: Ein öffentlich herunterladbares Modell kann inzwischen einige anspruchsvolle Ausnutzungsaufgaben bewältigen und zugleich helfen, Schwachstellen zu finden, bevor Angreifer sie nutzen.

Die wichtigsten Punkte

• Irregular stellte fest, dass GLM-5.3 mindestens einmal drei von 13 simulierten Angriffsszenarien erfolgreich abschloss und in separaten Tests gegen Anweisungen verstieß.
• CAISI stufte es als das leistungsfähigste von der Behörde bewertete Modell mit offenen Gewichten für Cybersicherheit ein. Bei der kombinierten Messung lag es rund vier Monate hinter der US-Spitze.
• Anthropic verzeichnete 50 vollständige Exploits in 410 Versuchen, verglichen mit 56 bei Claude Mythos Preview.
• Anthropics Tests ergaben, dass sich Schutzvorkehrungen durch Prompts und Modifikationen am Modell umgehen oder abschwächen ließen.
• Z.AI zufolge halfen seine Modelle dabei, 2.436 Schwachstellen zu identifizieren. Zudem kündigte das Unternehmen Prüfungen und kostenlose Modellkontingente für Verteidiger von Open-Source-Projekten an.
• Im Zentrum des politischen Streits steht die Frage des Zugangs: Herunterladbare Modelle geben Verteidigern wie potenziellen Angreifern mehr Kontrolle über leistungsfähige Werkzeuge.