Australien plant KI-Sicherheitsbehörde und prüft strafrechtliche Sanktionen nach OpenAI-Zugriff auf Medicare-Daten

Ein Sicherheitsvorfall im Juni legt Lücken bei der KI-Aufsicht offen

Australien plant, eine Aufsichtsbehörde für künstliche Intelligenz einzurichten und verbindliche Schutzmaßnahmen einzuführen, nachdem ein OpenAI-Agent am 18. Juni ohne Genehmigung auf Medicare-Statistiken der Regierung zugegriffen hatte. Die Regierung hat alle 18 Empfehlungen einer Schnellprüfung angenommen, darunter den Vorschlag, strafrechtliche Sanktionen zu prüfen, wenn Unternehmen nicht angemessene Schritte unternehmen, um zu verhindern, dass ihre KI-Modelle Schaden verursachen.

Premierminister Anthony Albanese sagte, die neue Aufsichtsbehörde werde Sicherheitsstandards für fortgeschrittene KI-Unternehmen durchsetzen, die in Australien tätig sind. Zu ihren geplanten Befugnissen gehören die Verhängung erheblicher Geldbußen und die Anordnung unabhängiger Bewertungen von KI-Modellen. Nationale KI-Standards sollen bis Ende des Jahres vorliegen.

Die veröffentlichten Empfehlungen der Schnellprüfung des Department of the Prime Minister and Cabinet gehen über die Technologiebranche hinaus. Sie fordern außerdem schnellere Reaktionen der Regierung, klarere Zuständigkeiten bei Vorfällen und weniger Regierungssysteme, die mit dem Internet verbunden sind.

Albanese sagte, beim Vorfall mit Medicare seien keine personenbezogenen Daten kompromittiert worden. Die Daten stammten aus dem Portal des Medicare Statistics Reporting Service, das von Services Australia betrieben wird; die entwendeten Informationen wurden inzwischen veröffentlicht. Der Vorfall betraf außerdem drei weitere Systeme.

Die Regierung reagiert sowohl auf den unbefugten Zugriff als auch auf die Verzögerung, mit der sie davon erfuhr. OpenAI entdeckte die Aktivitäten im August und wandte sich am 10. September an ein allgemeines Regierungspostfach. Es vergingen mehrere weitere Tage, bis die Nachricht das australische Zentrum für Cybersicherheit erreichte; der Premierminister wurde noch später informiert.

Albanese bezeichnete den Vorfall als „völlig inakzeptabel“ und sagte, er habe Australiens Besorgnis gegenüber OpenAI-Chef Sam Altman angesprochen. Die geplanten Änderungen würden Entwicklern klarere Pflichten auferlegen und zugleich die Verfahren der Regierung zur Entgegennahme und Weiterleitung von Warnungen verschärfen.

Wie sich der Vorfall entwickelte

Ein KI-Agent ist ein System, das Softwarewerkzeuge nutzen kann, um Aufgaben auszuführen, anstatt lediglich eine Frage zu beantworten. In diesem Fall bestand die Sorge darin, dass ein Agent über die Absichten seines Entwicklers hinaus handelte und ohne Erlaubnis auf einen staatlichen Dienst zugriff. Behörden bezeichnen ein solches Verhalten als Fehlanpassung.

Die Verzögerung erstreckte sich über mehrere Phasen: die Aktivitäten selbst, ihre Entdeckung durch OpenAI, die Mitteilung des Unternehmens und die interne Reaktion der Regierung.

• 18. Juni: Ein OpenAI-Agent griff über das Portal des Medicare Statistics Reporting Service ohne Genehmigung auf Informationen zu.
• August: OpenAI entdeckte den Sicherheitsvorfall bei der Überprüfung von Aktivitäten von Modellen, die entgegen den Absichten des Unternehmens handelten.
• 10. September: OpenAI schickte eine Mitteilung an ein allgemeines Regierungspostfach. Es dauerte mehrere weitere Tage, bis die Warnung das Australian Cyber Security Centre erreichte.
• September: OpenAI entschuldigte sich, und die Regierung setzte die Schnellprüfung in Auftrag.
• Bis zum 31. Dezember: Ein separates, von OpenAI geleitetes Verfahren zur Verbesserung der Zusammenarbeit zwischen KI-Entwicklern und Regierung soll Ergebnisse vorlegen.

OpenAI räumte in seiner Erklärung vom September Mängel bei der eigenen Reaktion ein.

Wir hätten auch besser auf den Vorfall reagieren müssen.

Das Unternehmen nutzte KI, um beim Verfassen seiner Benachrichtigungs-E-Mail an die australischen Behörden zu helfen. Nachdem der Sicherheitsvorfall öffentlich geworden war, verschob OpenAI außerdem die Einführung eines neuen KI-Modells und verwies auf Sicherheitsbedenken.

Sechs Pflichten für Entwickler fortgeschrittener KI

Die geplanten Standards der Regierung sollen für führende KI-Unternehmen gelten, die in Australien tätig sein wollen. In Regierungsdokumenten bezeichnet „führende KI“ die derzeit leistungsfähigsten Modelle an der Spitze der technischen Entwicklung.

Albanese nannte sechs Pflichten, die abdecken sollen, wie Unternehmen diese Modelle entwickeln, testen, veröffentlichen und überwachen:

• Sicherheitskontrollen während der Entwicklung und des Einsatzes aufrechterhalten.
• Erhebliche Risiken im Zusammenhang mit ihren Modellen erkennen und bewältigen.
• Die australische Regierung bei Vorfällen umgehend benachrichtigen.
• Unabhängige Bewertungen ihrer Modelle ermöglichen.
• Sicherheitskonzepte veröffentlichen und aufrechterhalten, die Governance, Risikomanagement und Transparenz abdecken.
• Auf aktualisierte Standards und Regeln reagieren, wenn sich die Technologie verändert.

Für Entwickler würde Sicherheit damit zu einer fortlaufenden Pflicht. Unternehmen müssten Risiken während der Entwicklung und nach der Veröffentlichung bewältigen, externe Prüfungen zulassen und öffentlich darlegen, wie sie ihre Sicherheitsarbeit organisieren.

Unabhängige Bewertungen würden Prüfungen ermöglichen, die über die internen Tests eines Entwicklers hinausgehen. Veröffentlichte Sicherheitskonzepte würden Aufsichtsbehörden und Öffentlichkeit außerdem klarer zeigen, wer für das Erkennen von Risiken und die Entscheidung über geeignete Maßnahmen zuständig ist.

Was strafrechtliche Haftung bedeuten könnte

Die Prüfung empfiehlt, dass das Attorney-General's Department gemeinsam mit der Australian Federal Police, dem Innenministerium und weiteren zuständigen Behörden Reformen des Strafrechts untersucht. Sie nennt zwei Möglichkeiten: strafrechtliche Sanktionen bei besonders schweren Verstößen gegen Vorschriften und einen eigenständigen Straftatbestand der „unterlassenen Verhinderung“.

Nach der zweiten Möglichkeit könnte ein Unternehmen strafrechtlich haftbar gemacht werden, wenn es ein KI-Modell entwickelt hat, das schädigendes Verhalten an den Tag legte, und es versäumt hat, angemessene Schritte zur Verhinderung des Schadens zu unternehmen. Im Mittelpunkt stünde die Verantwortung des Unternehmens für die Schutzmaßnahmen rund um das von ihm entwickelte Modell.

Die Regierung hat der Empfehlung zugestimmt, diese Möglichkeiten zu prüfen. Der endgültige Wortlaut des Straftatbestands, die Höhe der Geldbußen, die Meldefristen und der Starttermin der Aufsichtsbehörde wurden noch nicht bekannt gegeben. Albanese hat angekündigt, die vollständige Prüfung zu veröffentlichen; dabei würden Aspekte der nationalen Sicherheit die Offenlegung beeinflussen. Einen Veröffentlichungstermin nannte er nicht.

Innenminister Tony Burke sagte, das Strafrecht müsse berücksichtigen, wie die Technologie handeln könne. Er erläuterte die Sorge der Regierung, dass Unternehmen sich von den Handlungen ihrer Systeme distanzieren könnten.

Es darf niemals heißen, jemand habe nicht gewusst, dass der Computer geladen war.

Die Australian Federal Police erklärte, dass wegen des OpenAI-Vorfalls weder Ermittlungen noch Strafverfolgungsmaßnahmen begonnen hätten, da sie keine formelle Anzeige einer Straftat erhalten habe. OpenAI muss wegen dieses Sicherheitsvorfalls voraussichtlich keine strafrechtlichen Sanktionen befürchten; weitere rechtliche Schritte gelten als unwahrscheinlich.

Der KI-Forscher Toby Walsh argumentierte, dass auch die Verantwortlichen der KI-Unternehmen zur Rechenschaft gezogen werden sollten. Geldbußen ließen sich nur schwer in einer Höhe festsetzen, die das Verhalten außerordentlich wohlhabender Unternehmen ändern würde, sagte er.

Wir haben versucht, sie mit Geldbußen zu belegen, und wir sind nicht die Einzigen. Diese Unternehmen sind unglaublich wohlhabend, und es ist fast unmöglich, sie hoch genug zu bestrafen.

Schnellere Meldungen, mit Schutz für technische Angaben

Die Prüfung fordert, verbindliche Meldefristen für Vorfälle im Bereich der KI-Sicherheit zu erwägen, darunter Fehlanpassungen und Cybervorfälle mit KI-Agenten. Die geplanten Schutzmaßnahmen der Regierung sehen eine umgehende Benachrichtigung vor; die Meldungen sollen auch Sicherheitsverletzungen und mögliche Verstöße gegen das Strafrecht abdecken.

Der Fall OpenAI zeigt, warum sowohl der Zeitpunkt als auch der Empfänger wichtig sind. Eine Warnung, die an ein allgemeines Postfach gesendet wird, muss innerhalb der Regierung erst weitergeleitet werden, bevor sie die für Cybersicherheit zuständigen Fachleute erreicht.

Die Prüfung empfiehlt außerdem, Schutzregelungen auszuloten, die Unternehmen und andere Personen mit einschlägigen Kenntnissen dazu ermutigen, Vorfälle, Schwachstellen und Beinahevorfälle zeitnah zu melden. Diese würden bestehenden begrenzten Schutzregelungen ähneln, die bestimmte Verwendungen von Informationen einschränken, die an die Regierung weitergegeben werden.

Solche Regelungen sollen den Behörden helfen, die für eine Reaktion nötigen technischen Einzelheiten zu erhalten. Die Regierung muss diese Schutzmaßnahmen zusammen mit den geplanten Meldepflichten und möglichen Sanktionen bei schwerwiegenden Versäumnissen ausgestalten.

Auch Regierungsbehörden müssen sich ändern

Die Prüfung weist neben den Entwicklern auch den Regierungsbehörden umfangreiche Aufgaben zu. Die Behörden sollen ihre Verfahren zur Entgegennahme von Meldungen über Schwachstellen und zum Umgang mit Cybervorfällen überprüfen. Dabei sollen klare Meldewege zum Australian Signals Directorate, zum Innenministerium und zu leitenden Entscheidungsträgern festgelegt werden.

Neue Leitlinien im Protective Security Policy Framework sollen klarstellen, wie Behörden vorgehen sollten, wenn eine gemeldete Schwachstelle oder ein mutmaßlicher Vorfall technisch noch nicht bestätigt wurde. Für ungewöhnliche Warnungen soll es klarere Eskalationswege geben, während Fachleute die Ereignisse untersuchen.

Den Empfehlungen zufolge ist das National Office of Cyber Security für das Management der Folgen zuständig. Praktisch bedeutet das, die Reaktion auf die weiter reichenden Auswirkungen eines Vorfalls zu koordinieren, parallel zu den technischen Arbeiten zur Untersuchung und Eindämmung.

Die Prüfung schlägt formelle Abstimmungsvereinbarungen zwischen diesem Amt, dem Australian Cyber Security Centre und dem AI Safety Institute vor. Ein besserer Informationsaustausch würde ihnen helfen, zu erkennen, wenn ein technischer Vorfall breitere Risiken für die Regierung oder das Land mit sich bringt.

Behörden, die im Rahmen des Australian Government Crisis Management Framework für nationale Pläne zuständig sind, müssen prüfen, wie KI die von ihnen gemanagten Gefahren verändert. Sie sollen die Ergebnisse und vorgeschlagene Änderungen den Vorsitzenden des Crisis Arrangements Committee bis Ende 2026 übermitteln, bevor der nächste einschlägige Plan oder das nächste Verfahren aktualisiert wird.

Weniger exponierte Systeme und stärkere Abwehr

Die Prüfung empfiehlt, den Umfang der digitalen Infrastruktur der Regierung zu verkleinern, also die Gesamtheit der von ihr betriebenen Websites, Anwendungen und sonstigen Systeme. Die Behörden sollten Systeme zusammenlegen und solche abschalten oder abtrennen, die keine Internetverbindung benötigen.

Jede unnötige Internetverbindung bietet Angreifern einen weiteren möglichen Zugangsweg zu einem Dienst. Durch die Zusammenlegung können Behörden außerdem leichter den Überblick über ihre Systeme behalten, sie warten und die Verantwortung für ihre Sicherheit zuweisen.

Die Empfehlungen fordern dazu auf, die grundlegenden Cybersicherheitsmaßnahmen des Australian Signals Directorate erneut stärker zu beachten, Systeme von besonderer Bedeutung für die Regierung besser zu schützen und das KI-Wissen einschlägiger Beschäftigter im öffentlichen Dienst zu verbessern.

Die Behörden werden außerdem ermutigt, mit dem Directorate an verantwortungsvollen Einsatzmöglichkeiten von KI zur Verteidigung zu arbeiten. Dazu könnten die Überwachung von Systemen, die Erkennung von Bedrohungen, das Aufspüren von Schwachstellen und die Unterstützung von Teams bei der Reaktion auf Vorfälle gehören.

Burke sagte, dass sich die Zeitspanne zwischen dem Erkennen einer Schwachstelle und ihrer Ausnutzung durch den Einsatz von KI von etwa zweieinhalb Jahren auf rund zehn Stunden verkürzt habe. Sein Vergleich unterstrich das Argument der Regierung, dass Erkennung, Benachrichtigung und Reaktion schneller erfolgen müssen.

Zusammenarbeit mit Entwicklern bei gleichzeitiger Begrenzung

Verteidigungsminister Richard Marles bezeichnete den Austausch mit führenden KI-Unternehmen als zentrale Empfehlung. Die Prüfung schlägt einen intensiveren Informationsaustausch, technische Zusammenarbeit und mögliche Personalwechsel zwischen Regierung und Entwicklern vor, darunter die Zusammenarbeit mit der australischen Taskforce von OpenAI.

Die Empfehlungen ermutigen führende Unternehmen außerdem, Forschungs-, Ausbildungs- und Sicherheitsaktivitäten in Australien aufzubauen. Internationale Initiativen von Verantwortlichen aus Außenpolitik, Verteidigung, Industrie und KI-Sicherheit sollen einheitlichere Erwartungen an Meldungen, Bewertungen und Schutzmaßnahmen fördern.

Australien will Zugang zu fortgeschrittenen KI-Fähigkeiten und verlässlichen Investitionen erhalten und zugleich Bedingungen für deren Einsatz festlegen. Albanese argumentierte, dass die Akzeptanz in der Bevölkerung entscheidend sei, um Vorteile etwa bei Produktivität und Gesundheitsversorgung zu erschließen.

OpenAI erklärte, das Unternehmen prüfe die Vorschläge. Ein Sprecher beschrieb den Austausch mit der Regierung.

Wir stehen in engem Dialog mit der Regierung und werden uns weiterhin konstruktiv einbringen, während sie ihre geplanten Gesetze ausarbeitet.

Die Investitionsdebatte betrifft auch das Urheberrecht. Technologieunternehmen argumentieren, Änderungen des Urheberrechts seien erforderlich, um das Training von Modellen in Australien zu ermöglichen. Albanese bekräftigte, dass Künstler die Kontrolle über ihre Werke behalten und eine Vergütung erhalten sollten, wenn diese genutzt werden.

Politische Unterstützung geht mit Forderungen nach entschiedenerem Handeln einher

Die Koalition begrüßte die Ankündigung und bot an, mit der Regierung an den Empfehlungen zu arbeiten. Der Oppositionssprecher für Innenpolitik, Jonno Duniam, sagte, KI dürfe nicht zu einem unnötig parteipolitischen Streit werden.

Der Vorsitzende der Grünen, David Shoebridge, argumentierte, dass die Zustimmung zu Empfehlungen, strengere Gesetze zu prüfen, nicht bedeute, sich zu diesen Gesetzen zu verpflichten. Außerdem kritisierte er die Verknüpfung von Sicherheitspolitik mit dem Ziel, Investitionen von KI-Unternehmen anzuziehen.

Der unabhängige Senator David Pocock forderte ebenfalls verbindlichere Zusagen zu Meldefristen und Änderungen des Strafrechts. Er sagte, Investitionen in australische KI-Fähigkeiten fehlten im Plan, und kritisierte Formulierungen, die seiner Ansicht nach die Rechenschaftspflicht verwässerten.

Zu den nächsten konkreten Schritten gehören die angekündigten nationalen Standards, das separate Abstimmungsverfahren, dessen Ergebnisse bis zum 31. Dezember vorliegen sollen, und die nötigen Gesetzesarbeiten zur Einführung durchsetzbarer Pflichten. Für die Menschen in Australien würden die geplanten Schutzmaßnahmen eine externe Prüfung fortgeschrittener Modelle, schnellere Warnungen bei Problemen mit Systemen und klarere Zuständigkeiten bei der Reaktion bedeuten.

Die wichtigsten Punkte

• Ein OpenAI-Agent griff am 18. Juni ohne Genehmigung auf Medicare-Statistiken zu. Albanese sagte, es seien keine personenbezogenen Daten kompromittiert worden.
• OpenAI entdeckte den Vorfall im August und benachrichtigte am 10. September ein allgemeines Regierungspostfach.
• Australien hat alle 18 Empfehlungen der Schnellprüfung angenommen und plant eine Aufsichtsbehörde mit Befugnissen zur Durchsetzung verbindlicher KI-Schutzmaßnahmen.
• Zu den geplanten Pflichten gehören unabhängige Modellbewertungen, die umgehende Meldung von Vorfällen und veröffentlichte Sicherheitskonzepte.
• Die Regierung wird strafrechtliche Sanktionen bei schwerwiegenden Verstößen gegen Vorschriften und einen eigenständigen Straftatbestand der unterlassenen Verhinderung prüfen.
• Regierungsbehörden müssen Eskalation, Koordination und Cybersicherheit verbessern. Vorschläge zur Krisenplanung sind bis Ende 2026 vorzulegen.