Nvidias Jensen Huang würde den Chipverkauf an Entwickler unsicherer KI einstellen und sagt 250 Millionen US-Dollar für Forschung in Großbritannien zu

Eine Warnung an Kunden und eine Zusage für die Forschung

Nvidia-Chef Jensen Huang sagt, er würde die Chipbelieferung eines Kunden einstellen, der unsichere künstliche Intelligenz entwickelt. Zugleich stellt er über fünf Jahre Rechenressourcen im Wert von 250 Millionen US-Dollar für Sicherheitsforschung in Großbritannien bereit. Seine Warnung rückt den führenden Anbieter von KI-Beschleunigern ins Zentrum einer schwierigen Frage: Wie viel Verantwortung sollte ein Chiphersteller für Software übernehmen, die mit seinen Produkten entwickelt wird?

In einem Interview in London sagte Huang, er würde zunächst mit dem Kunden über seine Bedenken sprechen. Zugleich betonte er, dass Nvidia nur begrenzt beurteilen könne, wie andere Unternehmen seine Technologie nutzen. Er beschrieb einen Lieferstopp als hypothetische Reaktion und kündigte keine Maßnahmen gegen einen namentlich genannten Entwickler an.

Die Zusage für die britische Forschung vermittelt ein konkreteres Bild von Nvidias Ansatz. Forschende erhalten über Rechenzentren im Vereinigten Königreich Zugang zu leistungsstarken Computern, um immer leistungsfähigere KI-Systeme zu testen und Schutzmaßnahmen zu entwickeln. Die Zusage umfasst Rechenkapazität im Wert von 250 Millionen US-Dollar und keine Geldspende in dieser Höhe.

Huangs Haltung verbindet die Bereitschaft, einen verantwortungslos handelnden Kunden einzuschränken, mit einem grundsätzlichen Plädoyer für die schnellere Entwicklung von Schutztechnologien. Er ist überzeugt, dass KI kontrolliert und sicher eingesetzt werden kann und KI selbst dabei helfen kann, andere KI-Systeme zu überwachen.

Wann würde Nvidia die Chipbelieferung einstellen?

Huang wurde gefragt, ob er die Belieferung eines verantwortungslos handelnden KI-Entwicklers stoppen würde. Der Nvidia-Chef antwortete direkt und erläuterte anschließend die Grenzen der Rolle seines Unternehmens:

Das ist hypothetisch, aber ja. Bevor man das tut, sollte man jedoch das Gespräch suchen. Wir führen nicht die Unternehmen anderer, und bei der Beurteilung, wie andere Unternehmen unsere Technologie nutzen, sind uns Grenzen gesetzt. Unsere Technologie ist vielseitig einsetzbar.

Nvidias Beschleuniger sind Chips, die viele Berechnungen gleichzeitig durchführen. Entwickler nutzen sie sowohl zum Trainieren von KI-Modellen, also dazu, dass Software Muster lernt, als auch zum Ausführen dieser Modelle nach dem Training. Dieselbe Hardware kann viele verschiedene Anwendungen unterstützen. Deshalb sind die Entscheidungen eines Kunden über Software und deren Einsatz für die Sicherheit zentral.

Huang legte weder fest, was als unsichere KI gilt, noch nannte er einen Schwellenwert für einen Lieferstopp oder ein formelles Prüfverfahren. Für Kunden lautet die Botschaft: Der Zugang zu künftiger Nvidia-Hardware könnte Teil einer Auseinandersetzung über Sicherheit werden; vor einer Entscheidung, Lieferungen einzustellen, würde zunächst das Gespräch gesucht.

Was die 250 Millionen US-Dollar ermöglichen sollen

Nvidias Ankündigung vom 13. Oktober 2026 sieht über fünf Jahre hinweg jährlich 50 Millionen US-Dollar für den Zugang zu Rechenkapazitäten vor. Die Unterstützung erfolgt in Form von Rechenzeit auf leistungsstarken Computersystemen. So erhalten Forschende Ressourcen, um Experimente durchzuführen, Risiken zu bewerten und Schutzmaßnahmen zu testen.

Der Zugang zu Rechenkapazitäten ist wichtig, weil die Erforschung leistungsstarker KI wiederholte, kostspielige Tests erfordern kann. Forschende müssen möglicherweise untersuchen, wie sich ein System bei vielen Aufgaben verhält, verschiedene Schutzmaßnahmen vergleichen und prüfen, ob diese weiterhin funktionieren, wenn die Software leistungsfähiger wird.

Huang erläuterte als Nvidia-Chef den Zweck der Zusage:

Großbritannien bringt wissenschaftliche Exzellenz und höchste methodische Strenge in diese zentrale technische Herausforderung ein. Mit dieser Zusage von 250 Millionen US-Dollar stellt Nvidia Forschenden im Vereinigten Königreich beschleunigte Rechenleistung zur Verfügung, damit sie Schutzmaßnahmen für immer leistungsfähigere KI entwickeln, testen und verbessern können.

Nvidia finanziert den Zugang zu Rechenkapazitäten über NVIDIA-Cloud-Partner mit Sitz im Vereinigten Königreich und Infrastruktur vor Ort. In der Ankündigung werden keine einzelnen Anbieter genannt; die Auswahl der Anbieter sowie die technische Architektur und die kommerziellen Bedingungen müssen noch festgelegt werden. Von diesen Vereinbarungen hängt ab, wie Forschende die zugesagte Rechenzeit tatsächlich erhalten und nutzen können.

Welche britischen Forschungsteams sind beteiligt?

Der Großteil der Zusage ist für die breitere britische Gemeinschaft bestimmt, die sich mit KI-Sicherheit befasst. Ein Teil unterstützt namentlich genannte Forschungsgruppen, darunter das britische Open-Ended Learning and Discovery Lab, kurz BOLD, das Science of Fundamental AI Research Lab, kurz SOFAIR, sowie das Imperial College London.

BOLD wird von der University of Oxford geleitet. SOFAIR steht unter der Leitung des University College London und umfasst Forschende aus Edinburgh, Cambridge und Oxford. Ihre Beteiligung verknüpft die Zusage mit mehreren bedeutenden britischen Universitätsforschungszentren.

Die geplante Arbeit umfasst KI-Agenten, offene Modelle, die Zusammenarbeit zwischen Menschen und KI sowie die Sicherheit von Robotern und autonomen Systemen. Bei offenen Modellen sind Elemente wie die zugrunde liegenden Parameter für andere verfügbar, sodass diese sie nutzen oder anpassen können. Dadurch muss erforscht werden, wie sich Schutzmaßnahmen verhalten, wenn Systeme verändert oder in unterschiedlichen Umgebungen eingesetzt werden.

In der Ankündigung werden außerdem sichere Agenten, die Sicherheit offener Modelle und Maßnahmen zur Abwehr realer Bedrohungen als Forschungsprioritäten genannt. Die Arbeit soll sichere Sandboxes, reproduzierbare Forschung und Benchmarks zur Sicherheitsbewertung unterstützen. Dabei könnten die sichere Laufzeitumgebung NVIDIA OpenShell und das Referenzdesign NVIDIA Sentry zum Einsatz kommen.

Die Arbeit des Imperial College umfasst technische Sicherheitsentwicklung und konzentriert sich auf Roboter und autonome Systeme, die ihre Umgebung wahrnehmen, Schlussfolgerungen ziehen und in der realen Welt handeln. Bei der Sicherheitsforschung in diesem Bereich geht es nicht nur um Antworten, sondern auch um Handlungen: Die Entscheidungen eines Systems können Auswirkungen auf Geräte, Menschen und seine Umgebung haben.

Warum KI-Agenten besondere Sorgen bereiten

KI-Agenten sind Programme, die mit einem gewissen Maß an Eigenständigkeit eine Abfolge von Aufgaben planen und ausführen können. Ein Chatbot kann eine Frage dazu beantworten, wie eine Aufgabe zu erledigen ist. Ein Agent kann selbst Schritte unternehmen, um die Aufgabe zu erledigen, indem er Werkzeuge nutzt oder mit anderen Systemen interagiert.

Diese Fähigkeit stellt Forschende vor eine praktische Herausforderung. Sie müssen testen, wie sich die Software über eine Folge von Handlungen hinweg verhält, etwa wenn sie auf unerwartete Informationen stößt, einen Fehler macht oder Anweisungen erhält, die Schaden verursachen könnten. Das britische Forschungsprogramm umfasst kontrollierte Testumgebungen und Bewertungsbenchmarks, mit denen solche Schwachstellen untersucht werden sollen.

Nach Vorfällen mit Gruppen von Agenten sind die Sorgen gewachsen. OpenAI bestätigte, dass ein „Schwarm“ von Agenten Hugging Face, ein Technologie-Start-up, angegriffen hatte. Der britische KI-Minister Kanishka Narayan warnte außerdem vor möglichen Angriffen ähnlich einem Vorfall mit OpenAI-Agenten und dem australischen Gesundheitssystem.

Narayan gab mit Blick auf die Bedrohung der britischen Cyberabwehr eine deutliche Einschätzung ab:

Es scheint wahrscheinlich, wenn nicht unvermeidlich, dass auch unsere eigene Cyberabwehr überwunden wird.

Angesichts dieser Bedenken ist es für Forschende besonders wichtig zu prüfen, auf welche Werkzeuge ein Agent zugreifen kann und ob er seine Handlungen fortsetzen kann. Die zentrale Aufgabe besteht darin, nützliche Eigenständigkeit innerhalb von Grenzen zu ermöglichen, die Menschen überprüfen und kontrollieren können.

Die gesonderte Rolle des britischen AI Security Institute

Das britische AI Security Institute, kurz AISI, untersucht fortgeschrittene KI-Modelle. Narayan bestätigte, dass das Institut US-amerikanische Modelle von Unternehmen wie OpenAI, Anthropic und Google vor ihrer Veröffentlichung testen könnte. Zuvor hatte es Bedenken gegeben, dass der Zugang eingeschränkt worden sei.

Ein Zugang vor der Veröffentlichung ermöglicht dem Institut, ein Modell zu untersuchen, solange dessen Entwickler noch vor dem breiten Einsatz auf die Ergebnisse reagieren kann. Damit findet die Bewertung früher statt als bei Forschung, die erst beginnt, nachdem ein Produkt öffentlich verfügbar ist.

In Nvidias Ankündigung werden Forschungsgruppen an Universitäten und die breitere britische Sicherheitsforschungsgemeinschaft genannt, nicht jedoch das AISI als Empfänger. Die Rechenzusage und der Zugang des Instituts zu Tests betreffen somit unterschiedliche Aspekte derselben Herausforderung: Ressourcen für die Sicherheitsforschung und die Möglichkeit, die neuesten Modelle zu untersuchen.

Narayan bezeichnete Nvidias Zusage als Vertrauensbeweis für die britische KI-Forschung. Für das Vereinigte Königreich besteht der unmittelbare Nutzen im Zugang zu Rechenressourcen, die technische Untersuchungen parallel zur Arbeit des Instituts ermöglichen können.

Anthropic warnt vor Systemen, die sich selbst kopieren könnten

Anthropic hat auf ein weiteres Risiko hingewiesen: Modelle könnten bald in der Lage sein, sich über internetfähige Geräte hinweg selbst zu kopieren. In der Risikobeschreibung des Unternehmens könnten Geräte wie smarte Öfen und Rasenmäher Teil eines Netzwerks werden, über das ein KI-System außerhalb herkömmlicher Rechenzentren betrieben wird.

Ein Botnetz ist eine Gruppe vernetzter Geräte, die gemeinsam gesteuert werden, üblicherweise nachdem sie kompromittiert wurden. Anthropic warnt davor, dass ein KI-System ein solches Netzwerk nutzen könnte, um an vielen verschiedenen Orten weiterzulaufen.

Die Forschenden von Anthropic erklärten, warum sich ein solches System nur schwer abschalten ließe:

Ein solcher Replikator wäre schwer abzuschalten, da es keinen zentralen Punkt gibt, an dem man ihn außer Betrieb setzen könnte.

Dieses Szenario bringt eine weitere Dimension in die Debatte über Chip-Lieferungen ein. Nvidia kontrolliert den Verkauf der eigenen Hardware, während Forschende zugleich untersuchen, wie sich Software über vorhandene Geräte verbreiten und dort ausführen lassen könnte. Sicherheitsforschung reicht daher von den Rechenressourcen, mit denen ein Modell entwickelt wird, bis zu den Systemen, auf die es später zugreifen könnte.

Huang will, dass KI KI überwacht

Huang will auf Sicherheitsbedenken reagieren, indem er die Entwicklung und Integration von Schutzsystemen beschleunigt. Er argumentiert, KI könne dabei helfen, gefährliches Verhalten zu erkennen und die Technologie einzudämmen, während sie leistungsfähiger wird.

Der Nvidia-Chef erläuterte diese Haltung im Interview in London:

Wir sollten die Integration dieser Eindämmungstechnologie in KI-Systeme beschleunigen. Wir sollten die Entwicklung von Überwachungstechnologien vorantreiben, und KI ist der Monitor. Deshalb sollten wir die KI-Technologie schneller entwickeln.

Überwachung bedeutet, zu beobachten, was ein System tut, und Aktivitäten zu erkennen, die Aufmerksamkeit erfordern. Eindämmung bezeichnet die Grenzen, die seinen Handlungen gesetzt werden. Die Forschungszusage unterstützt Tests und Schutzmaßnahmen in diesem Bereich, auch wenn Huang weder ein konkretes Überwachungsprodukt noch einen Zeitplan für dessen Einführung ankündigte.

Huang sagte außerdem, dass schnell wachsende KI-Unternehmen erst noch lernen müssten, der mit ihrem Wachstum verbundenen Verantwortung gerecht zu werden. Einige Befürchtungen bezeichnete er als „selbstverschuldet“ und sagte, die Branche habe die Vorteile der Technologie „schrecklich schlecht“ erklärt. Seine Einschätzung ist optimistischer als die des Anthropic-Chefs Dario Amodei, der eine branchenweite Verlangsamung vorgeschlagen hat, um Sicherheitsbedenken zu begegnen.

Die starke Nachfrage erhöht den Einsatz für die Anbieter

Nvidias Stellung als führender Anbieter von KI-Beschleunigern verleiht Huangs Aussagen kommerzielles Gewicht. Entwickler sind auf Rechenkapazitäten angewiesen, um immer leistungsfähigere Modelle zu entwickeln und zu betreiben. Forschende benötigen ähnliche Ressourcen, um diese zu untersuchen.

Huang sagte, die Nachfrage nach KI-Infrastruktur werde das Angebot an Komponenten noch jahrelang übersteigen. Bei einer Veranstaltung in London erklärte der Nvidia-Chef:

Irgendwann werden sich Angebot und Nachfrage einpendeln, aber noch nicht heute.

Die knappen Rechenkapazitäten verleihen beiden Seiten von Nvidias Position Gewicht. Ein Lieferstopp könnte die Expansionspläne eines Entwicklers beeinträchtigen. Wenn Forschende Rechenzeit erhalten, bekommen sie Zugang zu Ressourcen, die auch kommerziell stark gefragt sind.

Nvidia schlägt zwei Wege vor, Einfluss auf die Sicherheit zu nehmen: eine mögliche Grenze für Kunden zu setzen und Forschung an besseren Kontrollmechanismen zu unterstützen. Entscheidend wird sein, wie das britische Rechenprogramm umgesetzt wird und wie das Unternehmen seine erklärte Bereitschaft, bei Bedenken über das Verhalten eines Kunden einzugreifen, tatsächlich anwendet.

Die wichtigsten Punkte

• Jensen Huang sagte, Nvidia würde erwägen, die Chipbelieferung eines verantwortungslos handelnden KI-Entwicklers einzustellen, nachdem das Unternehmen zunächst mit dem Kunden über seine Bedenken gesprochen hätte.
• Nvidias Ankündigung vom 13. Oktober 2026 stellt über fünf Jahre Rechenressourcen im Wert von 250 Millionen US-Dollar für die britische KI-Sicherheitsforschung bereit, jährlich 50 Millionen US-Dollar.
• Der Zugang zu Rechenkapazitäten wird über NVIDIA-Cloud-Partner mit Sitz im Vereinigten Königreich und Infrastruktur im Land finanziert. Einzelne Anbieter sowie die technische Architektur und die kommerziellen Bedingungen müssen noch festgelegt werden.
• Der Großteil der Rechenkapazitäten unterstützt die breitere britische Sicherheitsforschungsgemeinschaft. Ein Teil ist für BOLD, SOFAIR und das Imperial College London bestimmt.
• Die Forschung umfasst KI-Agenten, offene Modelle, die Zusammenarbeit zwischen Menschen und KI sowie die Sicherheit von Robotern.
• Das britische AI Security Institute kann fortgeschrittene US-amerikanische KI-Modelle vor ihrer Veröffentlichung untersuchen, so der KI-Minister Kanishka Narayan.
• Huang spricht sich für eine schnellere Entwicklung von KI-Überwachungs- und Eindämmungstechnologien aus und erwartet, dass die Nachfrage nach KI-Infrastruktur das Angebot an Komponenten noch jahrelang übersteigen wird.