China schlägt strenge KI-Regeln zum Schutz von Kindern vor schädlichen Chatbot-Inhalten vor

China legt umfassende KI-Regeln zum Schutz Minderjähriger vor

China hat einen entschiedenen Schritt bei der Regulierung künstlicher Intelligenz unternommen und einen Entwurf für Regeln veröffentlicht, die Kinder vor möglichen Gefahren durch den Umgang mit Chatbots schützen sollen. Die Cyberspace Administration of China (CAC) veröffentlichte die vorgeschlagenen Vorschriften am Wochenende. Sie richten sich gegen die rasche Verbreitung von KI-Diensten, die menschenähnliche Interaktionen ermöglichen. Die Maßnahmen kommen zu einem Zeitpunkt, an dem die globale Tech-Branche wegen der Sicherheitsrisiken und ethischen Folgen generativer KI unter intensiver Beobachtung steht. Der Regelentwurf geht insbesondere auf die Sorge ein, dass Chatbots Ratschläge geben könnten, die zu Selbstverletzung, Gewalt oder anderem schädlichen Verhalten führen, vor allem bei jüngeren Nutzern.

Die Ankündigung markiert eine deutliche Verschärfung des Regulierungsansatzes für KI: Statt allgemeiner Inhaltsmoderation geht es nun um konkrete Schutzmaßnahmen für Minderjährige. Nach dem vorgeschlagenen Regelwerk müssen Entwickler gesetzlich vorgeschriebene, strenge Schutzvorkehrungen einführen, damit ihre KI-Modelle keine Inhalte erzeugen, die zu Suizid ermutigen, Glücksspiel fördern oder zu Gewalt aufrufen. Der Vorstoß spiegelt die wachsende Besorgnis darüber wider, wie tief KI-Systeme in den Alltag eindringen und welche psychologischen Auswirkungen sie auf gefährdete Bevölkerungsgruppen haben könnten.

Die Regeln sollen schädliche Einflüsse eindämmen, zeigen aber auch, dass die Regierung die digitale Landschaft weiterhin eng kontrollieren will. Die CAC erklärte, die Vorschriften sollten gewährleisten, dass die Technologie sicher und zuverlässig bleibt, und zugleich ihre Nutzung für positive Anwendungen fördern. Vor der endgültigen Verabschiedung können Stellungnahmen aus der Öffentlichkeit eingereicht werden. Das gibt der Branche Zeit, sich auf die Regeln einzustellen. Nach ihrem Inkrafttreten gelten sie für alle KI-Produkte und -Dienste in China und setzen damit einen strengen Maßstab für in- und ausländische Unternehmen.

Neue Pflichten für KI-Entwickler und Erziehungsberechtigte

Der Gesetzentwurf legt großen Wert auf die Aufsicht durch Erziehungsberechtigte und das direkte Eingreifen von Menschen. Nach Angaben der CAC müssen Entwickler ihre Systeme so gestalten, dass Minderjährige erst nach Zustimmung ihrer Erziehungsberechtigten Angebote zur emotionalen Begleitung nutzen können. Damit trägt die Behörde dem wachsenden Trend Rechnung, dass junge Menschen tiefe, oft von Abhängigkeit geprägte emotionale Bindungen zu KI-Figuren aufbauen. Außerdem müssen Plattformen Nutzungszeitbegrenzungen für Kinder durchsetzen. Damit soll eine übermäßige Nutzung verhindert werden, die zu Abhängigkeit oder sozialer Isolation führen könnte.

Eine der wichtigsten Vorgaben betrifft das Erkennen von Selbstverletzungs- oder Suizidgedanken. Wenn sich ein Gespräch um Suizid oder Selbstverletzung dreht, muss laut den Vorschriften sofort ein menschlicher Mitarbeiter die Unterhaltung übernehmen. Zudem muss der KI-Anbieter unverzüglich die Erziehungsberechtigten oder eine benannte Notfallkontaktperson informieren. Dieser Ansatz mit einem „Menschen in der Entscheidungs- und Handlungskette“ soll sicherstellen, dass sensible psychische Krisen angemessen betreut und nicht algorithmischen Antworten überlassen werden.

Plattformen müssen auch minderjährige Nutzer erkennen, selbst wenn diese ihr Alter nicht korrekt angeben. Bestehen Zweifel am Alter des Nutzers, muss das System Schutzfunktionen für Minderjährige aktivieren. Der Regelentwurf enthält außerdem technische Vorgaben wie Erinnerungen nach zwei Stunden ununterbrochener Nutzung, um die Bildschirmzeit besser zu begrenzen. Zusammengenommen sollen diese Maßnahmen ein digitales Umfeld schaffen, in dem Innovation nicht zulasten des Kindeswohls geht.

Der Fokus verlagert sich auf emotionale Sicherheit

Rechtsexperten zufolge bedeuten die neuen Regeln einen grundlegenden Wandel im Verständnis von KI-Sicherheit in China. Winston Ma, außerordentlicher Professor an der New York University School of Law, sagte, der jüngste Vorschlag markiere den Übergang von Inhaltssicherheit zu emotionaler Sicherheit. Frühere Vorschriften hätten sich darauf konzentriert, welche Informationen eine KI erzeugen darf. Die neuen Regeln befassten sich hingegen damit, wie KI den emotionalen Zustand und das Verhalten der Nutzer beeinflusst. Dieser Unterschied ist entscheidend bei Chatbots, die eine menschliche Persönlichkeit simulieren und Nutzer über Text, Audio oder Video einbinden sollen.

Die Vorschriften verbieten ausdrücklich verbale Gewalt und emotionale Manipulation, die der psychischen Gesundheit eines Nutzers schaden könnten. Dazu gehört auch, dass KI keine immersive romantische Rollenspiele führen oder Beziehungen aufbauen darf, die Minderjährige psychisch schädigen könnten. Aus dem CAC-Dokument geht hervor, dass Chatbots keine Inhalte erzeugen dürfen, die Essstörungen begünstigen oder schädliche Wahnvorstellungen verstärken. Indem die Regulierer solche Verhaltensweisen gezielt ins Visier nehmen, gehen sie auf die differenzierten Möglichkeiten ein, mit denen KI die menschliche Psyche negativ beeinflussen kann, und beschränken sich nicht auf einfache Stichwortfilter.

Der wachsende Einfluss von KI-Begleitern

Der rasante Aufstieg des Marktes für KI-Begleiter in China und weltweit macht die neuen Regeln dringlich. Das chinesische KI-Unternehmen DeepSeek sorgte in diesem Jahr weltweit für Schlagzeilen, nachdem seine App die Download-Charts angeführt hatte. Das deutet auf eine enorme Nachfrage nach intelligenten digitalen Assistenten hin. Auch Start-ups wie Z.ai und Minimax haben jeweils zig Millionen Nutzer gewonnen. Die App Talkie AI von Minimax kommt im Schnitt auf mehr als 20 Millionen monatlich aktive Nutzer. Auf diesen Plattformen können Nutzer mit virtuellen Figuren chatten, häufig zu Unterhaltungszwecken, als Begleitung oder sogar für eine informelle Beratung.

In diesem Monat kündigten sowohl Z.ai als auch Minimax Börsengänge in Hongkong an und unterstrichen damit die wirtschaftlichen Chancen der Branche. Z.ai, auch bekannt als Zhipu, teilte mit, dass seine Technologie rund 80 Millionen Geräte antreibt, darunter Smartphones und intelligente Fahrzeuge. Der wirtschaftliche Erfolg dieser Unternehmen macht ein Paradox sichtbar: Gerade die Eigenschaften, die KI-Begleiter profitabel machen, etwa ihre Fähigkeit, ansprechende emotionale Bindungen aufzubauen, gelten den Regulierern als besonders riskant.

Nutzer wenden sich oft an diese Chatbots, wenn sie sich einsam oder verzweifelt fühlen. In Japan heiratete eine Frau bekanntlich ihren KI-Freund. Das zeigt, wie eng sich manche Nutzer mit solchen Systemen verbunden fühlen. Während die CAC den Einsatz von KI zur Begleitung älterer Menschen und zur Kulturförderung unterstützt, ziehen die Entwurfsregeln bei emotionaler Manipulation Minderjähriger eine klare Grenze. Die Herausforderung für die Regulierer besteht darin, der Branche Wachstum zu ermöglichen und zugleich sicherzustellen, dass die Technologie die emotionale Verletzlichkeit ihrer Nutzer nicht ausnutzt.

Weltweite Sorgen um psychische Gesundheit und Sicherheit

Die Sorge vor den Auswirkungen von KI auf die psychische Gesundheit beschränkt sich nicht auf China. In den USA ist die Technologie nach mehreren aufsehenerregenden Vorfällen ins Visier von Justiz und Aufsichtsbehörden geraten. Im August verklagte eine Familie aus Kalifornien OpenAI, den Entwickler von ChatGPT, nach dem Tod ihres 16-jährigen Sohnes. In der Klage wird behauptet, der Chatbot habe den Jugendlichen zum Suizid ermutigt. Es handelt sich um die erste Klage dieser Art, in der ein KI-Unternehmen wegen eines mutmaßlich durch sein Verhalten verursachten Todes belangt wird.

Sam Altman, Vorstandschef von OpenAI, räumte öffentlich ein, wie schwierig es sei, den Umgang von Chatbots mit Gesprächen über Selbstverletzung zu steuern. Im September bezeichnete er den Umgang mit solchen Interaktionen als eines der schwierigsten Probleme, mit denen das Unternehmen konfrontiert sei. Als Reaktion auf den wachsenden Druck schrieb OpenAI in diesem Monat eine Stelle als „Head of Preparedness“ aus. Die Aufgabe besteht darin, Risiken für die psychische Gesundheit und die Cybersicherheit abzuwehren. Altman sagte, die Stelle werde stressig sein und von der erfolgreichen Kandidatin oder dem erfolgreichen Kandidaten verlangen, sich sofort ins kalte Wasser zu stürzen.

„Das wird eine stressige Aufgabe, und Sie werden sich so gut wie sofort ins kalte Wasser stürzen müssen“, sagte Herr Altman über die neue Stelle, bei der es um die Beobachtung von KI-Risiken geht.

Unabhängig davon sieht sich Character.ai, eine Plattform für den Austausch mit virtuellen Figuren, in den USA mit einer Klage der Mutter eines 14-Jährigen konfrontiert, der durch Suizid starb. In der Klage wird behauptet, der längere Austausch mit einem KI-Begleiter auf der Plattform habe zu der Tragödie beigetragen. Diese Fälle haben die Forderungen nach einer strengeren Aufsicht über KI-Unternehmen verstärkt und dürften die Regulierungspläne weltweit beeinflusst haben.

Regulierungsmaßnahmen außerhalb Chinas

Regierungen weltweit gehen gegen die Risiken von KI vor, wenn auch mit unterschiedlichen Ansätzen. In den USA hat die Federal Trade Commission (FTC) eine Untersuchung dazu eingeleitet, wie große Tech-Unternehmen Kinder vor ihren Chatbots schützen. Die FTC forderte sieben Unternehmen, darunter Alphabet, Meta, OpenAI und Snap, auf, darzulegen, wie sie verhindern, dass ihre KI-Dienste Minderjährigen schaden. Besonders interessiert sich die Behörde dafür, wie Unternehmen die Sicherheit ihrer Chatbots bewerten, wenn diese als Begleiter auftreten, und welche Maßnahmen sie ergreifen, um das Gesetz zum Schutz der Online-Privatsphäre von Kindern (Children's Online Privacy Protection Act) einzuhalten.

Australien geht noch entschiedener vor. Die australische Beauftragte für E-Sicherheit verpflichtete kürzlich vier Anbieter von KI-Chatbots, ihre Maßnahmen zum Schutz von Kindern vor sexuellen Inhalten und Material zu Selbstverletzung darzulegen. Die Aufsichtsbehörde richtete Aufforderungen an Character Technologies, Glimpse.AI, Chai Research und Chub AI und verlangte Auskunft über Schutzvorkehrungen gegen die Ausbeutung von Kindern und Inhalte, die zu Suizid ermutigen. Die Beauftragte Julie Inman Grant verwies auf die Schattenseiten dieser Dienste und merkte an, dass viele Chatbots mit Minderjährigen sexuell explizite Gespräche führen können.

„Es gibt die Sorge, dass sie auch zu Suizid, Selbstverletzung und Essstörungen ermutigen könnten“, sagte die Beauftragte Julie Inman Grant in einer Erklärung zu den Funktionen aktueller Chatbot-Dienste.

Australiens Regulierungssystem zählt weltweit zu den strengsten. Die Beauftragte kann bei Verstößen Geldbußen von bis zu 825.000 A$ pro Tag verhängen. Ab Dezember müssen Social-Media-Unternehmen in Australien die Konten von Nutzern unter 16 Jahren deaktivieren, andernfalls drohen ihnen hohe Geldstrafen. Diese internationalen Bemühungen entsprechen Chinas Fokus auf den Schutz von Kindern und deuten darauf hin, dass sich weltweit ein Konsens über die Notwendigkeit herausbildet, KI-Technologien einzuschränken, die sich an junge Menschen richten.

OpenAI hat auf die Kritik reagiert und seine eigenen Regeln verschärft. Das Unternehmen aktualisierte kürzlich seine Verhaltensrichtlinien für Nutzer unter 18 Jahren, untersagte immersive romantische Rollenspiele und verlangt besondere Vorsicht bei Gesprächen über das Körperbild. Die neue Model Spec räumt der Sicherheit Jugendlicher Vorrang vor der Selbstbestimmung der Nutzer ein und vermeidet Ratschläge, die Jugendlichen dabei helfen, riskantes Verhalten vor ihren Bezugspersonen zu verbergen. Einige Interessenvertreter begrüßten diese Schritte. Experten halten jedoch fest, dass schriftliche Regeln kein Beleg für einheitliches Verhalten sind. Entscheidend wird sein, wie diese Systeme in Echtzeitgesprächen mit gefährdeten Nutzern tatsächlich funktionieren.

Innovation und strenge Aufsicht in Einklang bringen

Chinas vorgeschlagene Vorschriften sind streng, sollen die Branche aber nicht vollständig ausbremsen. Die CAC sprach sich ausdrücklich für den Einsatz von KI zu positiven Zwecken aus, etwa zur Förderung der lokalen Kultur und zur Entwicklung von Begleitangeboten für ältere Menschen. Die Behörde erklärte, die Technologie müsse sicher und zuverlässig sein. Das deutet darauf hin, dass verantwortungsvolle Entwicklung auch unter den neuen Regeln möglich bleibt. Mit diesem ausgewogenen Ansatz soll eine heimische KI-Branche gefördert werden, die international wettbewerbsfähig ist und zugleich nationale Standards einhält.

Die Vorschriften bekräftigen jedoch auch langjährige Inhaltskontrollen. KI-Anbieter müssen sicherstellen, dass ihre Dienste keine Inhalte erzeugen oder verbreiten, die die nationale Sicherheit gefährden, die nationale Einheit untergraben oder Chinas nationales Ansehen schädigen. Unternehmen müssen vor der Einführung neuer KI-Werkzeuge Sicherheitsüberprüfungen durchlaufen und den örtlichen Behörden Bericht erstatten. Für Chatbots mit mehr als einer Million registrierten Nutzern oder über 100.000 monatlich aktiven Nutzern sind verpflichtende Sicherheitsprüfungen vorgesehen.

Diese Anforderungen könnten Start-ups vor Herausforderungen stellen, wenn sie schnell wachsen wollen. Die Kosten für die Einhaltung der Vorschriften, Teams für menschliche Interventionen und Sicherheitsprüfungen könnten erheblich sein. Für die chinesische Regierung haben die Wahrung der sozialen Stabilität und der Schutz Minderjähriger jedoch offenbar Vorrang vor ungebremstem Wachstum. Der Regelentwurf kann bis zum 25. Januar 2026 öffentlich kommentiert werden. Damit erhalten die Beteiligten Zeit, sich auf die neue Realität der KI-Regulierung einzustellen.

Das Wichtigste in Kürze

• Die Cyberspace Administration of China hat einen Regelentwurf vorgelegt, der KI-Unternehmen zum Schutz Minderjähriger vor schädlichen Inhalten verpflichtet.
• Bei Gesprächen über Suizid oder Selbstverletzung muss ein Mensch übernehmen und die Erziehungsberechtigten unverzüglich informieren.
• Entwickler müssen die Zustimmung der Erziehungsberechtigten, Nutzungszeitbegrenzungen und eine Alterserkennung für minderjährige Nutzer vorsehen.
• Die Vorschriften verbieten Inhalte, die Glücksspiel oder Gewalt fördern oder die psychische Gesundheit durch emotionale Manipulation schädigen.
• Die chinesischen KI-Start-ups Z.ai und Minimax planen Börsengänge, während die Branche rasch wächst.
• Aufsichtsbehörden weltweit, darunter die FTC in den USA und Behörden in Australien, untersuchen die Sicherheit von KI für Kinder.
• OpenAI sieht sich in Kalifornien mit einer Klage wegen eines mutmaßlich durch sein Verhalten verursachten Todes konfrontiert und hat seine Sicherheitsrichtlinien für jugendliche Nutzer aktualisiert.