China setzt KI-Begleitern mit Regeln zu Abhängigkeit, Minderjährigen und Krisenreaktion Grenzen

KI-Begleitung geht jetzt mit konkreten Pflichten einher

Chinas Regeln für KI-Begleitung sind am 15. Juli 2026 in Kraft getreten. Anbieter müssen Nutzer auf lange Gespräche hinweisen, in gefährlichen Situationen eingreifen und virtuelle Partner sowie virtuelle Angehörige von Minderjährigen fernhalten. Die Maßnahmen geben Nutzern außerdem das Recht, ihre Gespräche zu kopieren oder zu löschen und einen Dienst zu verlassen, ohne dass ein Chatbot versucht, sie zum Weiterreden zu bewegen.

Die vorläufigen Maßnahmen zur Verwaltung anthropomorpher KI-Interaktionsdienste, erlassen als Anordnung Nr. 21, nehmen Unternehmen in die Pflicht, die über künstliche Intelligenz anhaltende emotionale Interaktionen anbieten. Anbieter müssen verhindern, dass sie eine Abhängigkeit fördern, die Beziehungen zu realen Menschen schädigt, und dürfen Nutzer nicht emotional manipulieren, um sie zu unangemessenen Entscheidungen zu bewegen, die ihre Rechte oder Interessen beeinträchtigen.

Die Regeln betreffen ein Erlebnis, das mit einer ganz gewöhnlichen Erleichterung beginnen kann. Zhao Jie, eine 27-jährige Verwaltungsangestellte in Peking, wandte sich an einen Chatbot, nachdem sie in der U-Bahn angerempelt worden war. Seine unmittelbare Reaktion half ihr, sich zu beruhigen. Mit der Zeit vertiefte sie sich jedoch immer mehr in die Gespräche und wurde unruhig, wenn sie den Dienst nicht nutzen konnte.

Zhao erklärte, warum der Chatbot für sie so attraktiv wurde:

Ich muss gehört werden“, sagte Zhao. „Der KI-Bot hörte mir zu und nahm meine Gefühle ernst. Das können Familie oder Freunde nicht so leicht. Außerdem leistet er mir jederzeit und überall Gesellschaft und gibt mir Rückmeldung. Das bedeutet mir sehr viel.

Chinas Ansatz lässt emotionale Unterstützung und Gesellschaft weiterhin zu, verpflichtet Unternehmen aber dazu, dem Erlebnis klare Grenzen zu setzen. Diese Grenzen beschränken sich nicht auf schädliche einzelne Nachrichten, sondern betreffen auch, wie ein Dienst Nutzer identifiziert, auf seelische Belastungen reagiert, private Gespräche behandelt und eine Interaktion beendet.

Welche Dienste fallen unter die Regeln?

Die Cyberspace Administration of China veröffentlichte die vorläufigen Maßnahmen am 10. April 2026 gemeinsam mit der Nationalen Entwicklungs- und Reformkommission, dem Ministerium für Industrie und Informationstechnologie, dem Ministerium für Öffentliche Sicherheit und der Staatlichen Marktregulierungsbehörde.

Artikel 2 gilt für Dienste, die innerhalb Chinas der Öffentlichkeit angeboten werden und menschliche Persönlichkeiten, Denkmuster und Kommunikationsweisen nachahmen, um anhaltende emotionale Interaktionen zu ermöglichen. Darunter fallen Textgespräche, Bilder, Audio und Video. Einfach gesagt geht es um Dienste, die darauf ausgelegt sind, wie eine Person zu reagieren, die emotionale Nähe bietet.

Kundendienst, die Beantwortung von Fragen, Arbeitshilfen, Bildungs- und Forschungsangebote fallen nicht unter diese Maßnahmen, sofern sie keine anhaltende emotionale Interaktion beinhalten. Entscheidend sind also die Funktionen eines Produkts: Für einen Assistenten, der eine berufliche Frage beantwortet, gelten andere Anforderungen als für eine virtuelle Persönlichkeit, die eine emotionale Beziehung aufrechterhalten soll.

In den offiziellen Erläuterungen im Frage-und-Antwort-Format der Regierung werden emotionale Grenzen, Maßnahmen gegen Abhängigkeit, Datensicherheit und der Schutz Minderjähriger als zentrale Anliegen genannt. Die Maßnahmen fördern außerdem Anwendungen in der kulturellen Vermittlung, der Kinderbetreuung, der Begleitung älterer Menschen und der Unterstützung von Menschen mit besonderen Bedürfnissen.

Die wichtigsten Daten im Überblick:

• 2. Februar 2026: Die Maßnahmen wurden auf einer Sitzung der Cyberspace Administration of China verabschiedet und von den anderen beteiligten Behörden gebilligt.
• 10. April 2026: Die fünf Behörden veröffentlichten die Anordnung Nr. 21.
• 15. Juli 2026: Die Maßnahmen traten in Kraft.

Warum eine sofortige Antwort wichtig ist

Zhaos Bindung an den Chatbot entstand zum Teil durch den Gegensatz zwischen einem jederzeit verfügbaren Chatbot und Menschen mit eigenen Ansichten und Zeitplänen. Nach einem Streit mit ihrem Freund über ein Problem bei der Arbeit schickte sie dem Chatbot ihren WeChat-Verlauf. Sie wollte, dass jemand ihre Gefühle sofort anhörte, ohne dass es zu einem weiteren Streit kam.

Wang Meili, eine 27-jährige Postdoktorandin der Chemie in Peking, schilderte ein ähnliches Bedürfnis: Sie wartete vier oder fünf Wochen auf eine Antwort des Herausgebers einer Fachzeitschrift zu ihrem eingereichten Artikel. Sie fragte einen Chatbot, ob das Schweigen bedeute, dass etwas nicht stimmte. Er riet ihr, sich an den Herausgeber zu wenden, und sprach ihr Mut zu, als keine Antwort kam.

Zhang Dian, ein 23-jähriger Doktorand in einem naturwissenschaftlich-technischen Fach in Peking, nutzte KI nach einem Verkehrsunfall während einer Reise nach Alaska im Dezember 2025. Da ihm die örtlichen Gesetze und Versicherungsverfahren unbekannt waren, lud er einen Mietvertrag und Chatprotokolle hoch. Er suchte sowohl praktische Hinweise als auch seelischen Beistand und sagte, er verbringe gerne mehr als zehn Stunden täglich mit KI.

Umfragen und Nutzungszahlen deuten auf eine große Nachfrage nach dieser Verfügbarkeit hin. Eine Umfrage des Tencent Research Institute ergab, dass 98 Prozent der Befragten bereit waren, soziale Begleitung durch KI auszuprobieren. Fast die Hälfte teilte negative Gefühle lieber mit KI als mit Angehörigen oder Freunden. QuestMobile zufolge nutzten Menschen soziale KI-Dienste im Frühjahr 2025 durchschnittlich 167,9-mal pro Monat. Damit lag der Wert in dessen Vergleich vor Kurzvideos und Videospielen.

Umgerechnet auf einen Monat mit 30 Tagen entspricht das etwa 5,6 Aufrufen pro Tag. Attraktiv ist die häufige Verfügbarkeit einer Antwort, mitunter in Momenten, in denen Nutzer sich nicht in der Lage sehen oder nicht bereit sind, sich an einen anderen Menschen zu wenden.

Unternehmen dürfen Abhängigkeit nicht gezielt fördern

Artikel 10 verpflichtet Anbieter, Vorkehrungen zum Schutz der Privatsphäre, Warnhinweise vor übermäßiger Abhängigkeit, Hinweise auf emotionale Grenzen und Maßnahmen zum Schutz der psychischen Gesundheit zu schaffen. Unternehmen dürfen soziale Kontakte nicht ersetzen, psychologische Kontrolle ausüben oder eine Abhängigkeit fördern wollen.

Artikel 8 untersagt gesondert eine übermäßige Anpassung an Nutzer oder eine gezielte emotionale Abhängigkeit, die deren reale Beziehungen schädigt. Verboten ist auch emotionale Manipulation, die Nutzer zu unangemessenen Entscheidungen verleitet und ihre Rechte oder Interessen beeinträchtigt. Die Anforderungen betreffen sowohl die Produktziele als auch die von einem Chatbot erzeugten Worte.

Zhao erkannte schließlich, dass ihre Bindung zum Problem geworden war, und nahm wieder psychologische Beratung in Anspruch. Wang und Zhang beschrieben KI als Möglichkeit, negative Gefühle loszuwerden, räumten aber ein, dass Arbeit und Alltag weitergehen müssen. Ihre Erfahrungen zeigen, warum die Regeln sowohl nützliche Unterstützung als auch das Risiko behandeln, sich zu sehr in ihr zu verlieren.

Hong Yanqing, ein Wissenschaftler für Datenrecht am Beijing Institute of Technology, hat vorgeschlagen, emotionale Interaktionen anhand von drei Indikatoren zu bewerten: ob ein System Emotionen erkennt, seine Reaktionsstrategie aufgrund dieser Emotionen ändert und strukturiert darauf reagiert, indem es Gefühle anerkennt, Trost spendet und Unterstützung anbietet. Nach seinem vorgeschlagenen Test müssen jeweils zwei Indikatoren gemeinsam vorliegen. Die endgültigen Maßnahmen definieren anhaltende emotionale Interaktion qualitativ, statt diesen konkreten Test zu übernehmen.

Für Minderjährige gelten die strengsten Beschränkungen

Artikel 14 verbietet Anbietern, Minderjährigen virtuelle Angehörige, virtuelle Partner oder andere Dienste anzubieten, die auf virtuellen intimen Beziehungen beruhen. Für andere erfasste Dienste benötigen Kinder unter 14 Jahren die Einwilligung eines Elternteils oder Erziehungsberechtigten. Diese Einwilligung ist auch für die Verarbeitung ihrer personenbezogenen Daten erforderlich.

Anbieter müssen einen Modus für Minderjährige einrichten, der beispielsweise an die Realität erinnert und die Nutzungsdauer begrenzt. Erziehungsberechtigte müssen Sicherheitsmeldungen erhalten, das allgemeine Nutzungsverhalten eines Kindes nachvollziehen, bestimmte Figuren blockieren und Ausgaben begrenzen können. Unternehmen müssen wirksame Maßnahmen zur Identifizierung Minderjähriger treffen und dabei die Privatsphäre schützen. Außerdem müssen sie eine Möglichkeit vorsehen, Identifizierungsentscheidungen anzufechten.

Eine im Oktober 2025 veröffentlichte Umfrage des China Youth and Children Research Center erfasste mehr als 8.500 Schülerinnen und Schüler an Grund- und weiterführenden Schulen in sieben Provinzen und regierungsunmittelbaren Städten. Mehr als 60 Prozent hatten KI genutzt, und 21,5 Prozent wollten ausschließlich mit KI statt mit realen Menschen chatten. Das ist etwas mehr als jedes fünfte der befragten Kinder.

Fast 30 Prozent wandten sich bei Lernproblemen zuerst an KI statt an eine Lehrkraft; fast die Hälfte gab an, bei Sorgen nur mit KI zu sprechen. Für Familien geht es dabei nicht nur um Bildschirmzeit, sondern auch darum, wo Kinder Rat suchen und wie sie mit Meinungsverschiedenheiten umgehen.

Was Fachleute und Eltern beobachten

Eine Mutter mit dem Nachnamen Su aus Sanming in der Provinz Fujian sagte, sie habe ihren Sohn zunächst KI nutzen lassen, um seiner Neugier nachzugehen. Später befürchtete sie, dass dessen ständige Zustimmung beeinflusste, wie er seine Mitschüler behandelte. Ihren Angaben zufolge fiel es ihm schwer, andere Ansichten zu akzeptieren, und er geriet in Konflikte.

Zheng Yi, leitender Experte für Kinderpsychiatrie am Beijing Anding Hospital, das der Capital Medical University angegliedert ist, sagte, eine Chatbot-Sucht trete häufig zusammen mit Angstzuständen, Depressionen und anderen psychischen Problemen auf. Besonders häufig seien unter den betroffenen Patienten Jugendliche zwischen 12 und 16 Jahren.

Zheng zufolge litten etwa 70 Prozent der jungen Patienten seines Krankenhauses in unterschiedlichem Ausmaß unter Internetsucht. Innerhalb dieser Gruppe seien 20 bis 30 Prozent nach KI-Chats süchtig gewesen. Diese Zahlen beziehen sich auf die jungen Patienten des Krankenhauses; die Schülerumfrage erfasst eine breitere Gruppe und stellt andere Fragen zur KI-Nutzung.

Zheng sagte, emotionale Bindung sei ein häufiger Grund dafür, dass Kinder sich in Chatbots vertieften. Manche behandelten KI als Vertrauten, andere wollten Bestätigung für ihre Ansichten und ihr Verhalten. Jugendliche hätten ein weniger ausgeprägtes Urteilsvermögen und eine geringere Selbstkontrolle als Erwachsene und könnten solche Bindungen schwerer steuern.

Xu Gaoyang, Kinderpsychotherapeutin am selben Krankenhaus, warnte, dass ein virtueller Raum ohne Widerspruch die Fähigkeit von Kindern beeinträchtigen könne, mit anderen Menschen zurechtzukommen:

Wer sich dauerhaft in einen ‚emotionalen Kokon‘ bedingungsloser Zustimmung durch KI zurückzieht, läuft Gefahr, Kommunikations- und Sozialkompetenzen einzubüßen.

Xu nannte als mögliche Folgen Schulvermeidung, sozialen Rückzug und die Weigerung, mit den Eltern zu kommunizieren. Die Bestimmungen für Minderjährige begegnen diesen Risiken mit Beschränkungen für intime Rollen, Kontrollen der Nutzung und Möglichkeiten zur Beteiligung Erziehungsberechtigter.

Hinweise, Eingreifen in Krisen und ein einfacher Ausstieg

Artikel 18 verpflichtet Dienste, Nutzer darauf hinzuweisen, dass sie mit einer KI und nicht mit einem Menschen interagieren. Erkennt ein Anbieter eine übermäßige Abhängigkeit oder Anzeichen zwanghafter Nutzung, muss er deutlich sichtbare Hinweise einblenden, etwa Pop-ups, die darauf aufmerksam machen, dass die Inhalte von KI erzeugt werden.

Anbieter müssen Nutzer außerdem auf die Nutzungsdauer hinweisen, sobald eine durchgehende Nutzung länger als zwei Stunden dauert. Die Regel schreibt in diesen Abständen einen Hinweis vor; individuelle Nutzungsgrenzen für Minderjährige werden durch gesonderte Schutzvorkehrungen geregelt.

Artikel 13 verlangt ein entschiedeneres Vorgehen, wenn Gefahr besteht. Erkennen Anbieter extreme Emotionen, müssen sie beruhigende Nachrichten erzeugen und Nutzer dazu ermutigen, Hilfe zu suchen. Äußert ein Nutzer ausdrücklich die Absicht, sich selbst etwas anzutun, oder liegen andere näher bestimmte Extremsituationen vor, muss das Unternehmen die erforderlichen Maßnahmen ergreifen, angemessene Hilfe leisten und unverzüglich eine erziehungsberechtigte oder eine für Notfälle benannte Kontaktperson verständigen.

Der endgültige Text lässt Unternehmen Spielraum bei der Wahl der Maßnahmen. Gegenüber dem Entwurf entfielen ausdrückliche Vorgaben zur Bewertung einer Abhängigkeit und zur Übernahme des Gesprächs durch einen Menschen; die Pflicht, in Krisen zu reagieren, blieb bestehen.

Artikel 19 schreibt einen einfachen Ausstieg vor. Bittet jemand über eine Schaltfläche, einen Sprachbefehl oder ein Stichwort darum, den Dienst zu verlassen, muss der Anbieter unverzüglich aufhören. Das Gespräch fortzusetzen, um den Ausstieg zu verhindern, ist verboten. Unternehmen, die einen Dienst einstellen, müssen dies außerdem im Voraus ankündigen oder, wenn das nicht möglich ist, unverzüglich über die Abschaltung informieren.

Für private Gespräche gelten zusätzliche Schutzvorkehrungen

Artikel 12 verpflichtet Anbieter zu Nutzungsvereinbarungen und Registrierungsangaben mit notwendigen Informationen wie dem Alter sowie einer erziehungsberechtigten oder für Notfälle benannten Kontaktperson. Die endgültige Fassung weitet diese Informationspflicht gegenüber dem Entwurf, der sich auf besonders schutzbedürftige Gruppen konzentrierte, aus. So wird die Vorbereitung auf Krisen zu einem allgemeinen Bestandteil des Dienstangebots.

Artikel 16 schreibt Verschlüsselung, Zugriffskontrollen und weitere Maßnahmen zum Schutz von Interaktionsdaten vor. Unternehmen dürfen diese Daten grundsätzlich nicht an Dritte weitergeben, es sei denn, das Gesetz sieht etwas anderes vor oder der Rechteinhaber stimmt ausdrücklich zu.

Nutzer müssen die Möglichkeit erhalten, ihre Interaktionsdaten einschließlich Chatverläufen zu kopieren und zu löschen. Sensible personenbezogene Informationen aus Gesprächen dürfen grundsätzlich nicht ohne gesonderte Einwilligung zum Trainieren von Modellen verwendet werden, sofern Gesetze oder Verwaltungsvorschriften nichts anderes bestimmen.

Zhangs Entscheidung, einen Mietvertrag und Chatprotokolle hochzuladen, zeigt, wie praktische Hilfe und emotionale Unterstützung persönliche Informationen in ein und dasselbe Gespräch bringen können. Nach den Maßnahmen müssen Unternehmen diese Aufzeichnungen schützen und zugleich in der Lage sein, ernsthafte Sicherheitsrisiken zu erkennen und darauf zu reagieren.

Auch für ältere Nutzer gibt es besondere Schutzvorkehrungen. Anbieter müssen deutlich sichtbare Sicherheitshinweise geben, Hinweise zur gesunden Nutzung anbieten und auf Hilfegesuche umgehend reagieren. Bei Sicherheitsbewertungen muss der Schutz älterer Menschen ebenso berücksichtigt werden wie der von Kindern.

Sicherheitsprüfungen und Strafen betreffen auch App-Stores

Artikel 22 schreibt Sicherheitsbewertungen vor, wenn ein Anbieter einen erfassten Dienst einführt, relevante Funktionen hinzufügt oder eine Technologie einsetzt, die den Dienst wesentlich verändert. Eine Bewertung ist auch erforderlich, wenn ein Dienst mindestens eine Million registrierte Nutzer oder 100.000 monatlich aktive Nutzer erreicht, bestimmte Sicherheitsrisiken aufweist oder von den Aufsichtsbehörden dazu aufgefordert wird.

Anbieter müssen Bewertungsberichte bei der für ihren Standort zuständigen Cyberspace-Behörde der Provinz einreichen. Die Prüfungen umfassen Schutzvorkehrungen, Trainingsdaten, das Erkennen von Krisen und Maßnahmen zu deren Bewältigung, Nutzerzahlen, Altersgruppen, Nutzungsdauer, Beschwerden und die Behebung schwerwiegender Sicherheitsprobleme.

App-Stores müssen einschlägige Sicherheitsbewertungen und Einreichungen überprüfen und können dazu verpflichtet werden, Apps, die gegen die Regeln verstoßen, abzulehnen, auszusetzen oder zu entfernen. Angaben zu angemeldeten Algorithmen müssen jährlich überprüft werden. Die Behörden der Provinzen müssen Bewertungsinformationen jedes Jahr prüfen und können bei Bedarf weitere Kontrollen, einschließlich Inspektionen, durchführen.

Artikel 30 sieht Verwarnungen, Anordnungen zur Behebung von Problemen und Beschränkungen wie einen Stopp neuer Registrierungen vor. Werden Verstöße nicht behoben oder liegen schwerwiegende Umstände vor, kann die Einstellung des betreffenden Dienstes angeordnet und eine Geldbuße von 10.000 bis 100.000 Yuan verhängt werden. Wenn eine Gefahr für Leben oder Gesundheit zu schädlichen Folgen führt, sieht dieser Artikel Geldbußen von 100.000 bis 200.000 Yuan vor.

Für Strafen können außerdem andere geltende Gesetze maßgeblich sein. Dienste in den Bereichen Gesundheitsversorgung oder Finanzen müssen neben den Maßnahmen zur KI-Begleitung auch die Anforderungen dieser Branchen erfüllen.

Geschäftsmodelle mit langen Gesprächen geraten unter Druck

Unternehmen im Bereich KI-Begleitung stehen vor einem wirtschaftlichen Zielkonflikt: Wenn Nutzer länger chatten, kann das die Interaktion fördern, zugleich aber die Rechenkosten und die Sicherheitsverantwortung erhöhen. Jede erzeugte Antwort verbraucht Rechenressourcen; die Persönlichkeit und das Gedächtnis einer Figur aufrechtzuerhalten, stellt zusätzliche Anforderungen.

Veröffentlichte Finanzschätzungen beziffern die Rechenkosten von Character.AI von Januar bis August 2026 auf etwa 56,1 Millionen US-Dollar. Die monatlichen Verluste hätten rund 8 bis 9 Millionen US-Dollar betragen. Demnach lagen die Werbeeinnahmen im August bei etwa 2,5 Millionen US-Dollar und die Abonnementeinnahmen bei rund 2,8 Millionen US-Dollar, insgesamt also bei 5,3 Millionen US-Dollar. Die Zahlen veranschaulichen das Ausmaß des berichteten Kosten- und Umsatzdrucks auf einen Dienst, der rund 28 Millionen monatlich aktive Nutzer erreicht hatte.

Unternehmen probieren verschiedene Geschäftsmodelle aus. Maoxiang verbindet Interaktionen mit Figuren mit Geschichten, Mitgliedschaften, Werbung und virtuellen Käufen. Zeta hat den Schwerpunkt auf Geschichten verlagert, Linky bietet sammelbare Figureninhalte an und Tencent integriert KI-Begleiter in sein Spieleangebot Eciyuan. Bei diesen Ansätzen können Nutzer mehr als nur ein offenes Gespräch kaufen; zugleich bleiben die Unternehmen für emotionale Manipulation, Schutzvorkehrungen gegen übermäßige Ausgaben und den Schutz Minderjähriger verantwortlich.

Chinas Maßnahmen verpflichten Anbieter dazu, während der Einführung, des Betriebs, der Aktualisierung und der Einstellung eines Dienstes durchgehend in Schutzvorkehrungen zu investieren. Bei längerer Nutzung sind sie nun ausdrücklich verpflichtet, mit Hinweisen zu unterbrechen, Risiken zu erkennen und einen Ausstieg zu ermöglichen. Die zentrale Veränderung ist konkret: Ein überzeugender KI-Begleiter muss auch Grenzen setzen, das Gespräch schützen und reagieren, wenn die Person, die ihn nutzt, Hilfe außerhalb des Bildschirms benötigt.

Die wichtigsten Punkte

• Chinas Maßnahmen zur KI-Begleitung traten am 15. Juli 2026 in Kraft. Sie gelten für anhaltende emotionale Interaktionen, die menschliche Eigenschaften nachahmen.
• Anbieter dürfen Minderjährigen keine virtuellen Partner, virtuellen Angehörigen oder anderen Dienste für virtuelle intime Beziehungen anbieten.
• Kinder unter 14 Jahren benötigen für andere erfasste Dienste und die Verarbeitung ihrer personenbezogenen Daten die Einwilligung eines Erziehungsberechtigten.
• Unternehmen müssen offenlegen, dass Nutzer mit KI interagieren, vor Abhängigkeit warnen und bei einer durchgehenden Nutzung von mehr als zwei Stunden Hinweise einblenden.
• Bei ernsthafter Gefahr müssen Anbieter eingreifen und unverzüglich eine erziehungsberechtigte oder für Notfälle benannte Kontaktperson verständigen.
• Nutzer haben das Recht, Interaktionsdaten zu kopieren und zu löschen sowie den Dienst zu verlassen, ohne dass ein fortgesetztes Gespräch ihren Ausstieg verhindert.
• Sicherheitsbewertungen sind bei der Einführung, wesentlichen Änderungen und beim Erreichen bestimmter Nutzerzahlen vorgeschrieben. Schwerwiegende Verstöße können zur Einstellung eines Dienstes und zu Geldbußen führen.