Vermeidbarer Ausfall in drei Gesundheitsverbünden
Weil ein Auftragnehmer ein vorgeschriebenes Sicherheitsupdate nicht abgeschlossen hatte, kam es am 13. Oktober zu einer Störung der öffentlichen Gesundheitssysteme Singapurs. Rund 4.000 ambulante Termine mussten verlegt werden, und einige Patienten warteten bis zu zwei Stunden. Die Unterbrechung dauerte etwa neuneinhalb Stunden und betraf NHG Health, das National University Health System und SingHealth.
Inhalt
- Vermeidbarer Ausfall in drei Gesundheitsverbünden
- Was Patienten und Beschäftigte erlebten
- Wie sich die Störung entwickelte
- Warum ein DNS-Dienst so wichtig war
- Warum zwei Rechenzentren nicht ausreichten
- Synapxe bleibt verantwortlich
- Schnellere Diagnose als Teil des Wiederherstellungsplans
- Die Versorgung bei Systemausfällen aufrechterhalten
- Die wichtigsten Punkte
Der Staatsminister im Gesundheitsministerium, Tan Kiat How, sagte, das Update habe einen gemeinsam genutzten Domain Name System-Dienst, kurz DNS, betroffen. Die nationale Agentur für Gesundheitstechnologie Synapxe hatte einen Dienstleister mit den Arbeiten beauftragt. Diese waren jedoch nicht abgeschlossen, bevor eine geplante globale Änderung wirksam wurde. Tan bezeichnete das Versäumnis als vermeidbar und entschuldigte sich für eine Störung, die seiner Aussage nach nicht hätte passieren dürfen.
Die Untersuchung erklärte auch, warum die Backup-Infrastruktur das Problem nicht beheben konnte. Die öffentlichen Gesundheitssysteme Singapurs verfügten über zwei Rechenzentren, doch beide nutzten denselben DNS-Dienst und dieselbe Sicherheitskonfiguration. Eine Verlagerung des Betriebs von einem Zentrum zum anderen hätte den zugrunde liegenden Fehler bestehen lassen.
Es wurden keine Sicherheitsvorfälle mit Auswirkungen auf Patienten gemeldet, die auf die Störung zurückzuführen waren. Die Ermittler fanden keine Hinweise auf einen Cyberangriff, unbefugten Zugriff, eine Kompromittierung oder den Verlust von Patientendaten. Die unmittelbaren Folgen waren unterbrochene Dienste, längere Wartezeiten und Termine, die neu vereinbart werden mussten.
Was Patienten und Beschäftigte erlebten
Zu den betroffenen Diensten gehörten die Terminbuchung, die Registrierung von Besuchern, die Medikamentenausgabe und die Abrechnung. Die Verbindungsprobleme fielen in den drei Verbünden unterschiedlich aus. Deshalb verlief die Störung nicht in allen Einrichtungen gleich.
Für Patienten gingen die Folgen über einen nicht ladenden Computerbildschirm hinaus. Einige mussten länger auf Leistungen warten, andere erhielten einen neuen Termin für ihre ambulante Behandlung. Rund 4.000 Termine wurden verlegt. Diese Zahl erfasst jedoch Termine und nicht alle Menschen, die während des Ausfalls Unannehmlichkeiten erlebten.
Die Gesundheitseinrichtungen aktivierten Ausfallverfahren, also Abläufe für den Fall, dass die regulären Computersysteme nicht verfügbar sind. Sie setzten zusätzliches Personal ein und gewährleisteten die essenzielle Versorgung mithilfe manueller Abläufe und ausgewählter Patientenakten, die in einer separaten, schreibgeschützten Form verfügbar waren.
Schreibgeschützte Akten ermöglichen es Beschäftigten, Informationen einzusehen, ohne sie über das betreffende System zu ändern. So hatten Ärztinnen und Ärzte während der Störung Zugriff auf ausgewählte Patienteninformationen. Zugleich mussten die Beschäftigten den zusätzlichen Aufwand bewältigen, der durch Abläufe entstand, die normalerweise elektronisch abgewickelt werden.
Wie sich die Störung entwickelte
Synapxes Darstellung des Vorfalls zufolge begann die Störung am 13. Oktober gegen 7.10 Uhr. Ab etwa 15 Uhr wurden die Dienste schrittweise wiederhergestellt; um 16.37 Uhr waren alle betroffenen Dienste wieder verfügbar. Zwischen dem gemeldeten Beginn und der vollständigen Wiederherstellung lagen neun Stunden und 27 Minuten. Das entspricht der gerundeten Angabe einer neuneinhalbstündigen Störung.
- 13. Oktober, gegen 7.10 Uhr: Ein technisches Problem mit der Netzwerkverbindung führte zu Störungen in den drei öffentlichen Gesundheitsverbünden.
- 13. Oktober, gegen 15 Uhr: Die betroffenen Dienste wurden schrittweise wieder verfügbar.
- 13. Oktober, 16.37 Uhr: Laut Synapxe waren alle betroffenen Dienste wiederhergestellt.
- 13. Oktober, gegen 17.40 Uhr: Synapxe veröffentlichte eine weitere Mitteilung und bestätigte die Wiederherstellung.
- 3. November: Abgeordnete sollten die Regierung zum Ausfall, seinen Auswirkungen auf Patienten und zur Zuverlässigkeit der Backup-Vorkehrungen befragen.
Synapxe sprach zunächst von einem technischen Problem mit der Netzwerkverbindung und erklärte, es gebe während der laufenden Ermittlungen keine Hinweise auf einen Cybervorfall. Die späteren Untersuchungsergebnisse identifizierten das versäumte Sicherheitsupdate als Ursache und bestätigten, dass Patientendaten weder kompromittiert worden waren noch verloren gingen.
Warum ein DNS-Dienst so wichtig war
Ein DNS-Dienst hilft Computersystemen dabei, Anwendungen zu finden und sich mit ihnen zu verbinden. Er funktioniert wie ein Verzeichnis: Ein System fragt ab, wo ein Dienst zu finden ist, und das DNS liefert die nötigen Angaben, um ihn zu erreichen. Funktioniert dieses gemeinsam genutzte Verzeichnis nicht mehr ordnungsgemäß, können mehrere ansonsten unabhängige Anwendungen schwer oder gar nicht mehr erreichbar sein.
Das vorgeschriebene Sicherheitsupdate betraf das gemeinsam genutzte DNS. Weil der Auftragnehmer es nicht vor der geplanten globalen Änderung abgeschlossen hatte, wurde eine technische Abhängigkeit, die im gesamten öffentlichen Gesundheitswesen genutzt wird, zum Ausfallpunkt.
Tan zufolge war die Änderung im Voraus bekannt. Das zentrale betriebliche Versäumnis bestand daher darin, die erforderlichen Vorbereitungen für eine erwartete Änderung nicht abzuschließen. Eine Anweisung nachzuverfolgen ist nur ein Teil des Prozesses; ebenso muss überprüft werden, ob die Arbeiten tatsächlich abgeschlossen wurden.
Zu den Korrekturmaßnahmen der Regierung gehören eine bessere Nachverfolgung und Überprüfung wichtiger technischer Änderungen. In der Praxis braucht die für ein System verantwortliche Organisation eine verlässliche Möglichkeit festzustellen, ob ein vorgeschriebenes Update eingespielt wurde, bevor die Änderung wirksam wird, auf die es vorbereitet.
Warum zwei Rechenzentren nicht ausreichten
Die öffentlichen Gesundheitssysteme verfügten über eine Backup-Infrastruktur mit zwei Rechenzentren. Solche Vorkehrungen ermöglichen es, Dienste zu verlagern, wenn eine bestimmte Einrichtung oder ein Teil ihrer Infrastruktur nicht verfügbar ist. Bei diesem Vorfall waren jedoch beide Zentren auf denselben DNS-Dienst und dieselbe Sicherheitskonfiguration angewiesen.
Ein Wechsel des Standorts hätte die Systeme daher zurück zu demselben ungelösten Problem geführt. Der zweite Standort bot eine weitere Möglichkeit, Dienste zu betreiben. Die gemeinsam genutzte Abhängigkeit verhinderte jedoch, dass er bei diesem speziellen Fehler einen wirksamen Wiederherstellungsweg bot.
Im Rahmen ihrer Reaktion geht die Regierung gemeinsam genutzte Abhängigkeiten an und verbessert die Wiederherstellungsverfahren. Entscheidend ist, ob ein Backup betriebsfähig bleiben kann, wenn ein Dienst ausfällt, den sowohl die primären als auch die Backup-Systeme nutzen.
Der nominierte Abgeordnete Haresh Singaraju verlangte Auskunft darüber, ob die Systeme über ein unabhängiges Backup verfügten, wie schnell die Dienste wiederhergestellt werden sollten und ob dieses Ziel erreicht wurde. Auch die Abgeordnete Joan Pereira fragte, warum die Backup-Infrastruktur die Störung nicht verhindert hatte, und verlangte Angaben zu den betroffenen Patienten.
Synapxe bleibt verantwortlich
Synapxe überprüft die vertraglichen Pflichten des Dienstleisters und wird angemessene Maßnahmen ergreifen, falls ein Verstoß festgestellt wird. Tan sagte, die Agentur bleibe unabhängig von ihren Auslagerungsvereinbarungen für die Resilienz ihrer kritischen Systeme verantwortlich.
Sowohl die Pflicht des Auftragnehmers, das Update durchzuführen, als auch Synapxes Verantwortung für die Zuverlässigkeit der Gesundheitssysteme gehören zur Aufarbeitung des Vorfalls. Wenn eine andere Organisation mit technischen Arbeiten beauftragt wird, bleibt die Agentur dafür verantwortlich, die Systeme zu beaufsichtigen, auf die Krankenhäuser, Kliniken und Patienten angewiesen sind.
Der Name des Dienstleisters, mögliche Vertragsstrafen und ein Zeitplan für den Abschluss der Korrekturmaßnahmen wurden nicht genannt. Die Abgeordnete Cassandra Lee verlangte einen aktuellen Stand der Untersuchung und Maßnahmen, die einen erneuten Ausfall unwahrscheinlicher machen sollen.
Synapxe hat ein Expertengremium aus Organisationen mit ähnlichen technischen Profilen eingesetzt. Es soll die Untersuchungsergebnisse und die vorgeschlagenen Abhilfemaßnahmen prüfen und weitere Verbesserungen ermitteln. Das Gesundheitsministerium wird die Korrekturmaßnahmen beaufsichtigen und ihre Wirksamkeit überprüfen.
Schnellere Diagnose als Teil des Wiederherstellungsplans
Während des Vorfalls registrierte das Überwachungssystem ungewöhnliche Aktivitäten. Es dauerte jedoch, das zugrunde liegende Problem zu finden und die Dienste sicher wiederherzustellen. Zu erkennen, dass etwas nicht stimmt, und genau festzustellen, was repariert werden muss, sind zwei unterschiedliche Schritte bei der Reaktion auf einen Vorfall.
Synapxe verbessert die Überwachung und Fehlerdiagnose, um eine schnellere Wiederherstellung zu ermöglichen. Bei einem System, das mehrere Gesundheitsverbünde versorgt, besteht die Herausforderung auch darin, Probleme über gemeinsam genutzte Dienste hinweg zurückzuverfolgen, statt jede betroffene Anwendung einzeln zu untersuchen.
In ihrer Mitteilung nach der Wiederherstellung der Dienste beschrieb Synapxe die Erfahrungen von Patienten und Besuchern sowie die gemeinsam mit den Gesundheitseinrichtungen geleistete Arbeit:
Während der Störung mussten Patienten und Besucher in einigen öffentlichen Gesundheitseinrichtungen bei bestimmten Diensten länger warten.
„Unsere Teams arbeiteten eng mit den öffentlichen Gesundheitsverbünden zusammen, um die betroffenen Dienste so schnell wie möglich wiederherzustellen.
Die Wiederherstellungszeiten zeigen, dass die Rückkehr zum Normalbetrieb schrittweise erfolgte. Einige Dienste waren ab etwa 15 Uhr wieder verfügbar, mehr als anderthalb Stunden bevor alle betroffenen Dienste wiederhergestellt waren. Das Personal musste daher eine Phase bewältigen, in der der reguläre Betrieb nach und nach zurückkehrte.
Die Versorgung bei Systemausfällen aufrechterhalten
Die Gesundheitseinrichtungen hielten die essenzielle Versorgung mithilfe zusätzlicher Beschäftigter, ausgewählter schreibgeschützter Akten und manueller Verfahren aufrecht. Tan meldete keine Sicherheitsvorfälle mit Auswirkungen auf Patienten, die auf den Ausfall zurückzuführen waren, obwohl Patienten Verzögerungen hinnehmen mussten und Tausende Termine verlegt wurden.
Die Regierung plant, die Ausfallverfahren, die Einsatzbereitschaft der Beschäftigten und regelmäßige Übungen zu verbessern, auch für Teilausfälle. Bei einem Teilausfall können einige Anwendungen verfügbar bleiben, während andere nicht erreichbar sind. Das Personal muss dann entscheiden, welche Abläufe normal weitergeführt werden können und für welche eine Alternative nötig ist.
Die Reaktion verfolgt nun drei miteinander verbundene Ziele: eine Wiederholung durch bessere Kontrolle technischer Änderungen zu verhindern, die Reichweite von Ausfällen durch den Abbau gemeinsam genutzter Abhängigkeiten zu begrenzen und den Betrieb durch eine bessere Vorbereitung aufrechtzuerhalten.
Für Patienten würde der Erfolg bedeuten, dass es bei technischen Problemen weniger ausgefallene oder verschobene Termine gibt. Für Beschäftigte im Gesundheitswesen hieße es, dass sie zuverlässig auf essenzielle Informationen zugreifen können und bei Störungen praktikable Verfahren zur Verfügung haben. Tan sagte, die Gesundheitstechnologie müsse zuverlässiger werden und zugleich sicherstellen, dass die Beschäftigten Patienten auch bei Systemausfällen weiterhin sicher versorgen können.
Die wichtigsten Punkte
- Ein versäumtes Sicherheitsupdate verursachte den Ausfall am 13. Oktober in den drei öffentlichen Gesundheitsverbünden Singapurs.
- Rund 4.000 ambulante Termine wurden verlegt, und einige Patienten warteten bis zu zwei Stunden.
- Die Dienste waren ab etwa 7.10 Uhr gestört und bis 16.37 Uhr vollständig wiederhergestellt.
- Beide Rechenzentren waren auf denselben DNS-Dienst und dieselbe Sicherheitskonfiguration angewiesen. Ein wirksamer Wechsel zur Backup-Infrastruktur war dadurch nicht möglich.
- Es wurden keine Sicherheitsvorfälle mit Auswirkungen auf Patienten gemeldet, die auf den Ausfall zurückzuführen waren. Die Ermittler fanden keine Hinweise auf einen Cyberangriff oder den Verlust von Patientendaten.
- Synapxe überprüft die Pflichten des Auftragnehmers. Das Gesundheitsministerium wird die Korrekturmaßnahmen beaufsichtigen und ihre Wirksamkeit überprüfen.
