Ein Spiegelbild wird zum Sichtschutz
Forscher der POSTECH und des KAIST haben eine Methode entwickelt, um sensible Informationen auf einem faltbaren Smartphone zu verbergen. Dafür nutzen sie die Spiegelungen zwischen den teilweise aufgeklappten Bildschirmen. In einem kontrollierten Test mit einem Samsung Galaxy Z Fold7 konnten Beobachter in der Nähe im Schnitt nur 0,65 der zehn angezeigten Ziffern eines Tastenfelds erkennen. Das entspricht einer Erkennungsrate von 6,5 Prozent.
Inhalt
- Ein Spiegelbild wird zum Sichtschutz
- Wie zwei unleserliche Bilder eine Zahl sichtbar machen
- Warum das Smartphone den Augen des Nutzers folgt
- Ergebnisse der Tests mit Tastenfeld und Blickwinkeln
- Mehr Sichtschutz, langsamere PIN-Eingabe
- Auszeichnung bei der UIST 2026
- Mögliche Einsatzbereiche des Prototyps
- Aus einem störenden Spiegeleffekt wird ein Werkzeug
- Wichtige Punkte
Die Technologie namens Fold2Unfold teilt Inhalte in zwei Bilder auf, die einzeln schwer zu verstehen sind. Aus der vorgesehenen Augenposition des Nutzers verbindet sich eine Spiegelung mit dem direkt betrachteten Bild und gibt so den ursprünglichen Inhalt wieder. Wer aus einem anderen Winkel auf den Bildschirm schaut, sieht stattdessen nicht aufeinander abgestimmte Muster.
Die POSTECH gab die Forschung am 10. November 2026 bekannt, nachdem sie vom 2. bis 5. November auf der ACM UIST 2026 in Detroit vorgestellt worden war. Das Team der Universität, zu dem der Informatikprofessor Inseok Hwang und der Masterstudent Kyoosik Lee gehören, arbeitete mit Jun Han, Informatikprofessor am KAIST, zusammen.
Laut der Projektbeschreibung von Fold2Unfold kombiniert das System Spiegelungen zwischen den Bildschirmen mit Eye-Tracking, ohne zusätzliche Hardware. Die Bewertung umfasste kontrollierte Studien, in denen Teilnehmer auf einem kommerziellen faltbaren Gerät eine persönliche Identifikationsnummer, kurz PIN, eingaben.
Der Prototyp bringt auch praktische Nachteile mit sich. Die Eingabe einer sechsstelligen PIN dauerte durchschnittlich 8,2 Sekunden, verglichen mit 4,2 Sekunden auf einem gewöhnlichen Bildschirm. Eine dauerhaft aktive Kamera und ein helles Display erhöhen zudem den Stromverbrauch. Das Forschungssystem ist für Situationen mit sensiblen Informationen vielversprechend, doch Geschwindigkeit, Stabilität und Akkuverbrauch müssen noch verbessert werden.
Wie zwei unleserliche Bilder eine Zahl sichtbar machen
Ein teilweise aufgeklapptes Falt-Smartphone, ähnlich einem kleinen Laptop, positioniert seine beiden Displayflächen in einem Winkel zueinander. Licht von der einen Seite wird von der anderen reflektiert. So entsteht ein Spiegelbild, das die normale Anzeige beeinträchtigen kann. Fold2Unfold macht diese Spiegelung zum Teil der Anzeige.
Die Software teilt eine Zahl oder andere Inhalte in zwei aufeinander abgestimmte Bilder und zeigt jeweils eines auf jeder Seite an. Keines der Bilder allein lässt die ursprüngliche Information erkennen. Der Nutzer sieht ein Bild direkt und zugleich ein Spiegelbild von der gegenüberliegenden Seite.
Aus der richtigen Position überlagern sich die beiden Bilder und setzen die ursprüngliche Zahl wieder zusammen. Bewegt man sich zur Seite, verändert sich ihre Ausrichtung, sodass ein Beobachter ein verwirrendes Muster sieht. Der Sichtschutzeffekt hängt von der Geometrie zwischen den Bildschirmen und den Augen des Betrachters ab.
Die Forscher gleichen außerdem aus, dass das Spiegelbild dunkler erscheint als das direkt betrachtete Bild. Diese Helligkeitsanpassung hilft dabei, aus den beiden Teilen ein lesbares Ganzes statt eines ungleichmäßigen Bildes zu formen. Die Aufteilung der Inhalte, die Ausrichtung der Bilder und der Abgleich ihrer Helligkeit tragen alle dazu bei, was der Nutzer sieht.
Warum das Smartphone den Augen des Nutzers folgt
Fold2Unfold muss die Bilder aufeinander ausgerichtet halten, während sich der Nutzer bewegt. Wer ein Passwort eingibt, verändert möglicherweise die Kopfhaltung, den Griff oder den Aufklappwinkel des Smartphones. Jede Bewegung verändert den Weg des reflektierten Lichts.
Die Frontkamera erfasst die Augenposition des Nutzers in Echtzeit. Das System berechnet außerdem den Aufklappwinkel des Smartphones und passt dann Position und Form der angezeigten Bilder an. In der Projektbeschreibung wird dies als dynamische Verformung bezeichnet: Die Software formt die Bilder fortlaufend um, damit sie sich aus der Perspektive des Nutzers weiterhin passend ergänzen.
Lee, Erstautor der Studie und Masterstudent an der POSTECH, sagte, das Ziel des Teams sei gewesen, den Bildschirm für den Nutzer lesbar und zugleich für andere Personen in der Umgebung schwer verständlich zu machen. Eine natürliche Ansicht beizubehalten, während sich Augenposition und Aufklappwinkel verändern, sei ein zentraler Teil der Arbeit gewesen.
Diese Anpassung ist wichtig, weil der geschützte Blickwinkel schmal ist. Die Software muss ihn auf die Person ausrichten, die das Smartphone benutzt, statt von ihr zu verlangen, den Kopf vollkommen still zu halten.
Ergebnisse der Tests mit Tastenfeld und Blickwinkeln
Bei der kontrollierten Aufgabe mit dem Tastenfeld untersuchten die Forscher ein bekanntes Datenschutzrisiko: Jemand beobachtet eine Person bei der Eingabe ihrer PIN. Dieses Ausspähen über die Schulter wird häufig als „Shoulder Surfing“ bezeichnet. Dabei versucht ein Beobachter, private Informationen durch einen Blick auf den Bildschirm einer anderen Person zu erfahren.
Auf einem gewöhnlichen Display konnten Beobachter in der Nähe fast alle zehn Ziffern des Tastenfelds erkennen. Mit Fold2Unfold erkannten sie im Schnitt 0,65 von zehn Ziffern. In der offiziellen Projektbeschreibung wird dasselbe Ergebnis als Erkennungsrate von 6,5 Prozent angegeben.
Das Blickwinkel-Experiment ergab, dass die Ziffern bereits schwer zu lesen waren, wenn der Blickwinkel eines Beobachters nur 7,5 Grad von der Blickachse des Nutzers abwich. Bei der zum Vergleich getesteten herkömmlichen Blickschutzfolie blieben die meisten Ziffern auch bei einem Winkel von 30 Grad nach beiden Seiten lesbar.
Die Zahlen zeigen, warum sich die Forscher darauf konzentrierten, den Bereich nahe dem Blickwinkel des Nutzers zu schützen. Der Winkel von 30 Grad, bei dem die meisten Ziffern durch die getestete Folie hindurch lesbar blieben, war viermal so groß wie die Abweichung von 7,5 Grad, bei der Fold2Unfold das Lesen erschwerte.
Bei einem Betrachtungsabstand von 35 Zentimetern entspricht eine Abweichung von 7,5 Grad einer seitlichen Verschiebung von etwa 4,6 Zentimetern. Im Alltag kann bereits eine kleine Veränderung der Augenposition die zusammengesetzte Anzeige stören. Das berichtete Ergebnis bezieht sich auf die Erkennung von Ziffern eines Tastenfelds in einer kontrollierten Aufgabe; im Schnitt blieb ein kleiner Teil der Informationen lesbar.
Mehr Sichtschutz, langsamere PIN-Eingabe
Mit Fold2Unfold benötigten die Teilnehmer durchschnittlich 8,2 Sekunden, um eine sechsstellige PIN einzugeben. Auf dem gewöhnlichen Display waren es 4,2 Sekunden. Das sind vier Sekunden mehr und ungefähr die doppelte Eingabezeit.
Die offizielle Projektbeschreibung bezeichnet den Anstieg der Eingabezeit als moderat. Die gemessenen Zeiten machen den Kompromiss greifbarer: Eine kurze Banktransaktion würde länger dauern, während es für Umstehende deutlich schwieriger wäre, das Tastenfeld zu lesen.
Auch eine Berührung des Displays kann das Smartphone bewegen. Verschiebt sich dadurch die Ausrichtung des Spiegelbilds zum direkt angezeigten Bild, kann der rekonstruierte Inhalt für den vorgesehenen Nutzer schwerer lesbar werden. Eye-Tracking und Bildanpassung müssen also auch dann funktionieren, wenn jemand aktiv auf den Bildschirm tippt, und nicht nur bei einem still gehaltenen Gerät.
Der Stromverbrauch ist ein weiteres praktisches Problem. Der Prototyp benötigt eine dauerhaft aktive Kamera und einen hellen Bildschirm, die beide mehr Energie verbrauchen. Die Akkulaufzeit wird damit neben der für eine Aufgabe benötigten Zeit zu einem Faktor bei der Entscheidung, wann eine solche Funktion sinnvoll ist.
Auszeichnung bei der UIST 2026
Auf der offiziellen Preisliste der ACM UIST wird Fold2Unfold mit einer ehrenvollen Erwähnung beim Best Demo Award aufgeführt. Die Demonstration trägt den Titel „Demonstrating Fold2Unfold: Screen Privacy Protection against Shoulder Surfing using Inter-Screen Reflection on Foldable Smartphones“.
In der offiziellen Liste werden sechs Autoren genannt: Kyoosik Lee, Jiha Kim, Jonghyuk Yun, Suwon Yoon, Jun Han und Inseok Hwang. Fold2Unfold war eine von fünf Demonstrationen, die eine ehrenvolle Erwähnung erhielten; daneben gab es einen Best-Demo-Preisträger. Insgesamt wurden diese sechs Auszeichnungen unter 127 Demonstrationen vergeben, die für die Konferenz angenommen und dort gezeigt wurden.
Die öffentlichen Meilensteine des Projekts lagen im November:
- 2. bis 5. November 2026: Die Arbeit wurde auf der ACM UIST in Detroit vorgestellt und erhielt eine ehrenvolle Erwähnung beim Best Demo Award.
- 10. November 2026: Die POSTECH gab die gemeinsame Forschung bekannt und beschrieb die Ergebnisse zum Sichtschutz.
Die Forschung wurde durch Forschungsprogramme des südkoreanischen Ministeriums für Wissenschaft und IKT gefördert, darunter Programme zur Unterstützung etablierter Forscher, zu wegweisenden Konvergenztechnologien und zur globalen Konvergenzforschung.
Mögliche Einsatzbereiche des Prototyps
Das Forschungsteam sieht mögliche Einsatzbereiche bei der Eingabe von Passwörtern fürs Mobile-Banking, der Kontrolle von Kontoständen, dem Lesen privater Nachrichten und dem Aufrufen persönlicher Informationen. In all diesen Fällen muss jemand Inhalte möglicherweise in der Öffentlichkeit sehen können, ohne sie den Fahrgästen oder Kunden in der Nähe preiszugeben.
Die Einführung könnte mit einer Softwarelösung einfacher sein, da der Prototyp den vorhandenen Bildschirm und die Kamera eines handelsüblichen Falt-Smartphones nutzt. Nutzer müssten weder eine spezielle Blickschutzfolie anbringen noch ein weiteres Gerät mit sich führen. Allerdings setzt die Technik voraus, dass das Smartphone teilweise aufgeklappt ist, damit sich seine Displayflächen gegenseitig spiegeln können.
Fold2Unfold ist weiterhin ein Forschungsprototyp. Ein Erscheinungstermin für Verbraucher oder Pläne, die Technik in ein kommerzielles Smartphone zu integrieren, wurden nicht bekannt gegeben. Die Tests erfolgten mit einem Galaxy Z Fold7. Ein breiterer Einsatz würde weitere Arbeiten an den praktischen Problemen erfordern, die beim Prototyp bereits sichtbar sind.
Der naheliegendste Einsatz wäre eine kurze Aufgabe mit sensiblen Informationen. Jemand könnte einige zusätzliche Sekunden für die Eingabe einer Bank-PIN in Kauf nehmen, wenn dadurch die Einsichtnahme durch Umstehende deutlich erschwert wird. Bei längerer Nutzung würden die Anforderungen, das Gerät ruhig zu halten, die Bilder auszurichten und die Kamera mit Strom zu versorgen, stärker ins Gewicht fallen.
Aus einem störenden Spiegeleffekt wird ein Werkzeug
Hwang, der an der Forschung beteiligte Professor der POSTECH, beschrieb die Grundidee als Versuch, einen unerwünschten Displayeffekt zum Schutz zu nutzen.
Die Bedeutung liegt darin, die störende Bildschirmspiegelung in ein Mittel zum Schutz von Nutzerinformationen zu verwandeln.
Die Arbeit vereint drei Komponenten, die gleichzeitig funktionieren müssen: eine physische Spiegelung zwischen den Bildschirmen, eine Software, die die Inhalte aufteilt und anpasst, sowie eine Kamera, die den Augen des Nutzers folgt. Zusammengenommen machen sie die Lesbarkeit des Bildes von einer bestimmten Betrachtungsposition abhängig.
Die nächste technische Herausforderung besteht darin, diese Anordnung im Alltag komfortabel zu machen. Die Tests zeigten eine starke Verringerung der lesbaren Informationen auf dem Tastenfeld, zugleich aber auch eine langsamere Eingabe und einen höheren Strombedarf. Verbesserungen in diesen praktischen Punkten könnten aus der Demonstration eines visuellen Sichtschutzes eine Funktion machen, die sich bei alltäglichen Finanz- und persönlichen Angelegenheiten nutzen lässt.
Wichtige Punkte
- POSTECH und KAIST haben Fold2Unfold entwickelt, das zwei Bilder mithilfe von Spiegelungen auf einem teilweise aufgeklappten Smartphone zusammenführt.
- Beobachter in der Nähe erkannten im Schnitt 0,65 von zehn Ziffern des Tastenfelds, eine Erkennungsrate von 6,5 Prozent.
- Bei einem Blickwinkel von 7,5 Grad waren die Ziffern schwer zu lesen. Durch die getestete Blickschutzfolie blieben die meisten Ziffern dagegen auch bei 30 Grad noch lesbar.
- Die Eingabe einer sechsstelligen PIN dauerte 8,2 Sekunden, verglichen mit 4,2 Sekunden auf einem gewöhnlichen Display.
- Das System nutzt vorhandene Hardware. Der dauerhafte Kamerabetrieb, die Bildschirmhelligkeit und Bewegungen bringen jedoch praktische Herausforderungen mit sich.
- Fold2Unfold erhielt bei der ACM UIST 2026 eine ehrenvolle Erwähnung beim Best Demo Award. Ein Erscheinungstermin für Verbraucher wurde nicht bekannt gegeben.
