Google DeepMind stellt Genie 4 mit Live-Audio, interaktiven Figuren und realistischeren Welten vor

Virtuelle Welten, die mit Bildern, Bewegung und Sound reagieren

Google DeepMind hat Genie 4 vorgestellt, ein experimentelles KI-Modell, das interaktive virtuelle Welten mit Sound, gesprochenen Dialogen und sich verändernden Umgebungen erzeugt. Das Modell wurde am 27. Oktober US-Zeit angekündigt und ist zunächst einer kleinen Gruppe vertrauenswürdiger Tester zugänglich. Der Zugang soll über Project Genie, die Gemini API und Google AI Studio ausgeweitet werden.

Google zufolge kann Genie 4 eine Szene bis zu zwei Minuten lang konsistent halten, doppelt so lange wie die rund eine Minute, die seinem Vorgänger Genie 3 zugeschrieben wird. Währenddessen können Nutzer eine Umgebung erkunden, das Wetter ändern, Menschen oder Gegenstände hinzufügen und hören, wie Figuren auf das Geschehen reagieren.

Alphabet- und Google-Chef Sundar Pichai beschrieb das Modell bei der Ankündigung der Research Preview so:

unser bisher realistischstes und interaktivstes Weltmodell

Die wichtigste Neuerung ist die native Audioerzeugung. Das bedeutet, dass Sound als Teil des simulierten Erlebnisses entsteht und nicht nachträglich hinzugefügt wird. Wind, Wellen, Hintergrundmusik und Gespräche können eine Welt begleiten, während sie sich verändert. Google gibt außerdem Verbesserungen bei menschlichen Bewegungen und der Simulation physikalischer Effekte wie Kollisionen und Aerodynamik an, also der Auswirkungen von Luft auf bewegte Objekte.

Google positioniert die Technologie für die Filmplanung, Spieleentwicklung, Bildung sowie das Training von Robotern oder KI-Agenten, bevor diese in realen Umgebungen eingesetzt werden. Die unmittelbaren Grenzen sind ebenso praktisch: Szenen dauern nur kurze Zeit, Gegenstände können sich unerwartet verändern, Schrift innerhalb einer Szene ist möglicherweise schwer zu lesen, und die Genauigkeit des Audios ist noch nicht gelöst.

Wie sich eine interaktive Welt von einem generierten Video unterscheidet

Genie beginnt mit einer Textbeschreibung oder einem Bild und erzeugt eine Umgebung, die Nutzer erkunden können. Ein herkömmliches generiertes Video folgt einer Sequenz, die sich Zuschauer ansehen. Ein Weltmodell erzeugt fortlaufend, was als Nächstes geschieht, und reagiert dabei auf die Aktionen der Nutzer.

Mit Tastatursteuerung können Nutzer sich bewegen und die Kamera positionieren. Schriftliche Anweisungen können die Umgebung während des Betriebs verändern, etwa das Wetter ändern, eine Figur hinzufügen oder den Blickwinkel verschieben. Das System muss dann neue Bilder erzeugen, die diese Änderungen widerspiegeln.

Google beschreibt dies als eine Bilderzeugung Bild für Bild. Statt jede mögliche Interaktion im Voraus vorbereiten zu müssen, sagt das Modell voraus, wie die Szene weitergehen sollte, wenn jemand darin handelt.

Damit wird die Kontinuität zu einer zentralen Herausforderung. Eine brauchbare Simulation muss sich merken, wo sich Gegenstände befinden, wie sich Menschen bewegen und was bereits geschehen ist. Eine Szene, die einen Moment lang überzeugend wirkt, ist weniger nützlich, wenn sich ihre Anordnung ändert, sobald der Nutzer sich umdreht.

Audio macht Figuren zu einem Teil der Interaktion

Genie 4 ergänzt diese sich verändernde visuelle Welt um Umgebungsgeräusche, Musik und Sprache. Google zufolge kann das Audio zum jeweils erzeugten Ort passen, etwa wenn Wind durch Bäume weht oder Wellen an einem Ufer brechen.

Figuren können außerdem auf Eingaben der Nutzer und Ereignisse innerhalb der Simulation reagieren. Ihre Dialoge sollen sich mit der jeweiligen Situation verändern, statt einer festen Tonspur zu folgen. Nutzer können in ihren Eingaben sowohl Audioelemente als auch visuelle Elemente festlegen.

Google zufolge haben sich menschliche Figuren auch in anderer Hinsicht verbessert: Sie bewegen sich natürlicher und reagieren auf ihre Umgebung. Ihre Aktionen lassen sich steuern, während die Simulation weiterläuft. So werden das Verhalten der Figuren und die Bearbeitung der Szene Teil derselben Interaktion.

Die Genauigkeit des Audios ist nach Angaben des Teams weiterhin eine Entwicklungsaufgabe. Für jemanden, der eine Szene oder eine interaktive Übung plant, kommt es darauf an, dass Sprache und Umgebungsgeräusche passend bleiben, wenn sich die Handlung verändert.

Gemini plant, während Genie generiert

Google hat seine Gemini-KI-Modellfamilie stärker in Genie 4 eingebunden. Die Modelle haben unterschiedliche Aufgaben: Genie erzeugt die simulierte Welt, während Gemini dabei hilft, das Geschehen zu steuern und zu prüfen, ob das Ergebnis dem vorgesehenen Plan entspricht.

Gemini Omni unterstützt die Darstellung und das Verhalten der Umgebung. Gemini 3.8 Flash überwacht eingehende Einzelbilder, zerlegt Ziele in kleinere Schritte, prüft, ob Aktionen erfolgreich sind, und passt den Plan an, wenn sich die Szene verändert oder ein Nutzer eingreift.

Vereinfacht gesagt erzeugt ein Teil des Systems die nächste Ansicht, während ein anderer den Fortschritt auf dem Weg zu einem Ziel verfolgt. Diese Aufteilung soll dazu beitragen, dass Ereignisse in einer sinnvollen Reihenfolge ablaufen, insbesondere wenn eine Aufgabe mehrere Aktionen statt einer unmittelbaren Reaktion erfordert.

Tejas Kulkarni, Forschungsdirektor bei Google, beschrieb bei einer Presseunterrichtung die längerfristigen Überlegungen des Unternehmens:

Was wir künftig zunehmend sehen werden, sind hybride Weltmodelle, in denen Gemini Code und Text schreibt und Genie diese in Echtzeit aufnimmt und die Realität auf unterschiedlichen Abstraktionsebenen simuliert.

Die geplante Kombination würde Sprache, Code und visuelle Simulation zusammenführen. Genie 4 nutzt diese Aufgabenteilung bereits in begrenztem Umfang: Gemini hilft dabei, eine Welt zu steuern, die während der Erkundung durch den Nutzer generiert wird.

Warum Google Roboter darin trainieren lassen will

Google DeepMind testet, wie Genie 4 Trainingsumgebungen für Roboter und KI-Agenten bereitstellen könnte. Ein Agent ist eine Software, die ein Ziel verfolgt, indem sie Aktionen auswählt, deren Ergebnisse überprüft und entscheidet, was als Nächstes zu tun ist.

In einem Experiment mit Bezug zu Gemini Robotics zerlegte Gemini 4 Argon Aufgaben in Schritte, die Genie 4 in Echtzeit simulierte. Ziel ist es, zu untersuchen, wie ein Roboter eine komplexe Aufgabe erledigen könnte, bevor er sie in der physischen Welt ausführt.

Google zufolge könnten virtuelle Umgebungen Situationen nachbilden, die in der Realität nur schwer anzutreffen oder herzustellen sind. Entwickler könnten Bedingungen ändern und untersuchen, wie ein Agent darauf reagiert, ohne für jede Variante einen physischen Testraum neu aufbauen zu müssen.

Die behaupteten Verbesserungen bei Kollisionen und Aerodynamik sind für diesen Einsatz besonders relevant. Beim Training muss ein sinnvoller Zusammenhang zwischen einer Aktion und ihrem Ergebnis bestehen: etwa wie sich ein Gegenstand nach einem Kontakt bewegt oder wie eine Umgebung auf Bewegung reagiert. Google räumt ein, dass komplexe physikalische Interaktionen für das Modell weiterhin eine Herausforderung darstellen.

Filmplanung bietet einen unmittelbareren Anwendungsfall

Vertrauenswürdige Tester haben die Erstellung von Filmprototypen und schnelles Storyboarding als mögliche Anwendungen genannt. Ein Storyboard skizziert eine Abfolge von Einstellungen vor dem Dreh. Mit Genie 4 könnte ein Kreativteam Kamerapositionen, Figurenaktionen und Veränderungen der Atmosphäre erkunden, während eine Idee noch Gestalt annimmt.

Diego Rivas, Ingenieur bei Google DeepMind, erklärte bei einer Presseunterrichtung, warum unmittelbare Reaktionen in dieser Phase nützlich sein könnten:

Der Echtzeit-Aspekt ist besonders wertvoll in Bereichen, in denen es für kreatives Arbeiten äußerst wichtig ist, den Flow aufrechtzuerhalten.

Rivas nannte Ideenfindung und Storyboarding als Beispiele. Der praktische Vorteil liegt in der Geschwindigkeit: Kreative könnten eine Szene ändern und das Ergebnis erkunden, ohne anhalten zu müssen, um für jede Variante eine eigene Sequenz vorzubereiten.

Google bietet auch Veo an, das auf Grundlage von Eingaben Videoclips mit synchronisiertem Audio erzeugt. Rivas beschrieb als mögliche künftige Entwicklung, dass Gemini Omni dabei helfen könnte, Prototypen in kreative Inhalte umzuwandeln. Zugleich sagte er, dass solche Fähigkeiten noch in einiger Ferne liegen.

Spiele und interaktive Bildung sind weitere vorgeschlagene Anwendungsbereiche. Gemeinsam ist ihnen eine Szene, die auf die Beteiligten reagiert, statt eines fertigen Mediums, das jedes Mal gleich abläuft.

Zwei Minuten Konsistenz sind weiterhin eine enge Grenze

Das von Google angegebene Zwei-Minuten-Fenster, in dem Genie 4 konsistent bleibt, ist doppelt so lang wie die rund einminütige Grenze von Genie 3. Nutzer haben dadurch mehr Spielraum, eine Idee zu erkunden, doch die Dauer einer zusammenhängenden Aktivität bleibt begrenzt.

Google zufolge können Gegenstände und visuelle Details im Verlauf einer Simulation abweichen. Ein Objekt kann sein Aussehen oder seine Position verändern, und das System kann den Überblick darüber verlieren, wie die Szene begonnen hat. Längere Sitzungen bleiben daher schwierig, auch wenn Gemini dabei hilft, die Kontinuität zu wahren.

Auch Schrift, die innerhalb einer Welt erzeugt wird, kann unleserlich sein. Das ist ein konkretes Problem für Szenen mit Schildern, Anweisungen oder anderen Texten, die jemand lesen muss.

Google bezeichnet Genie 4 als frühes experimentelles Modell und arbeitet mit Testern aus verschiedenen Bereichen zusammen. Rivas zufolge wird noch ausgearbeitet, wie das vollständige Produkterlebnis letztlich aussehen soll. Vorerst konzentriert sich die praktische Nutzung auf kurze Experimente. Visuelle Kontinuität, physikalisches Verhalten und Sound müssen weiter verbessert werden.

Wer erhält Zugang, und was wird es kosten?

Die Research Preview von Genie 4 ist mit einer Gruppe vertrauenswürdiger Tester gestartet. Google plant, den Zugang für Verbraucher über Project Genie für Abonnenten von Google AI Ultra und den Zugang für Entwickler über Partnerschaften mit vorzeitigem Zugriff auf die Gemini API und Google AI Studio auszuweiten.

Google hat diese Ausweitung als zeitnah angekündigt. Der Start wird in den kommenden Wochen erwartet, ein verbindlicher Termin wurde jedoch nicht genannt. Für Project Genie werden Anmeldungen für die Warteliste entgegengenommen. Über die API könnten Entwickler das Modell mit eigener Software verbinden, während AI Studio einen Ort bietet, um mit den Modellen von Google zu experimentieren.

Google AI Ultra soll ab 100 US-Dollar pro Monat erhältlich sein. Ein separater Entwicklerpreis für Genie 4 wurde nicht bekannt gegeben. Ein Zugang über AI Pro und AI Plus wurde als mögliche spätere Ausweitung diskutiert, nicht als bestätigte Regelung zum Start.

Google zufolge werden die generierten Videos und Audios mit SynthID versehen, dem digitalen Wasserzeichen des Unternehmens zur Kennzeichnung KI-generierter Inhalte. Diese Markierung soll dabei helfen, von dem System erzeugtes Material zu identifizieren, wenn die simulierten Erlebnisse mehr Nutzer erreichen.

Von Genie 3 zu einem umfassenderen Wettbewerb um Simulationen

Genie 4 ist ein weiterer Schritt auf dem Weg, Googles Weltmodelle über Forschungsdemonstrationen hinaus zugänglich zu machen:

• August 2025: Google DeepMind kündigte Genie 3 an.
• Januar 2026: Google begann, Project Genie mit diesem Modell zu testen.
• Mai 2026: Google kündigte die Integration mit Street View an.
• 27. Oktober, US-Zeit: Google kündigte Genie 4 und die erste Research Preview an.

Der Wettbewerb reicht inzwischen auch über stumme interaktive Szenen hinaus. Runways GWM Worlds 2, das einige Monate vor Genie 4 veröffentlicht wurde, reagiert auf Nutzeraktionen und erzeugt ebenfalls Audio.

Weitere Aktivitäten der Branche zeigen das Interesse an Simulationen sowohl für die KI-Entwicklung als auch für physische Systeme. Rivian hat Third Dimension übernommen, um Simulationsfähigkeiten in die Fahrzeugtests einzubringen. Auch die gemeldete Übernahme von World Labs durch AMD und die Gespräche von Amazon über den Kauf von Decart verweisen auf eine breitere Welle von Übernahmen und Verhandlungen rund um die Weltmodelltechnologie. Die Gespräche bei Amazon sind allerdings noch nicht abgeschlossen.

Googles jüngster Beitrag vereint Szenengenerierung, Dialoge und Gemini-gestützte Planung in einem experimentellen System. Der nächste konkrete Schritt ist ein breiterer Zugang. Dadurch können mehr Kreative und Entwickler herausfinden, welche kurzen Aufgaben das Modell zuverlässig bewältigt.

Die wichtigsten Punkte

• Google DeepMind kündigte Genie 4 am 27. Oktober, US-Zeit, an. Zunächst erhalten vertrauenswürdige Tester Zugang.
• Das Modell erzeugt interaktive Welten mit Umgebungsgeräuschen, Musik und situationsabhängigen gesprochenen Dialogen.
• Google zufolge bleiben Szenen bis zu zwei Minuten konsistent, doppelt so lange wie bei der rund einminütigen Grenze von Genie 3.
• Gemini-Modelle helfen dabei, Aktionen zu planen, generierte Szenen zu überwachen und Simulationen anzupassen.
• Geplante Einsatzbereiche sind Film-Storyboards, Spiele, Bildung und das Training von Robotern.
• Gegenstände können sich verändern, Text kann unleserlich sein, und komplexe Physik sowie die Audiogenauigkeit bleiben Herausforderungen für die Entwicklung.
• Der Zugang soll über Project Genie, die Gemini API und Google AI Studio erfolgen. Ein verbindlicher Termin für die Ausweitung und ein Entwicklerpreis wurden nicht bekannt gegeben.