HoYoverse stellt Gamer-KI vor, die Honkai: Star Rail durch Beobachten des Bildschirms spielt

10 Min. Lesezeit
HoYoverse unveils Gamer AI that plays Honkai: Star Rail by watching the screen

Ein KI-Spieler für den Schreibtisch von Spieleentwicklern

Das Honkai-KI-Forschungsteam von HoYoverse hat Gamer vorgestellt, ein System künstlicher Intelligenz, das Spiele spielt, indem es den Bildschirm betrachtet und Tastatur- und Mausbefehle sendet. Bei einem gemeldeten Test über 50 Stunden steuerte es Honkai: Star Rail 95 % der Zeit autonom und bewältigte damit eine Herausforderung, die über die Wahl des richtigen Zugs hinausgeht: sich über ein langes Abenteuer hinweg zu merken, was zu tun ist.

Inhalt
  1. Ein KI-Spieler für den Schreibtisch von Spieleentwicklern
  2. Wie macht Gamer aus Screenshots Aktionen?
  3. Dem System beibringen, sich an eine Quest zu erinnern
  4. Was die Quest-Ergebnisse tatsächlich messen
  5. Rätsel zeigen eine deutlich uneinheitlichere Leistung
  6. Warum schnellere Entscheidungen leistungsstarke Hardware erfordern
  7. Was wurde veröffentlicht, und was steht noch aus?
  8. Wie ein virtueller Spieler beim Testen eines Spiels helfen könnte
  9. Warum die Arbeit über Honkai: Star Rail hinausgeht
  10. Die wichtigsten Punkte

Das miHoYo-Team veröffentlichte seine Projektseite und Forschungsarbeit am 13. November 2026. Demonstrationen zeigen, wie Gamer Quests folgt, mit Figuren spricht, gegen Gegner und Bosse kämpft, Rätsel löst und fünf verschiedene Minispiele abschließt. Seine Eingaben erhält das System über Screenshots statt über verborgene Informationen im Spiel.

Die Zielgruppe sind Entwickler und Forschende. HoYoverse beschreibt Gamer als Werkzeug, das beim Testen von Spielen, beim Auffinden von Problemen und bei der Verringerung repetitiver Entwicklungsarbeit helfen könnte. Die längerfristige Forschung soll auch künstliche Intelligenz für Roboter umfassen. Bei den gemeldeten Leistungstests kam leistungsstarke Rechenzentrumshardware zum Einsatz, darunter Nvidia-H200-Grafikprozessoren.

Für Spieler handelt es sich bei der aktuellen Entwicklung daher um ein Forschungsprojekt und nicht um eine neue Funktion für automatisches Spielen. Für Entwickler ist der Nutzen konkreter: ein virtueller Tester, der eine Quest über dieselbe sichtbare Benutzeroberfläche angehen kann wie ein Mensch und anschließend Gespräche, Reisen, Kämpfe und Rätsel durchspielt.

Wie macht Gamer aus Screenshots Aktionen?

Gamer ist ein Vision-Language-Action-Modell. Einfach gesagt verbindet es drei Fähigkeiten: zu erkennen, was auf einem Bildschirm zu sehen ist, Anweisungen zu verstehen und Aktionen auszuführen. Die Forschungsarbeit trägt den Titel Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent. Der lange Name beschreibt das zentrale Ziel: Spiele über längere Zeiträume zu steuern, statt nur eine einzelne, isolierte Aktion auszuführen.

Das System erfasst den Spielbildschirm fünfmal pro Sekunde und erzeugt Tastatur- und Mausbefehle, die 30 Aktualisierungen pro Sekunde entsprechen. Jede Aktionsentscheidung umfasst etwa 200 Millisekunden, aufgeteilt in sechs Schritte von jeweils rund 33 Millisekunden. So kann es zwischen neuen visuellen Beobachtungen eine kurze Folge von Eingaben planen.

Ein menschlicher Spieler könnte kurz auf eine Zielmarkierung schauen, eine Bewegungstaste gedrückt halten und die Kamera anpassen. Gamer lernt einen vergleichbaren Zusammenhang zwischen Bildschirmbildern und Eingabebefehlen. Es kann Figuren bewegen, die Kamera drehen, Menüs bedienen und mit Objekten interagieren, ohne auf eine spezielle Schnittstelle angewiesen zu sein, die den internen Zustand des Spiels bereitstellt.

Anzeige

Das veröffentlichte Aktionsformat umfasst 74 Tastentokens mit genau festgelegten Regeln für Groß- und Kleinschreibung. Ungültige Ausgaben werden als keine Aktion behandelt. Solche Regeln sind wichtig, weil ein KI-System Befehle senden muss, die die Software zuverlässig interpretieren kann, selbst wenn seine übergeordnete Schlussfolgerung nicht perfekt ist.

Dem System beibringen, sich an eine Quest zu erinnern

Das Training beginnt mit mehr als 10.000 Stunden aufgezeichneter Tastatur- und Mausaktivitäten in verschiedenen Spielen. Diese Aufzeichnungen verknüpfen das, was auf dem Bildschirm zu sehen war, mit den ausgeführten Aktionen. So kann Gamer grundlegende Steuerungsfähigkeiten erlernen, bevor es längere Aufgaben erfüllen soll.

Anschließend ergänzten die Forschenden das Training um Anweisungen mit Erklärungen zu Entscheidungen und Zusammenfassungen vorheriger Aktivitäten. Das gemeldete Trainingsmaterial umfasst rund 1,2 Millionen Annotationen zum Schlussfolgern und 223.000 Gedächtnisannotationen. Sie liefern dem Modell Beispiele dafür, wie es den nächsten Schritt auswählt und nützliche Informationen bewahrt.

Bei einer Quest, die einen Spieler an mehrere Orte führt, ist Gedächtnis unerlässlich. Ein System muss sich möglicherweise merken, mit welcher Figur es bereits gesprochen hat, welche Route nicht funktioniert hat und welches Ziel noch offen ist. Gamer erstellt kompakte Zusammenfassungen, damit es weitermachen kann, wenn sein aktiver Arbeitskontext ausgeschöpft ist.

Das Team setzt außerdem auf das sogenannte sparsame Schlussfolgern. Statt vor jeder Bewegung eine lange Erklärung zu generieren, kann das Modell weiter handeln, solange ein Plan sinnvoll bleibt, und bei veränderten Umständen mehr Aufwand in die Schlussfolgerung investieren. So lässt sich durchdachte Planung mit den schnellen Eingaben verbinden, die ein Spiel erfordert.

Was die Quest-Ergebnisse tatsächlich messen

Die Forschenden bewerteten Gamer anhand zweier Nebenquests aus Honkai: Star Rail: Opportunity Makes the Thief (Part I) und Bestial Ferocity. Beide umfassen verschiedene Aktivitäten, darunter Reisen, Gespräche mit Figuren und Kämpfe gegen Gegner. Auch ein einfaches Rätsel war Teil der Quest-Tests.

Nach der ersten Phase des fortgesetzten Trainings lagen die gemeldeten Abschlusswerte für die Quest-Ziele bei 34,4 % beziehungsweise 47,9 %. Nach dem Reinforcement Learning erreichten sie 80,0 % und 83,6 %. Das entspricht Verbesserungen um 45,6 Prozentpunkte bei der ersten Quest und 35,7 Prozentpunkte bei der zweiten.

Beim Reinforcement Learning wird ein System durch Versuche verbessert, deren Ergebnisse bewertet werden. Das Team verwendete hier eine Methode namens Temporal-Aware GRPO, um Belohnungen mit Aktionen über längere Spielabschnitte hinweg zu verknüpfen, die durch das Gedächtnis verbunden sind. Das Problem ähnelt der Frage, welche frühere Entscheidung dabei geholfen hat, eine mehrere Minuten später abgeschlossene Aufgabe zu bewältigen.

Anzeige

Der 50-stündige Test mit 95 % autonomer Steuerung misst, wie viel der Laufzeit Gamer selbstständig agierte. Die Quest-Zielwerte messen den Fortschritt bei bestimmten Zielen. Das Team gab außerdem an, bei automatisierten Tests mehr als 95 % der Herausforderungen der Hauptgeschichte erfolgreich bewältigt zu haben – ein weiterer Messwert mit anderem Umfang. Diese veröffentlichten Ergebnisse stammen von den Entwicklern; eine unabhängige Replikation wurde bislang nicht gemeldet.

Rätsel zeigen eine deutlich uneinheitlichere Leistung

Die Ergebnisse von Gamer bei Minispielen zeigen, warum eine überzeugende Demonstration mit erheblichen Schwächen einhergehen kann. Bei 40 zuvor unbekannten Aufgaben aus sieben Minispieltypen erzielte die mit Reinforcement Learning trainierte Version eine durchschnittliche Erfolgsquote von 49,7 %. Die vorherige Trainingsphase kam auf 15,0 %; die Verbesserung betrug somit 34,7 Prozentpunkte.

Die besten und schlechtesten Beispiele lagen weit auseinander. Bei Rätseln des Typs Navigation Compass erzielte Gamer 95,8 %, bei Abacus Circuitry dagegen 22,2 %. Der Unterschied von 73,6 Prozentpunkten zeigt, wie stark die Leistung vom jeweiligen Rätsel abhing.

Die Demonstrationsvideos zeigen erfolgreiches Spielen in fünf Minispielvarianten, während die Auswertung sieben Typen umfasst. Der umfassendere Test gibt Entwicklern ein genaueres Bild der Fähigkeiten des Systems – einschließlich der Aufgaben, mit denen es weiterhin Schwierigkeiten hat.

Für ein Testteam sind solche Unterschiede praktisch relevant. Ein Agent, der eine Herausforderung zuverlässig bewältigt, benötigt bei einer anderen möglicherweise eine engere Überwachung. Die Ergebnisse bieten eine Grundlage für die Entscheidung, wo automatisierte Tests Arbeit einsparen könnten und wo Menschen die Ergebnisse weiterhin sorgfältig überprüfen müssten.

Warum schnellere Entscheidungen leistungsstarke Hardware erfordern

Das Forschungsteam entwickelte eine Inferenz-Engine namens Streaming-vLLM, um die Verzögerung zwischen einer Entscheidungsanfrage und deren Antwort zu verringern. Inferenz ist die Phase, in der ein trainiertes KI-Modell neue Informationen verarbeitet und eine Antwort oder Aktion erzeugt.

Bei der gemeldeten Nvidia-H200-Konfiguration senkte die Engine die Ende-zu-Ende-Latenz von Anfragen von 1.306 Millisekunden auf 65,12 Millisekunden – eine etwa zwanzigfache Beschleunigung. Einfach gesagt sank die Verzögerung von rund 1,3 Sekunden auf etwa 0,065 Sekunden. Das ist wichtig, wenn sich das Spiel weiterbewegt, während die KI eine Entscheidung trifft.

Die gemeldete Konfiguration verwendete ein Mixture-of-Experts-Modell vom Typ Qwen3.5-35B-A3B, dessen Berechnungen auf vier Geräte verteilt waren. Ein Mixture-of-Experts-Modell aktiviert für eine Aufgabe ausgewählte Teile seines Netzwerks. Die Hardware- und Softwarekonfiguration ist entscheidend, um die Geschwindigkeitsangabe einzuordnen: Sie beschreibt ein Forschungssetup und nicht die Leistung auf einem gewöhnlichen Heimcomputer.

Anzeige

Streaming-vLLM reduziert wiederholte Berechnungen, nutzt gespeicherte Informationen erneut und kann die erste gültige Aktion ausgeben, während weitere Ausgaben noch generiert werden. Schnellere Entscheidungen helfen auch beim Training: Ein System, das weniger Zeit mit Warten verbringt, kann im selben Zeitraum mehr Interaktionen ausprobieren.

Was wurde veröffentlicht, und was steht noch aus?

Die öffentliche Veröffentlichung umfasst eine Projektseite, die Forschungsarbeit und ein GitHub-Repository mit Code unter der Apache-2.0-Lizenz. Das Repository beschreibt Prompts, Aktionsformate und Auswertungsergebnisse. Die Modellgewichte – die erlernten numerischen Einstellungen, die zum Ausführen eines trainierten Modells erforderlich sind – sind nicht im Codepaket enthalten.

Das Team hat Trainingsdaten zu Honkai: Star Rail sowie Modellgewichte zurückgehalten, die mit Daten aus diesem Spiel trainiert oder angepasst wurden. Als Grund nennt es Überlegungen zur Datensicherheit. Die öffentlichen Dateien beziehen sich auf die frühere Grundlagenforschung des Projekts.

Die Veröffentlichung der Streaming-vLLM-Implementierung ist für später angekündigt. Ein Erscheinungstermin für die Engine wurde nicht genannt. Zusammen mit den fehlenden trainierten Gewichten und der anspruchsvollen Hardware entsteht dadurch eine erhebliche Lücke zwischen der Lektüre der Forschung und der Reproduktion des demonstrierten Systems.

Die Abfolge der Veröffentlichungen ist kurz:

  • 13. November 2026: Das Honkai-KI-Forschungsteam veröffentlichte die Gamer-Projektseite und die Forschungsarbeit.
  • 16. und 17. November 2026: Öffentliche Berichte erläuterten den Trainingsansatz, die Demonstrationen und die Leistungsergebnisse.
  • Zum Zeitpunkt dieser Berichte: Die Inferenz-Engine war weiterhin als „demnächst verfügbar“ aufgeführt, ohne geplanten Veröffentlichungstermin.

Wie ein virtueller Spieler beim Testen eines Spiels helfen könnte

HoYoverse sieht im Spieletesten einen zentralen möglichen Anwendungsbereich. Eine Quest kann viele miteinander verknüpfte Schritte enthalten: sich einer Figur nähern, ein Gespräch auslösen, in ein anderes Gebiet reisen, einen Kampf gewinnen und einen Gegenstand einsammeln. Ein Problem an irgendeinem dieser Schritte kann den Fortschritt eines Spielers unterbrechen.

Mit Gamers Ansatz könnten Entwickler einen Agenten wiederholt durch solche sichtbaren Interaktionen führen. Seine Fähigkeit, sich zu bewegen, den Bildschirm zu lesen und gewöhnliche Steuerungselemente zu verwenden, könnte dabei helfen zu überprüfen, ob Ziele und Menüs wie vorgesehen funktionieren. Auch die Wiederholung einer Aktionsfolge könnte Entwicklern helfen, ein Problem vor seiner Behebung nachzustellen.

Das Forschungsteam nennt als weitere mögliche Anwendungen Unterstützung bei der Barrierefreiheit und die Erforschung der Interaktion zwischen Menschen und Computern. Zugleich spricht es sich gegen den Einsatz von Gamer zum Schummeln, für unbefugten Zugriff, zum Ausnutzen von Sicherheitslücken oder zur Schädigung von Nutzern und fairem Wettbewerb aus.

Anzeige

Diese Einschränkungen sind wichtig, weil dieselbe Fähigkeit, ein Spiel automatisch zu steuern, sehr unterschiedlichen Zwecken dienen kann. Das erklärte Entwicklungsziel ist autorisierte Forschung und Testarbeit. Menschliche Aufsicht und die Spielregeln sollen bestimmen, wie ein praktischer Einsatz aussehen würde.

Warum die Arbeit über Honkai: Star Rail hinausgeht

HoYoverse betrachtet auch dreidimensionale Spielwelten als nützliche Umgebungen für Forschung, die künftig die Robotik beeinflussen könnte. Spiele bieten Folgen aus Beobachtungen, Entscheidungen und Konsequenzen: Ein Agent sieht ein Hindernis, wählt eine Route, handelt und prüft, was sich verändert hat.

Gamer verbindet mehrere Teile dieses Problems in einem System. Die Bildschirmbeobachtungen liefern die Wahrnehmung, Anweisungen und Zusammenfassungen unterstützen die Planung, und Tastatur- sowie Mausausgaben ermöglichen die Steuerung. Das spielübergreifende Training soll diese Fähigkeiten über einzelne Quests und Titel hinaus nutzbar machen.

Ein physischer Roboter müsste zusätzliche Anforderungen erfüllen, darunter echte Sensoren, Bewegungseinschränkungen und Sicherheitsvorgaben. Gamers unmittelbarer Beitrag besteht in einer Möglichkeit, anhaltendes Handeln und Gedächtnis in virtuellen Umgebungen zu untersuchen, in denen Forschende Aufgaben wiederholen und Ergebnisse messen können.

Das aussagekräftigste Bild des Projekts ergibt sich aus der Gesamtheit der Ergebnisse: deutlich bessere Quest-Leistungen nach dem Reinforcement Learning, uneinheitliche Erfolge bei Rätseln und eine starke Verringerung der Entscheidungslatenz auf teurer Hardware. Diese Details erklären sowohl, warum ein Entwickler einen solchen Tester einsetzen könnte, als auch, weshalb vor einem routinemäßigen Einsatz weitere Arbeit nötig ist.

Die wichtigsten Punkte

  • HoYovers Gamer steuert Spiele mithilfe von Screenshots sowie Tastatur- und Mausbefehlen.
  • Bei einem gemeldeten 50-Stunden-Test erfolgte die Steuerung 95 % der Laufzeit autonom.
  • Nach dem Reinforcement Learning erreichten die Zielwerte für zwei Nebenquests 80,0 % und 83,6 %.
  • Bei 40 Minispielaufgaben lag die durchschnittliche Erfolgsquote bei 49,7 %, wobei es große Unterschiede zwischen den Rätseltypen gab.
  • In der gemeldeten H200-Konfiguration sank die Entscheidungslatenz von 1.306 auf 65,12 Millisekunden.
  • Das Projekt ist auf Forschung und Spieletests ausgerichtet. Trainierte Modellgewichte waren nicht enthalten, und die Inferenz-Engine war als „demnächst verfügbar“ aufgeführt.
Diesen Artikel teilen

Das könnte Ihnen auch gefallen