KAIST stellt KORMo-Web vor, einen KI-Agenten, der Websites über den Bildschirm bedient

9 Min. Lesezeit
KAIST unveils KORMo-Web, an AI agent that uses websites by watching the screen

Ein kleines KI-Modell übernimmt echte Aufgaben auf Websites

Forschende des KAIST haben KORMo-Web veröffentlicht, einen KI-Agenten, der Websites über Mausklicks und Tastatureingaben bedient. Bei einer Auswertung auf echten Websites erledigte das kleinste Modell 42,3 Prozent der zugewiesenen Aufgaben auf Koreanisch und Englisch.

Inhalt
  1. Ein kleines KI-Modell übernimmt echte Aufgaben auf Websites
  2. Wie nutzt eine KI eine Website wie ein Mensch?
  3. Was das Team dem Modell beibrachte, bevor es Aufgaben ausführte
  4. Was bedeutet eine Erfolgsquote von 42,3 Prozent?
  5. Warum die koreanischen Auswertungsdaten wichtig sind
  6. Drei Modelle und die nötigen Werkzeuge für ihren Einsatz
  7. Von Demonstrationen zu sinnvoll delegierbaren Aufgaben
  8. Die wichtigsten Punkte

Das Team unter Leitung von Professor Lim Kyung-taek von der Graduate School of Culture Technology des KAIST gab die Veröffentlichung am 17. November 2026 bekannt. Für das Training wurden mehr als 10 Millionen Bildschirmaufnahmen von Websites und mehr als 100.000 Datensätze zu Interaktionen mit Websites verwendet. So sollte das System lernen, was es sieht und wie es handeln soll.

KORMo-Web kann Dienste wie ChatGPT und Claude nutzen, auf Naver Shopping und Coupang nach Produkten suchen, E-Mails entwerfen und Aktivitäten in Online-Communities ausführen. Die Forschenden stellten außerdem ein Demonstrationsvideo vor, das 40 Aufgaben auf echten Websites in vier Minuten zusammenfasst.

Die Grundidee ist einfach: Statt für jeden Dienst eine eigene Softwareanbindung zu erstellen, erhält eine KI die Fähigkeit, denselben Bildschirm zu verstehen, den auch ein Mensch sieht, und die darauf angezeigten Bedienelemente zu nutzen.

Das KAIST veröffentlichte drei Modellgrößen, darunter eine Version mit 4 Milliarden Parametern, die direkt auf einem PC laufen kann. Zum Release gehören außerdem Modellgewichte, Trainingsdaten, koreanische Auswertungsdaten und der Code für eine Chrome-Erweiterung. Damit erhalten Entwickler die nötigen Komponenten, um das System auszuführen und zu untersuchen.

Wie nutzt eine KI eine Website wie ein Mensch?

KORMo-Web ist ein KI-Agent. Das bedeutet, dass er Handlungen ausführt, um eine Anfrage zu erledigen, statt lediglich eine schriftliche Antwort zu geben. Der Nutzer erteilt ihm eine Anweisung, und das System interpretiert die angezeigte Website, wählt Bedienelemente aus und gibt Text ein, um das gewünschte Ergebnis zu erreichen.

Bei einer Einkaufsaufgabe muss das System beispielsweise erkennen, wo sich ein Suchfeld befindet, einen Produktnamen eingeben und durch die Ergebnisse navigieren. Um über einen anderen KI-Dienst Material vorzubereiten, muss es dessen Eingabebereich finden, eine Anfrage absenden und mit der Antwort umgehen.

Anzeige

Viele Softwaredienste bieten eine Programmierschnittstelle (API), über die ein anderes Programm Informationen anfordern oder Aktionen ausführen kann. KORMo-Web soll stattdessen über die sichtbare Website arbeiten und so die Notwendigkeit verringern, für jeden Dienst eine eigene Anbindung zu erstellen.

Lim beschrieb dieses Ziel bei der Erläuterung des Projekts:

Unser Ziel ist es nicht, für jeden Dienst einzeln externe Programmierschnittstellen (APIs) anzubinden, sondern KI den Bildschirm wie ein Mensch verstehen und den Computer direkt bedienen zu lassen.

Der Ansatz unterscheidet sich auch von Automatisierung, die hauptsächlich auf dem zugrunde liegenden HTML einer Seite oder dem Document Object Model (DOM) basiert. Diese Strukturen beschreiben, wie eine Webseite aufgebaut ist. Das Training von KORMo-Web konzentriert sich auf den angezeigten Bildschirm und darauf, wie Menschen Websites nutzen.

Was das Team dem Modell beibrachte, bevor es Aufgaben ausführte

Die Forschenden erstellten mehr als 10 Millionen Trainingsbeispiele mit koreanischen und englischen Website-Bildschirmen, darunter auch von in Südkorea häufig genutzten Websites. Das Modell sollte mehr lernen als nur die Position einer Schaltfläche oder eines Textfelds.

Das Team bezeichnet diese Phase als Web-Pretraining auf atomarer Ebene. Vereinfacht gesagt, lernt das Modell dabei die kleinen Bestandteile einer Website, bevor es versucht, eine größere Aufgabe zu erledigen: wo sich ein Menü befindet, was eine Schaltfläche bewirkt, welche Eingaben ein Feld annimmt und in welchem Zustand sich ein Bedienelement befindet.

Das Aussehen einer Schaltfläche und ihre Funktion hängen zwar zusammen, sind aber unterschiedliche Informationen. Ein Agent muss das richtige Bedienelement erkennen und verstehen, wie dessen Nutzung die Aufgabe des Nutzers voranbringt. Das Training mit diesen Details schafft eine Grundlage für die Auswahl einer Handlung.

Anschließend ergänzten die Forschenden mehr als 100.000 Interaktionsdatensätze zu Websites auf Koreanisch und Englisch. Diese Aktionsabfolgen, auch Trajektorien genannt, zeigen, wie sich die Nutzung einer Website über mehrere Schritte hinweg entwickelt, statt nur aus einem einzigen Klick zu bestehen.

Die beiden Trainingsphasen decken unterschiedliche Anforderungen ab. Bildschirmaufnahmen bringen dem Agenten bei, zu erkennen und zu interpretieren, was vor ihm zu sehen ist. Interaktionsdatensätze vermitteln ihm, wie eine Abfolge von Handlungen von einer Anweisung zur Erledigung einer Aufgabe führen kann.

Anzeige

Was bedeutet eine Erfolgsquote von 42,3 Prozent?

KORMo-Web-4B, die Version mit 4 Milliarden Parametern, erreichte bei Online-Mind2Web eine Aufgabenerfolgsquote von 42,3 Prozent auf Englisch und 42,3 Prozent auf Koreanisch. Bei dieser Auswertung sollen Agenten Aufgaben auf echten Websites ausführen.

Auf der offiziellen Veröffentlichungsseite von KORMo-Web-4B sind das Auswertungsverfahren und die vollständigen Ergebnisse aufgeführt. Alle Modelle bearbeiteten dieselben 612 Aufgaben auf echten Websites: 300 auf Englisch und 312 auf Koreanisch. Jedes Modell nutzte eigene Prompts und Aktionsformate, während dasselbe Sprachmodell als Bewerter – GPT-6 – alle Durchläufe bewertete. Als Nenner für die Erfolgsquoten dient die Gesamtzahl der Aufgaben; abgestürzte oder leere Durchläufe zählen daher als Fehlschläge. Auf der Seite finden sich außerdem Verweise auf die vollständige Spezifikation des Testverfahrens, den System-Prompt und das Tool-Schema.

Die vollständigen Ergebnisse, zunächst die Erfolgsquote auf Englisch und dann auf Koreanisch, lauteten: Qwen3.5-4B mit 20,0 und 13,5 Prozent; Fara-1.5-4B mit 20,7 und 7,7 Prozent; UI-TARS-1.5-7B mit 22,3 und 20,2 Prozent; OpenWebRL-4B mit 32,7 und 15,4 Prozent; KORMo-Web-4B mit 42,3 und 42,3 Prozent; sowie KORMo-Web-9B mit 51,0 und 48,1 Prozent.

Nach Angaben der Forschenden war dies das beste Ergebnis unter den in ihrem Vergleich berücksichtigten Agenten, deren Modellgewichte öffentlich verfügbar sind. Das Modell übertraf das zuvor beste Vergleichsergebnis auf Englisch um 9,6 Prozentpunkte und auf Koreanisch um 22,1 Prozentpunkte.

Damit lagen die zuvor besten Ergebnisse bei 32,7 Prozent für Englisch und 20,2 Prozent für Koreanisch. Der Fortschritt war auf Koreanisch also deutlich größer: Dort war der Wert von KORMo-Web mehr als doppelt so hoch wie das bisherige Vergleichsergebnis.

Ein Prozentpunkt bezeichnet den Abstand zwischen zwei Prozentwerten. Der Anstieg von 20,2 auf 42,3 Prozent entspricht beispielsweise einem Zuwachs von 22,1 Prozentpunkten. So wird deutlich, warum das koreanische Ergebnis innerhalb dieser speziellen Auswertung eine erhebliche Veränderung darstellt.

Die Erfolgsquote gibt Nutzern auch einen praktischen Anhaltspunkt für die Zuverlässigkeit: Bei 42,3 Prozent wurde weniger als die Hälfte der zugewiesenen Aufgaben erfolgreich erledigt. Die übrigen 57,7 Prozent galten nicht als erfolgreich. Es bleibt also noch viel zu verbessern, bevor Nutzer Aufgaben regelmäßig abgeben können, ohne das Ergebnis überprüfen zu müssen.

Warum die koreanischen Auswertungsdaten wichtig sind

Das KAIST veröffentlichte außerdem koreanische Auswertungsdaten, die aus vier großen Benchmarks für grafische Benutzeroberflächen von Agenten abgeleitet wurden. Eine grafische Benutzeroberfläche umfasst die visuellen Bedienelemente – etwa Schaltflächen, Menüs und Textfelder –, mit denen Menschen Software bedienen.

Die koreanischen Auswertungsdaten wurden manuell an koreanische Webumgebungen angepasst. Dadurch können Forschende Agenten auf lokalen Websites und im koreanischen Sprachgebrauch testen – ergänzend zu den englischsprachigen Umgebungen, die die Entwicklung bislang geprägt haben.

Die identischen Ergebnisse von 42,3 Prozent auf Koreanisch und Englisch bei Online-Mind2Web sind nützlich, weil sie die Leistung in beiden Sprachen anhand der veröffentlichten Auswertung direkt vergleichbar machen. Der größere Vorsprung gegenüber dem vorherigen koreanischen Vergleichsergebnis rückt zudem den lokalen Sprachanteil in den Mittelpunkt der Veröffentlichung.

Anzeige

Durch die Veröffentlichung der Auswertungsdaten können andere Entwickler ihre Systeme anhand derselben Aufgabentypen testen. Zusammen mit den Trainingsdaten und Interaktionsaufzeichnungen schaffen sie eine klarere Grundlage, um zu untersuchen, welche Teile des Trainingsprozesses die Leistung verbessern.

Drei Modelle und die nötigen Werkzeuge für ihren Einsatz

Die Veröffentlichung umfasst Modelle mit 4, 9 und 11 Milliarden Parametern. Parameter sind die internen Zahlenwerte, die ein Modell während des Trainings lernt; ihre Anzahl dient oft als Maß für die Modellgröße.

Die Versionen 4B und 9B basieren auf Qwen3.5. Die 11B-Version namens KORMo-Web-11B nutzt die hauseigene KORMo-Grundmodellfamilie des KAIST als Ausgangspunkt. Ein Grundmodell ist ein breit trainiertes KI-System, das für einen spezielleren Einsatzzweck weitertrainiert werden kann – in diesem Fall für die Bedienung von Websites.

KORMo-Web-4B ist für den direkten Einsatz auf einem PC vorgesehen. Die geringere Größe ist entscheidend für das Ziel des Teams, einen Web-Assistenten auf dem eigenen Gerät der Nutzer verfügbar zu machen, statt ausschließlich auf ein größeres entferntes System zu setzen.

Die Veröffentlichung umfasst mehr als nur die Modelle selbst. Das KAIST stellt die trainierten Modellgewichte, umfangreiche Sammlungen von Web-Trainingsdaten, Nutzer-Aktionsabfolgen, koreanische Auswertungsdaten, den Code für eine Chrome-Erweiterung, Installationshinweise, Videos und Beispiele bereit.

Die Forschenden haben keine Mindestanforderungen an die Computerhardware genannt. Auf der offiziellen Veröffentlichungsseite steht nicht, ob vor Käufen, dem Versenden von E-Mails oder öffentlichen Mitteilungen wie Kommentaren eine Bestätigung des Nutzers erforderlich ist. Diese Details sind wichtig für alle, die einen Agenten für Aufgaben einsetzen möchten, bei denen Geld ausgegeben oder mit anderen Menschen kommuniziert wird.

Von Demonstrationen zu sinnvoll delegierbaren Aufgaben

Die Demonstrationen decken mehrere vertraute Arbeitsbereiche ab: Präsentationsmaterial mit ChatGPT vorbereiten, mit Claude aktuelle Forschung untersuchen, Ergebnisse in Notion ordnen und auf Shopping-Websites suchen. Das Verfassen von E-Mails und Aktivitäten in Online-Communities erweitern den Einsatz auf Aufgaben, deren Ergebnisse andere Menschen erreichen können.

Das vierminütige Video zeigt in komprimierter Form 40 Aufgaben auf Websites. Für potenzielle Nutzer ist die separat ausgewiesene Aufgabenerfolgsquote der aussagekräftigere Zuverlässigkeitswert – neben der praktischen Frage, wie gründlich eine bestimmte Aufgabe überprüft werden muss.

Anzeige

Ein E-Mail-Entwurf lässt sich vor dem Versand überprüfen. Eine Produktsuche kann mit dem Budget und den Anforderungen des Nutzers abgeglichen werden. Beim Veröffentlichen eines Kommentars oder beim Abschluss eines Kaufs muss klar festgelegt sein, wann der Nutzer die Handlung genehmigen muss. Deshalb ist die Wahl der Aufgabe ebenso wichtig wie die Fähigkeit, die richtigen Bedienelemente anzuklicken.

Lim sagte, er wolle diese Art von Unterstützung auf PCs bringen:

Wir hoffen, künftig eine Umgebung zu schaffen, in der eine kleine, auf einem PC installierte KI im Auftrag des Nutzers vielfältige Aufgaben im Web erledigen kann.

KORMo-Web macht dieses Ziel für andere nachvollziehbar und praktisch erprobbbar: mit drei veröffentlichten Modellen, umfangreichen Trainingsmaterialien und koreanischen Testwerkzeugen. Die aktuellen Ergebnisse zeigen Fortschritte bei der Erledigung echter Aufgaben auf Websites; in der veröffentlichten Auswertung lag die Erfolgsquote jedoch weiterhin bei weniger als der Hälfte der Aufgaben.

Die wichtigsten Punkte

  • Das KAIST stellte KORMo-Web am 17. November 2026 als KI-Agenten vor, der Websites über sichtbare Bedienelemente nutzt.
  • Für das Training wurden mehr als 10 Millionen koreanische und englische Bildschirmaufnahmen von Websites sowie mehr als 100.000 Interaktionsdatensätze verwendet.
  • Das 4B-Modell erreichte bei Online-Mind2Web in beiden Sprachen eine Aufgabenerfolgsquote von 42,3 Prozent.
  • Sein Vorsprung gegenüber dem zuvor besten Vergleichsmodell betrug auf Englisch 9,6 Prozentpunkte und auf Koreanisch 22,1 Prozentpunkte.
  • Die Veröffentlichung umfasst drei Modellgrößen, koreanische Auswertungsdaten, Trainingsmaterialien und den Code für eine Chrome-Erweiterung.
  • Das kleinste Modell kann auf einem PC laufen. Bei der ausgewiesenen Erfolgsquote bleibt jedoch noch einiges, was Nutzer überprüfen müssen.
Diesen Artikel teilen

Das könnte Ihnen auch gefallen