Alibaba stellt Qwen3-Omni vor: quelloffenes multimodales KI-Modell

Ein von Grund auf multimodales Modell wird als Open Source veröffentlicht

Alibaba Cloud hat Qwen3-Omni vorgestellt, ein multimodales KI-Modell, das Text, Bilder, Audio und Video von Grund auf in einem System vereint. Mit der Kombination umfangreicher Fähigkeiten und einer unternehmensfreundlichen Open-Source-Lizenz eröffnet die Veröffentlichung dem Wettlauf um Echtzeitassistenten neue Perspektiven. Das Modell verarbeitet Eingaben in allen vier Modalitäten und antwortet anschließend als Text oder in natürlicher Sprache. Es kann unter der freizügigen Apache-2.0-Lizenz, die auch eine Patentlizenz umfasst, kostenlos heruntergeladen, verändert und kommerziell eingesetzt werden. Damit positioniert sich Alibaba als ernst zu nehmende Alternative zu proprietären Angeboten von OpenAI und Google und gibt Entwicklern zugleich die volle Kontrolle darüber, wie und wo das Modell läuft.

Qwen3-Omni ist Teil der umfassenderen Qwen-Modellreihe, deren Einsatzmöglichkeiten kontinuierlich erweitert wurden. Laut dem Team wurde die neue Version mit umfangreichen Textkorpora sowie großen Mengen an Audio- und visuellen Daten trainiert und anschließend so verfeinert, dass sie in Live-Gesprächen prompt reagiert. Das Modell erscheint in drei zentralen Varianten für typische Anwendungsfälle. Die Instruct-Variante verarbeitet gemischte Eingaben und kann Antworten sprechen. Die Thinking-Variante ist auf anspruchsvollere Schlussfolgerungen mit langem Kontext ausgelegt. Captioner ist auf die Beschreibung von Audio mit geringer Halluzinationsneigung spezialisiert. Das Modell ist über das offizielle GitHub-Repository, Modellplattformen wie Hugging Face sowie eine gehostete API mit einer schnelleren Flash-Option verfügbar. Bei der Veröffentlichung spät am Abend wurden außerdem ein neues Qwen3-TTS-System und ein Bildbearbeitungsmodell vorgestellt. Das unterstreicht den Anspruch, ein komplettes Technologiepaket für multimodale Interaktion anzubieten.

Warum diese Veröffentlichung wichtig ist

Multimodale Assistenten entwickeln sich von Demos hin zu produktiven Anwendungen. Unternehmen wollen ein einziges Modell, das in Echtzeit zuhören, zusehen, lesen und Schlussfolgerungen ziehen und anschließend in natürlichem Sprachrhythmus antworten kann. Genau auf diesen Anwendungsfall zielt Qwen3-Omni. Die Kombination aus offenem Zugang und laut Alibaba branchenführenden Ergebnissen bei einer Vielzahl von Sprach-, Audio-, Bild- und Videotests macht die Ankündigung für Kunden interessant, die Flexibilität, Kostenkontrolle und einen Betrieb auf eigener Infrastruktur benötigen.

Was Qwen3-Omni von GPT-4o und Gemini unterscheidet

Wettbewerber haben das Konzept von Omni-Modellen populär gemacht, die sehen, hören und sprechen können. OpenAI vereinte mit GPT-4o Text, Bild und Audio in einem Modell. Google erweiterte die Analyse für Gemini 2.5 in einigen Produktstufen auf Video. Qwen3-Omni wurde von Grund auf als einheitlicher End-to-End-Technologie-Stack für alle vier Eingabetypen entwickelt. Das Modell unterstützt das Verständnis von Videos, etwa die Erkennung von Szenen und die Verfolgung von Ereignissen, nimmt Standbilder und Dokumente für OCR und Grounding entgegen, hört Spracheingaben und liest Text. Die Antworten werden als Text oder Sprache ausgegeben. Das hält die Ausgabe für Live-Interaktionen einfach und vermeidet zugleich die Komplexität der Bild- oder Videogenerierung.

Ein wesentlicher Unterschied ist die Verfügbarkeit. Qwen3-Omni wird unter Apache 2.0 veröffentlicht. Unternehmen dürfen die Modellgewichte herunterladen, auf ihrer eigenen Infrastruktur ausführen und das Verhalten für bestimmte Branchen feinabstimmen, ohne Lizenzen aushandeln zu müssen. Proprietäre Systeme schränken den Betrieb auf eigener Infrastruktur ein oder berechnen Gebühren pro Token für jede Interaktion. Eine andere offene Modellfamilie von Google, Gemma, ist weiterhin auf Text beschränkt und deckt daher nicht denselben multimodalen Umfang ab. Für Teams, die bei Sprach-, Bild- und Textaufgaben auf ein offenes Modell setzen wollen, schließt Qwen3-Omni eine Lücke.

Tempo für Live-Gespräche

Alibaba gibt theoretische Latenzwerte bis zum ersten Paket von rund 234 Millisekunden für Audio und rund 547 Millisekunden für Video an. Diese Werte entsprechen den Erwartungen an den Sprecherwechsel in Gesprächen und machen den Echtzeiteinsatz in verschiedenen Regionen plausibel, sofern effizientes Streaming zum Einsatz kommt. Die veröffentlichten Zahlen stammen aus internen Tests; die Ergebnisse im Produktivbetrieb hängen daher von Hardware, gleichzeitigen Anfragen und Netzwerkbedingungen ab. Dennoch deutet eine Latenz unterhalb eines Echtzeitfaktors unter Last darauf hin, dass das Modell auf den praktischen Einsatz ausgelegt ist.

Ein Blick in die Architektur

Das Modell folgt einem zweiteiligen Aufbau, den das Team Thinker und Talker nennt. Thinker übernimmt das multimodale Verständnis und die Schlussfolgerungen. Es liest Text, analysiert Bildpunkte und verarbeitet Audiomerkmale, plant dann die Antwort und formuliert Inhalte. Talker konzentriert sich auf die Sprachausgabe und wandelt übergeordnete Repräsentationen für gestreamte Antworten in eine natürliche Stimme um. Durch die Trennung dieser Aufgaben kann die Sprachkomponente in ihrem eigenen Tempo arbeiten, während das Sprachmodell bereits vorausdenkt.

Beide Komponenten verwenden Mixture of Experts, ein Verfahren, bei dem viele spezialisierte Teilnetze trainiert werden, von denen für jedes Token nur einige aktiviert sind. Das steigert den Durchsatz bei vielen gleichzeitigen Anfragen, ohne bei jedem Schritt sämtliche Parameter zu aktivieren. Die Sprachpipeline nutzt ein autoregressives Verfahren mit mehreren Codebüchern, das Audio in diskrete Codes komprimiert. Ein leichtgewichtiges Faltungsnetz namens Code2Wav wandelt diese Codes in Wellenformen um. Das Verfahren verringert die Verzögerung und bewahrt zugleich Klangfarbe und Prosodie, sodass die Sprache auch bei geringer Latenz weniger robotisch klingt.

Talker ist von den Textrepräsentationen von Thinker entkoppelt und verarbeitet Audio- und visuelle Merkmale direkt. So lässt sich die Stimme bei audiovisuellen Interaktionen besser auf das Geschehen auf dem Bildschirm abstimmen. Für die Wahrnehmung wurde ein Audio-Transformer-Encoder mit rund 20 Millionen Stunden überwachter Audiodaten trainiert. Das Vortraining erfolgt in mehreren Stufen. Das Team stimmt die Encoder aufeinander ab, trainiert mit etwa zwei Billionen Tokens aus Text, Audio, Bildern und Video und erweitert anschließend den Kontext für längere Sitzungen. Beim Nachtraining kommen überwachtes Fine-Tuning, Destillation und Optimierungsdurchläufe für Thinker und Talker hinzu.

Varianten, Sprachen und Kontextgrenzen

Qwen3-Omni erscheint als Qwen3-Omni-30B-A3B in drei öffentlich verfügbaren Varianten. Die Instruct-Variante nimmt Audio, Video und Text entgegen und gibt Text und Sprache aus. Die Thinking-Variante ist auf anspruchsvolle Schlussfolgerungen, mathematische Schritte und Planung mit Textausgabe ausgelegt. Captioner ist speziell für ausführliche Audiobeschreibungen abgestimmt. Eine gehostete Flash-Option von Alibaba Cloud soll schnellere Interaktionen ermöglichen.

Die Mehrsprachigkeit ist ein Schwerpunkt. Das Basismodell unterstützt 119 Sprachen in Textform, 19 Sprachen für Spracheingaben und 10 für Sprachausgaben, darunter weit verbreitete Dialekte wie Kantonesisch. Diese Kombination kann globale Implementierungen vereinfachen, bei denen sich Sprachfunktionen an lokale Akzente und Schriftsysteme anpassen müssen.

Die Sitzungen können lang sein. Der Thinking-Modus bietet Kontextfenster mit bis zu 65.536 Tokens. Im Modus ohne Thinking sind es bis zu 49.152. Die maximale Länge für Ein- und Ausgaben beträgt jeweils 16.384 Tokens. Bei komplexen Schlussfolgerungen kann die längste Gedankenkette bis zu 32.768 Tokens umfassen. Die API rechnet pro 1.000 Tokens ab, mit separaten Preisen für Text-, Audio-, Bild- und Videoeingaben sowie Text- und Audioausgaben. Neue Konten erhalten nach der Aktivierung für 90 Tage ein kostenloses Kontingent von einer Million Tokens über alle Modalitäten hinweg.

Benchmarks und ihre Aussagekraft

Alibaba veröffentlicht Ergebnisse aus 36 Benchmarks zu Text und Schlussfolgerungen, Sprache und Audio, Bild und visueller Wahrnehmung sowie audiovisuellen Videoaufgaben. Laut Unternehmen erzielt Qwen3-Omni bei 22 Tests Spitzenwerte und liegt bei 32 Tests vor anderen Open-Source-Modellen. Das Team erklärt außerdem, das Modell übertreffe GPT-4o und Gemini 2.5 Pro bei vielen Audio- und audiovisuellen Bewertungen. Zu den Kategorien gehören Spracherkennung, Audioverständnis, audiovisuelle Fragebeantwortung, Videobeschreibung und Sprachgenerierung. Bei textlastigen Aufgaben soll das Modell mit anderen Modellen der Qwen-Textfamilie mithalten.

Benchmarks sind ein Anhaltspunkt, keine Garantie. Tests unterscheiden sich in Umfang, Format der Anweisungen und Bewertungsregeln. Anbieter wählen selbst aus, welche Kennzahlen sie veröffentlichen, und unterschiedliche Testläufe können bestimmte Architekturen oder Trainingsdaten begünstigen. Im realen Einsatz gibt es verrauschtes Audio, unterschiedliche Mikrofone, schnelle Szenenwechsel und verschiedene Akzente. Teams sollten das Modell mit eigenen Beispielen bewerten, unter Belastung auf Halluzinationen testen und Kosten und Durchsatz messen. Die große Bandbreite der veröffentlichten Ergebnisse deutet dennoch darauf hin, dass Multimodalität von Anfang an ein zentrales Trainingsziel war und nicht erst nachträglich über Adapter ergänzt wurde.

In der offiziellen Dokumentation beschreibt das Qwen-Team Qwen3-Omni als von Grund auf mehrsprachiges Modell, das Text, Bilder, Audio und Video verarbeitet und Antworten als Text und gesprochene Sprache streamt. Das Design soll eine natürliche Sprachausgabe ermöglichen, während das Sprachmodell die nächsten Schritte plant.

Was Entwickler heute damit bauen können

Das Repository und die Demos enthalten Kochbücher für gängige Aufgaben, die bereits ohne aufwendige Anpassungen gut funktionieren. Teams können mit einfachen Beispielen beginnen und diese mit wachsendem Vertrauen zu produktiven Funktionen ausbauen.

Typische Anwendungsfälle

Die folgenden Szenarien passen zu den Stärken des Modells bei Wahrnehmung, Schlussfolgerungen und Sprache:

• Mehrsprachige Spracherkennung für Live-Anrufe, Besprechungen und Medien.
• Sprachübersetzung zwischen gängigen Sprachpaaren mit gesprochenen Antworten.
• Beschreibung von Umgebungsgeräuschen und Verschlagwortung von Musik.
• OCR für Dokumente und Screenshots mit fundierten Antworten, die auf bestimmte Bereiche verweisen.
• Beantwortung von Fragen zu Bildern wie komplexen Diagrammen oder Dashboards.
• Videobeschreibungen, Highlights und Ereigniserkennung zur Navigation in langen Clips.
• Beantwortung audiovisueller Fragen für Schulungen, Support und Anleitungen.
• Technischer Echtzeit-Support, der zuhört, hinsieht und Nutzer durch Lösungen führt.
• Agentenähnliche Abläufe, die externe Tools und APIs aufrufen, um Aufgaben zu erledigen.

Das Verhalten lässt sich über System-Prompts an Persona, Ton und Format anpassen. Das Modell unterstützt Echtzeit-Streaming und kann daher vorläufige Antworten ausgeben, während die Schlussfolgerungen weiter ausgearbeitet werden. Bei Sprachassistenten wirkt dieser Stil natürlicher, da kurze Pausen und schnelle Rückfragen langen Gesprächspausen vorzuziehen sind. Für sensible Anwendungen empfiehlt sich ein Sicherheitskonzept mit gehärteten Prompts, Inhaltsfiltern für Text und Audio sowie einer Richtlinien-Engine, die Kontext und Entscheidungen protokolliert.

Wirtschaftlichkeit und Lizenzierung für Unternehmen

Die Veröffentlichung unter Apache 2.0 ist bedeutsam. Die Lizenz erlaubt die kommerzielle Nutzung, Weitergabe, Veränderung und Unterlizenzierung. Zudem umfasst sie eine Patentlizenz, die das rechtliche Risiko bei der Integration des Modells in Produkte verringert. Unternehmen können Qwen3-Omni in privaten Clustern oder vertrauenswürdigen Cloud-Umgebungen betreiben, mit eigenen Daten abstimmen und Software veröffentlichen, ohne Nutzungsgebühren an einen Anbieter zu zahlen. Diese Kombination verhindert eine Anbieterbindung und senkt die Hürde für Experimente in verschiedenen Teams.

Alibaba verweist auf das wachsende Ökosystem rund um die Qwen-Familie. Nach Angaben des Unternehmens hat die Gruppe seit den ersten Qwen-Checkpoints Hunderte Modelle veröffentlicht und die Zahl der Downloads Hunderte Millionen erreicht. Entwickler haben auf öffentlichen Plattformen Zehntausende abgeleitete Modelle veröffentlicht, was den Weg vom Prototyp zur Produktivversion verkürzt. Für regulierte Branchen kann ein selbst betriebener multimodaler Stack helfen, Anforderungen an Datenresidenz und Audits zu erfüllen und zugleich die Inferenzkosten kalkulierbar zu halten.

Kosten und Betrieb

Der Betrieb eines multimodalen Modells erfordert Planung. GPU-Speicher, Speicherbandbreite für Audio und Video sowie schnelle Netzwerke für Streaming beeinflussen die Reaktionsfähigkeit. Tokenbasierte APIs erleichtern den Einstieg, während Infrastrukturteams die Größe der Cluster festlegen. Das kostenlose 90-Tage-Kontingent von einer Million Tokens reicht aus, um die Machbarkeit zu prüfen, Prompts abzustimmen und die Qualität mit internen Daten zu bewerten. Bei größerem Arbeitsaufkommen kombinieren Unternehmen häufig mehrere Modelle. Ein offenes Modell kann die meisten alltäglichen Aufgaben übernehmen, während eine proprietäre API Sonderfälle oder Spezialfunktionen abdeckt. So lassen sich Kosten senken und zugleich Flexibilität bewahren.

Risiken und verantwortungsvoller Einsatz

Leistungsfähiges Audio- und Videoverständnis ermöglicht überzeugende Produkte, birgt aber auch Missbrauchsrisiken. Sprachsynthese kann einen Sprechstil nachahmen, selbst wenn das Modell standardmäßig keine bestimmte Zielstimme erzeugt. Echtzeitagenten, die Nutzer beobachten und ihnen zuhören, benötigen klare Einwilligungsprozesse, sichere Speicherung und Regeln zur Datenlöschung. Rechtsteams sollten prüfen, wie Daten zwischen der Erfassung auf dem Gerät, Servern und Protokollen übertragen werden, und Aufbewahrungsfristen festlegen, die den Vorschriften entsprechen.

Unternehmen sollten das Modell gründlich auf Halluzinationen, Verzerrungen und unsichere Inhalte testen. In unübersichtlichen Umgebungen kann die Audiobeschreibung Geräusche falsch interpretieren. Videobeschreibungen übersehen möglicherweise Zusammenhänge über Szenenwechsel hinweg. Lange Kontexte können zu Abweichungen bei der Befolgung von Anweisungen führen. Ein gut ausgearbeiteter Evaluierungsplan umfasst adversariale Prompts, verschiedene Akzente und Dialekte sowie Red-Teaming zur Prüfung von Sicherheitsgrenzen. Feedbackkanäle, über die Endnutzer Probleme melden können, helfen bei der Verbesserung und sorgen zugleich für einen verantwortungsvollen Einsatz.

Erste Schritte

Entwickler können die Modellgewichte und Beispiele aus dem offiziellen GitHub-Repository von Qwen3-Omni herunterladen. Eine Kurzanleitung zeigt, wie sich das Modell mit gängigen Bibliotheken wie Transformers und vLLM ausführen lässt. Für schnelle Tests stehen außerdem Docker-Images und Demos mit Weboberfläche zur Verfügung. Der gehostete API-Zugang von Alibaba eignet sich für Teams, die Streaming-Sprachausgabe zunächst prototypisch erproben wollen, bevor sie in eigene Infrastruktur investieren. Modellplattformen bieten fertige Checkpoints und Anleitungen aus der Community für Fine-Tuning und Evaluierung.

Link: Qwen3-Omni auf GitHub

Die wichtigsten Punkte

• Alibaba hat Qwen3-Omni unter Apache 2.0 mit Patentlizenz als Open Source veröffentlicht. Die Lizenz ermöglicht die kostenlose kommerzielle Nutzung und Weitergabe.
• Das Modell verarbeitet Text, Bilder, Audio und Video und antwortet per Echtzeit-Streaming als Text oder in natürlicher Sprache.
• Es gibt drei Varianten: Instruct für multimodale Interaktionen, Thinking für komplexe Schlussfolgerungen und Captioner für Audiobeschreibungen.
• Die angegebene Latenz liegt bei rund 234 ms für Audio und rund 547 ms für Video. Das soll einen natürlichen Sprecherwechsel ermöglichen.
• Unterstützt werden 119 Sprachen in Textform, 19 Sprachen für Spracheingaben und 10 für Sprachausgaben, darunter Kantonesisch.
• Bei 36 Tests meldet Alibaba Spitzenwerte in 22 und eine Führungsposition unter offenen Modellen in 32 Tests sowie starke Ergebnisse bei Audio und Video.
• Die Kontextfenster reichen im Thinking-Modus bis zu 65.536 Tokens; die maximale Ein- oder Ausgabe umfasst 16.384 Tokens.
• Für die API gibt es ein kostenloses Kontingent von einer Million Tokens für 90 Tage. Abgerechnet wird je 1.000 Tokens über alle Modalitäten hinweg.
• Anwendungsfälle reichen von Transkription, Übersetzung, OCR und Musikverschlagwortung bis zu Videoverständnis und Echtzeitassistenten.
• Unternehmen können Qwen3-Omni selbst betreiben, feinabstimmen und integrieren und dabei Sicherheits-, Datenschutz- und Compliance-Vorkehrungen treffen.