Alibaba stellt Qwen3-Omni vor: quelloffenes multimodales KI-Modell

Ein nativer multimodaler Herausforderer wird quelloffen

Alibaba hat Qwen3-Omni vorgestellt, ein natives multimodales Modell künstlicher Intelligenz, das Texte, Bilder, Audio und Videos als Eingabe verarbeitet und mit Text oder synthetischer Sprache antwortet. Das Modell ist unter der Apache-2.0-Lizenz als Open Source verfügbar. Sie erlaubt die kommerzielle Nutzung, Bearbeitung und Weiterverbreitung und umfasst eine Patentlizenz. Diese Kombination aus vielseitigen Fähigkeiten und großzügigen Lizenzbedingungen bringt Qwen3-Omni in direkte Konkurrenz zu führenden geschlossenen Systemen aus den USA und senkt zugleich die Einstiegshürden für Start-ups, Forschende und Großunternehmen.

Qwen3-Omni folgt dem Branchentrend zu Omni-Modellen, einer Klasse von Systemen, die verschiedene Modalitäten in Echtzeit verstehen und verarbeiten sollen. Anders als Systeme, die Sprach- oder Bilderkennung nachträglich auf ein Textmodell aufsetzen, sei Qwen3-Omni von Grund auf als multimodales Gesamtsystem entwickelt worden, erklärt Alibaba. Das Modell verarbeitet Audio und Video direkt während der Verarbeitung und erzeugt Sprache über ein eigenes Sprachmodul. So kann es Gesprächsrhythmus, Tonfall und Kontext beibehalten, ohne warten zu müssen, bis ganze Dateien vollständig verarbeitet sind.

Die erste Version umfasst eine Modellfamilie mit 30 Milliarden Parametern, deren Mixture-of-Experts-Architektur schnelle und skalierbare Inferenz ermöglichen soll. Alibaba gibt die Latenz bis zum ersten Paket mit nur 234 Millisekunden bei Audio und 547 Millisekunden bei Video an. Selbst bei gleichzeitigen Anfragen liege der RTF-Wert (Echtzeitfaktor) unter eins. Das System unterstützt 119 Sprachen für Text, 19 Sprachen für Spracheingaben und 10 Sprachen für Sprachausgaben. Damit eignet es sich für mehrsprachige Assistenten, Callcenter und Live-Übersetzungen.

Der Start erfolgt, während Alibaba sein Cloud-Geschäft als KI-Anbieter mit umfassendem Technologieangebot positioniert und chinesische Open-Source-Modelle auf Entwicklerplattformen stark an Bedeutung gewinnen. Innerhalb weniger Tage schafften es Varianten von Qwen3-Omni in die Spitzengruppe der Trend-Ranglisten auf Hugging Face. Das spiegelt das große Interesse der weltweiten Community wider. Außerdem stellt das Unternehmen eine schnellere API-Version bereit und bietet die Modellgewichte zum direkten Herunterladen und für den lokalen Einsatz an.

Was Qwen3-Omni auszeichnet

Qwen3-Omni soll gleichzeitig denken und sprechen. Die Thinker-Komponente übernimmt die multimodale Verarbeitung. Die Talker-Komponente wandelt die Ausgabe des Thinkers in natürliche Sprache um und berücksichtigt dabei direkt Audio- und Bildmerkmale. Durch diese Trennung können Entwicklerinnen und Entwickler vor der Sprachausgabe etwa Informationsabfragen, Sicherheitsprüfungen oder Geschäftslogik in die Thinker-Stufe einfügen. Das ist bei regulierten Arbeitsabläufen hilfreich.

Thinker und Talker

Der Thinker ist ein großes Sprachmodell, das mit rund zwei Billionen Token aus Texten, Sprache, Bildern und Videos trainiert wurde. Es nutzt Mixture-of-Experts-Routing, sodass pro Token nur eine kleine Teilmenge der Parameter aktiviert wird. Das senkt die Rechenkosten und erhöht den Durchsatz. Der Talker ist ein leichtgewichtiges Sprachgenerierungsmodell. Es nutzt ein autoregressives Mehrfach-Codebook-Verfahren, um Klangfarbe und Prosodie zu erhalten, sowie ein kompaktes Code2Wav-Netzwerk, das Audio schnell erzeugt.

Echtzeit-Streaming und Caching

Bei Gesprächen zählt die Latenz. Alibaba zufolge beginnt beim Streaming die hörbare Ausgabe bei Audio nach ungefähr einer Viertelsekunde und bei Videokontexten nach etwa einer halben Sekunde. Die Audioverarbeitung umfasst einen neuen Audio-Transformer-Encoder, der mit 20 Millionen Stunden überwachter Audiodaten trainiert wurde. Der Großteil davon besteht aus chinesischen und englischen ASR-Daten; weitere Sprachen sind weltweit abgedeckt. Der Encoder unterstützt sowohl Online-Caching für Live-Anrufe als auch Offline-Kodierung für Stapelverarbeitungen.

Sprachen und lange Kontexte

Entwicklerinnen und Entwickler können lange Prompts und Transkripte eingeben. Der Thinking-Modus unterstützt ein Kontextfenster von bis zu 65.536 Token und Schlussfolgerungsketten von bis zu 32.768 Token. Im Non-Thinking-Modus sind bis zu 49.152 Token möglich. Das Modell kann bis zu 16.384 Token als Eingabe verarbeiten und ebenso viele Token als Text ausgeben. Das Sprachsystem unterstützt derzeit zehn Ausgabesprachen und eignet sich damit für Pilotprojekte im Kundendienst und im Außendienst in verschiedenen Märkten.

Modelle, Modi und Preise

Alibaba veröffentlicht drei Varianten der 30B-Modellfamilie, damit Teams das Modell an unterschiedliche Anforderungen anpassen können. Das Instruct-Modell vereint den vollständigen Thinker- und Talker-Aufbau, verarbeitet Audio-, Video- und Texteingaben und erzeugt anschließend Text und Sprache. Das Thinking-Modell ist auf komplexe Schlussfolgerungen und lange Gedankengänge ausgerichtet. Es nutzt dieselben multimodalen Eingaben, gibt aber ausschließlich Text aus. Damit eignet es sich für Forschung, Analyse und regelkonforme Unternehmensdokumentation. Das Captioner-Modell ist eine spezialisierte, feinabgestimmte Variante für Audiobeschreibungen. Es soll Musik, Sprache und gemischte Audioinhalte präzise und mit wenigen Halluzinationen beschreiben.

Qwen3-Omni steht auf Modellplattformen zum Herunterladen, auf GitHub mit Code und Modellgewichten sowie über Alibaba Cloud als API zur Verfügung. Dazu gehört eine schnellere Flash-Option für interaktive Dienste. Neue Nutzerinnen und Nutzer erhalten ein kostenloses Kontingent von einer Million Token, das ab Aktivierung 90 Tage gültig ist. Bei kostenpflichtiger Nutzung wird pro tausend Token abgerechnet. Texteingaben kosten 0,00025 US-Dollar, Bild- oder Videoeingaben 0,00046 US-Dollar und Audioeingaben 0,00221 US-Dollar. Bei der Ausgabe kosten Textausgaben 0,00096 US-Dollar, wenn nur Text eingegeben wurde. Enthält die Eingabe Bilder oder Audio, steigt der Preis auf 0,00178 US-Dollar. Fordern Entwicklerinnen und Entwickler sowohl Text- als auch Audioausgaben an, kostet der Audioanteil 0,00876 US-Dollar pro tausend Token; der Textanteil ist kostenlos.

Audioausgaben sind über die API nur im Non-Thinking-Modus verfügbar. Diese Entscheidung vereinfacht die Planung von Sprach-Streaming und verhindert Konflikte mit lang laufenden, strukturierten Schlussfolgerungen. Teams, die ausführliche Gedankengänge benötigen, können weiterhin das Thinking-Modell zur Planung oder Informationsabfrage nutzen und die endgültige Antwort anschließend von einem Sprachgenerator oder dem Instruct-Modell ausgeben lassen.

Benchmarks und ihre Aussagekraft

Alibaba zufolge erzielt das Modell bei 36 öffentlichen Tests starke Ergebnisse: In 22 Tests erreicht es Bestwerte, bei offenen Modellen liegt es in 32 Tests vorn. Die Zahlen deuten auf ein ausgewogenes System hin, das die Text- und Bildqualität beibehält und zugleich bei Sprache Fortschritte macht. Zu den Ergebnissen zählen 65,0 Punkte bei AIME25 und 76,0 bei ZebraLogic für Schlussfolgerungsaufgaben. Im WritingBench erreicht das Modell 82,6 Punkte. Bei der Audiotranskription verzeichnet es Wortfehlerraten von 4,69 und 5,89 bei Wenetspeech sowie 2,48 bei Librispeech other. Letzterer Wert ist für diesen Datensatz sehr niedrig. Ergebnisse bei Musik-Tags und Klassifizierung, etwa 93,0 bei GTZAN und 52,0 bei RUL-MuchoMusic, sprechen für eine gute Erkennung von Genres und Audioeigenschaften.

Auch bei Seh- und Mathematik-Benchmarks zeigt das Modell Stärken. Es erreicht 59,7 Punkte bei HallusionBench, 57,0 bei MMMU_pro und 56,3 bei MathVision_full. Beim Videoverständnis erzielt Qwen3-Omni 75,2 Punkte bei MLVU. Nach den von Alibaba veröffentlichten Zahlen liegt es in diesen konkreten Tests damit vor vielen geschlossenen Modellen, darunter GPT 4o und Gemini 2.0 Flash.

Benchmarks bilden nicht alle Situationen ab, mit denen Nutzerinnen und Nutzer konfrontiert sind. Echte Gespräche können von mehr Hintergrundgeräuschen geprägt sein, Akzente variieren, und in geschäftlichen Anwendungen werden oft mehrere Werkzeuge hintereinander genutzt. Erste unabhängige Bewertungen weisen darauf hin, dass kleinere Modelle außerhalb sorgfältig zusammengestellter Tests mitunter Schwierigkeiten haben, selbst wenn sie in Ranglisten gut abschneiden. Entwicklerinnen und Entwickler sollten das Modell mit eigenen Daten erproben, insbesondere bei Sonderfällen wie Fachjargon, spezialisierten Diagrammen oder sich überschneidenden Stimmen.

Vergleich mit GPT 4o, Gemini und Gemma

Qwen3-Omni tritt in einem umkämpften Feld gegen GPT 4o von OpenAI und Gemini 2.5 von Google an. Diese leistungsstarken Systeme sind bereits in große Plattformen integriert, aber nicht quelloffen. Nutzer zahlen pro Anfrage und dürfen die Basismodelle weder rechtmäßig verändern noch weiterverbreiten. Qwen3-Omni wird unter der Apache-2.0-Lizenz veröffentlicht. Diese großzügige Lizenz erlaubt die kommerzielle Nutzung, Änderungen am Code und an den Modellgewichten sowie die Weiterverbreitung. Sie umfasst außerdem eine Patentlizenz. Das verringert rechtliche Risiken für Unternehmen, die KI direkt in ihre Produkte oder ihre private Infrastruktur integrieren müssen.

Funktional verarbeitet Qwen3-Omni Texte, Bilder, Audio und Videos und kann mit Text oder Sprache antworten. GPT 4o akzeptiert Text-, Bild- und Audioeingaben und antwortet mit Text und Sprache, nimmt in seiner Standardkonfiguration aber keine Videoclips als Eingabe entgegen. Gemini 2.5 Pro kann Videos analysieren und über Google-Dienste Text- und Sprachantworten ausgeben. Alibaba positioniert Qwen3-Omni als natives multimodales System, in dem Sprache und Bilder zentrale Bestandteile sind und nicht nur nachträglich an einen Textkern angefügt wurden.

Google bietet mit Gemma 3n ebenfalls ein quelloffenes Modell unter Apache 2.0 an. Gemma 3n verarbeitet Videos, Audio, Texte und Bilder, gibt aber nur Text aus. Für Teams, die einen vollständig offenen Aufbau mit Live-Sprachausgabe wünschen, könnte Qwen3-Omni derzeit die einzige Option mit großzügiger Lizenz und integrierter Sprachgenerierung sein.

Warum Apache 2.0 für Nutzer wichtig ist

Die Lizenz legt fest, wo ein Modell eingesetzt und wie es als Produkt angeboten werden darf. Apache 2.0 erlaubt die Feinabstimmung sowie die Weiterverbreitung in geschlossener Form, ohne die Veröffentlichung abgeleiteter Modelle vorzuschreiben. Die Lizenz umfasst eine Patentlizenz und eine Lizenz für Beiträge. Für regulierte Branchen, in denen geistige Eigentumsrechte genau geprüft werden, verringern diese Bedingungen das Integrationsrisiko. Unternehmen können Qwen3-Omni auf eigenen Servern, in einer Cloud ihrer Wahl oder am Netzwerkrand einsetzen und ihre angepassten Modelle vertraulich halten.

Einsatzmöglichkeiten in Unternehmen und für Entwickler

Qwen3-Omni ist für ein breites Spektrum an Aufgaben gedacht. Mit der mehrsprachigen Text- und Sprachverarbeitung lassen sich Transkriptionen in Callcentern und Live-Übersetzungen in 19 Eingabe- und 10 Ausgabesprachen umsetzen. Der Audio-Captioner kann Musik, Umgebungsgeräusche und gemischte Audioclips für Redaktionen, Archive und Assistenzwerkzeuge beschreiben. Die Bildverarbeitung erkennt Text und Layouts in Screenshots und Fotos. Das kann bei der Automatisierung interner Abläufe und bei der Kundenaufnahme helfen.

Das Videoverständnis ist eine zentrale Fähigkeit. Ein Support-Mitarbeiter kann einen kurzen Smartphone-Clip analysieren lassen, um eine Fehlerleuchte oder ein falsch angeschlossenes Kabel zu erkennen. Eine Wartungs-App kann einen Live-Stream auswerten und bestätigen, dass ein Ventil geöffnet ist. Da Thinker und Talker parallel arbeiten, kann das System bereits sprechen, während es weitere eingehende Bilder verarbeitet. So entsteht bei freihändiger Nutzung ein natürliches Gesprächstempo.

Die ausdrückliche Trennung von Denken und Sprechen gibt Entwicklerinnen und Entwicklern mehr Kontrolle. Informationssysteme können Unternehmensdokumente einbinden. Richtlinienfilter können Inhalte prüfen. Sicherheitsmechanismen können Schlussfolgerungsspuren untersuchen, bevor der Talker Audio erzeugt. Dieses Muster eignet sich für Verbraucherassistenten, die der Markenidentität entsprechen müssen, für Unternehmens-Zusammenfassungen, bei denen keine Daten nach außen gelangen dürfen, und für Außendienstwerkzeuge, die Schritt-für-Schritt-Anleitungen erfordern.

Werkzeugnutzung und Agenten

Qwen3-Omni lässt sich für komplexe Aufgaben mit externen Werkzeugen und Diensten verbinden. Dazu zählen die Suche, Datenbankabfragen und das Auslösen von Workflow-Systemen. Alibaba entwickelt außerdem Agenten-Frameworks für seine Cloud-Plattform, mit denen Teams mit wenig oder viel Programmieraufwand Werkzeuge kombinieren, Aufgaben planen und Anwendungen produktiv einsetzen können. Mit Kontextfenstern von mehr als 49.000 Token im Non-Thinking-Modus kann das Modell lange, mehrstufige Sitzungen verarbeiten und vorherige Aktionen berücksichtigen.

Nutzung, Märkte und Strategie

Das Interesse von Entwicklerinnen und Entwicklern war groß. Varianten der Qwen3-Familie belegen mehrere Spitzenplätze in den Trend-Ranglisten der großen Modellplattform, wobei Qwen3-Omni-30B-A3B häufig auf Platz eins liegt. Diese Sichtbarkeit spiegelt den breiteren Aufschwung chinesischer Open-Source-Modelle wider, die in Forschung und Industrie Aufmerksamkeit gewinnen.

Auch die Marktsignale weisen in dieselbe Richtung. Die Alibaba-Aktie legte zu, da das Vertrauen in den Vorstoß des Unternehmens bei KI und Cloud wächst. Dazu trugen neue Hochstufungen durch Analysten und das erneute Interesse globaler Fonds bei. Das Unternehmen baut seine Rechenzentrumskapazitäten aus, um Kunden außerhalb Chinas zu unterstützen. Neue Standorte sind in Brasilien, Frankreich und den Niederlanden geplant; weitere Kapazitäten sollen in anderen Regionen hinzukommen. Alibaba investiert zudem stark in KI-Infrastruktur und hat angekündigt, in den nächsten drei Jahren mehrere zehn Milliarden US-Dollar auszugeben. Die gesamten Investitionen in KI sollen weiter steigen.

Hardware-Partnerschaften sind Teil der Strategie. Alibaba kündigte eine Zusammenarbeit mit Nvidia bei Software an, um KI-Entwicklungswerkzeuge für Bereiche wie Training, Simulation und Validierung zu integrieren. Das Unternehmen stellte außerdem ein größeres Modell namens Qwen3 Max mit mehr als einer Billion Parametern für fortgeschrittene Codegenerierung und Agentenverhalten in Aussicht. Das zeigt, wie Qwen3-Omni in eine breitere Modellfamilie eingebettet ist, die von interaktiven Assistenten bis hin zu rechenintensiven Forschungsmodellen reicht.

Stimmen von Alibaba

Alibaba-Konzernchef Eddie Wu gab auf der jährlichen Konferenz des Unternehmens in Hangzhou die Richtung vor. Dort bezeichnete er KI und Cloud als die beiden Wachstumsmotoren für die nächste Phase. Außerdem skizzierte er Pläne zum Ausbau internationaler Rechenzentren und zur Vertiefung von Partnerschaften rund um Training und Einsatz.

Wu erläuterte in seiner Rede, warum das Unternehmen seine KI-Investitionen erhöht.

KI und Cloud sind neben dem E-Commerce die Wachstumsmotoren von Alibaba. Wir werden unsere Ausgaben und Kapazitäten ausbauen, um die weltweite Nachfrage zu bedienen.

Lin Junyang, Forscher im Qwen-Team, beschrieb, wie das Projekt auf früheren Arbeiten zu Sprache und Bildverarbeitung aufbaute, um das neue System zusammenzustellen.

Wir haben grundlegende Projekte zu Audio und Bildern kombiniert, um Qwen3 Omni zu entwickeln.

Risiken, Grenzen und worauf es ankommt

Auch starke Benchmark-Ergebnisse lassen Fragen offen, die sich erst im produktiven Einsatz beantworten lassen. In Aufnahmen aus der Praxis können starke Hintergrundgeräusche, sich überschneidende Stimmen oder seltene Akzente vorkommen. Videos leiden oft unter Spiegelungen, Bewegungsunschärfe oder Verdeckungen. Wenn ein Dienst bei spezialisierten Diagrammen eine sehr hohe Trefferquote oder Transkriptionen mit regulatorisch erforderlicher Genauigkeit in einem eng umrissenen Fachgebiet benötigt, sollten Zeit für die Aufbereitung der Daten und die Feinabstimmung auf das jeweilige Einsatzgebiet eingeplant werden.

Die aktuelle Version unterstützt zehn Sprachausgabesprachen und deckt damit bereits viele Märkte ab. Für weniger verbreitete Sprachen benötigen Teams jedoch eine Textausgabe oder Sprachsysteme von Drittanbietern. Auch die Trennung von Thinker und Talker bringt Entscheidungen mit sich. Manche Organisationen werden es vorziehen, lange Schlussfolgerungen vollständig als Text zu verarbeiten und nur die endgültigen Antworten in Sprache umzuwandeln. Andere werden kürzere Ausgaben in Kauf nehmen, um schneller gesprochene Antworten zu erhalten. Diese Abwägungen sollten anhand der Ziele für das Nutzererlebnis getestet werden.

Die Open-Source-Lizenz ist für Produktentwickler ein Vorteil, bedeutet aber auch, dass jede und jeder das Modell anpassen kann. Unternehmen sollten Inhaltsfilter, Missbrauchserkennung und Nutzungsüberwachung einsetzen, um Missbrauch vorzubeugen. Zugleich umfasst Apache 2.0 eine Patentlizenz, die das Risiko von Verletzungen geistiger Eigentumsrechte für Nutzer verringert. Das ist für Compliance-Teams in Unternehmen ein wichtiger Faktor.

Das Ziel ist ein multimodaler Assistent, der Texte, Bilder und Klänge nahezu in menschlichem Tempo verarbeitet. Wenn Qwen3-Omni sich auch außerhalb sorgfältig zusammengestellter Tests bewährt, könnte es zur Standardwahl für Teams werden, die lokale Kontrolle, kalkulierbare Kosten und eine große Entwicklergemeinschaft suchen.

Die wichtigsten Punkte

• Qwen3-Omni verarbeitet Texte, Bilder, Audio und Videos und gibt Text sowie Sprache aus.
• Das Modell ist unter Apache 2.0 mit Patentlizenz für die kommerzielle Nutzung quelloffen verfügbar.
• Der Thinker übernimmt die Schlussfolgerungen, der Talker erzeugt Sprache. Beide nutzen Mixture of Experts für eine höhere Geschwindigkeit.
• Die angegebene Latenz bis zum ersten Paket beträgt 234 Millisekunden bei Audio und 547 Millisekunden bei Video.
• Das Modell unterstützt 119 Textsprachen, 19 Sprachen für Spracheingaben und 10 Sprachen für Sprachausgaben.
• Es sind drei Varianten verfügbar: Instruct, Thinking und Captioner.
• Die API-Preise beginnen bei 0,00025 US-Dollar pro tausend Text-Token; eine Million Token sind im kostenlosen Testkontingent enthalten.
• Die Benchmark-Ergebnisse zeigen Spitzenleistungen bei zahlreichen Sprach-, Video- und Schlussfolgerungstests.
• Die Ranglisten auf Hugging Face und das Interesse von Investoren deuten auf eine schnelle Verbreitung hin.
• Alibaba baut Rechenzentren aus, vertieft die Zusammenarbeit mit Nvidia und erweitert die Qwen3-Familie.