Alibaba bringt Qwen3 Omni auf den Markt, ein multimodales Open-Source-KI-Modell

Warum der Start gerade jetzt wichtig ist

Alibaba hat Qwen3 Omni veröffentlicht, ein multimodales Modell künstlicher Intelligenz, das Text, Bilder, Audio und Video in einem System verarbeitet. Der Start erfolgt in einer Zeit, in der sich der weltweite Wettbewerb im Bereich KI verschärft. Das Modell kann unter der Apache-2.0-Lizenz heruntergeladen und genutzt werden. Sie räumt Unternehmen weitreichende Rechte ein, die Technologie in kommerziellen Produkten auszuführen, zu verändern und bereitzustellen. Die Kombination aus breiter Unterstützung verschiedener Modalitäten und einer freizügigen Lizenz setzt geschlossene Systeme führender US-Unternehmen direkt unter Druck.

Der Zeitpunkt ist bemerkenswert. Während westliche Unternehmen weiterhin viel Geld in proprietäre KI und die dafür nötige Infrastruktur investieren, werben chinesische Forschungsgruppen mit offen zugänglichen Modellen um Entwickler. Qwen3 Omni ist in den Community-Ranglisten auf Hugging Face schnell nach oben geklettert. Das zeigt, dass sich Entwickler in großem Umfang damit beschäftigen. Für Alibaba signalisiert die Veröffentlichung, dass Chinas größter Cloud-Anbieter um KI-Anwendungen weltweit konkurrieren will und nicht nur um Aufmerksamkeit in der Forschung.

Das Versprechen des Modells lässt sich einfach zusammenfassen: Ein einziges Basismodell kann Sprache, Bilder, Audio und Video aufnehmen und mit Text oder natürlicher Sprache in Echtzeit antworten. Sollten sich die von Alibaba gemeldeten Leistungswerte im Alltag bestätigen, könnten Unternehmen Assistenten, Transkriptionsdienste und Analysewerkzeuge einsetzen, ohne Nutzungsgebühren an geschlossene Plattformen zu zahlen und ohne für jeden Datentyp separate Modelle miteinander verknüpfen zu müssen.

Was Qwen3 Omni ist und was es kann

Qwen3 Omni ist ein Basismodell für die native multimodale Interaktion. Es akzeptiert vier Arten von Eingaben: Text, Bild, Audio und Video. Als Ausgabe erzeugt es Text und Sprache. Die Antworten können nahezu in Echtzeit ausgegeben werden. So kann ein Nutzer mit dem System sprechen oder eine Kamera auf eine Szene richten und bereits eine Antwort hören, während das Modell die einzelnen Bilder verarbeitet.

Alibaba bietet drei Versionen an, damit Teams die Fähigkeiten an ihre Anwendungsfälle anpassen können. Jede Version basiert auf einem Rückgratmodell mit 30 Milliarden Parametern, das während der Inferenz selektiv Experten aktiviert, um effizienter zu arbeiten. Die Produktreihe umfasst:

• Instruct, das vollständige interaktive Modell, das Audio-, Video- und Texteingaben verarbeitet und sowohl Text als auch Sprache erzeugt.
• Thinking, das auf Schlussfolgerungen ausgerichtete Modell für längere Gedankengänge. Es akzeptiert dieselben Eingaben, gibt aber nur Text aus.
• Captioner, eine feinabgestimmte Variante für ausführliche Audiobeschreibungen, die Halluzinationen möglichst vermeiden soll, wenn sie Klangquellen und Ereignisse beschreibt.

Entwickler können die Modellgewichte über GitHub und Hugging Face herunterladen oder einen verwalteten Endpunkt über die API von Alibaba aufrufen. Diese bietet auch eine schnellere Flash-Variante für Anwendungen mit hohen Anforderungen an die Latenz.

Die Architektur aus Thinker und Talker

Das System folgt einer Architektur aus zwei Komponenten, die Alibaba Thinker und Talker nennt. Thinker ist für Schlussfolgerungen über verschiedene Modalitäten hinweg zuständig. Die Komponente führt Hinweise aus Text, visuellen Encodern und einem Audioencoder zusammen, plant die Antwort und erzeugt Text-Tokens, die die beabsichtigte Antwort oder Aktion darstellen. Talker wandelt diesen Plan in natürliche Sprache um und stimmt dabei Timing und Intonation auf den visuellen und akustischen Kontext ab.

Beide Komponenten nutzen den Mixture-of-Experts-Ansatz. Bei jedem Schritt wird nur eine Teilmenge der Parameter aktiviert. Dadurch verteilt sich die Arbeitslast auf verschiedene Experten, was bei vielen gleichzeitigen Anfragen den Durchsatz erhöht. So kann das Modell auch bei mehreren parallelen Nutzern eine niedrige Latenz gewährleisten.

Talker ist nicht auf die interne Textdarstellung von Thinker angewiesen. Die Komponente kann sich direkt auf Audio- und Bildmerkmale stützen. Dadurch klingt die Sprachausgabe bei Übersetzungen oder Live-Unterstützung natürlicher, weil Prosodie und Klangfarbe an die Szene angepasst werden können. Die Trennung hat auch betriebliche Vorteile: Externe Module wie Abrufsysteme oder Sicherheitsfilter können den von Thinker vorgeschlagenen Text prüfen und anpassen, bevor Talker ihn als Sprache ausgibt.

Damit die Sprachausgabe schnell und klar bleibt, sagt Talker autoregressiv eine Sequenz mit mehreren Codebüchern voraus und nutzt ein schlankes Code2Wav-Netzwerk, um Audiobilder direkt während der Verarbeitung zu erzeugen. So sinkt die Verzögerung, ohne dass die Klangqualität an Detail verliert.

Geschwindigkeit, Umfang und Sprachen

Bei Sprach- und Videointeraktionen ist die Latenz entscheidend. Qwen3 Omni gibt eine Latenz bis zum ersten Datenpaket von rund 234 Millisekunden für Audio und etwa 547 Millisekunden für Video an. Auch bei mehreren Anfragen bleibt die Reaktionszeit von Anfang bis Ende unter dem Echtzeitfaktor 1, sodass Gespräche flüssig verlaufen.

Das Modell unterstützt eine große Zahl von Sprachen: 119 in Textform. Gesprochene Eingaben versteht es in 19 Sprachen und sprechen kann es in 10. Dazu gehören wichtige Weltsprachen und Dialekte wie Kantonesisch. Produktteams können so Assistenten für ein globales Publikum entwickeln, ohne je nach Region das Modell wechseln zu müssen.

Die Kontextfenster sind auf lange Sitzungen ausgelegt. Der Thinking-Modus bietet 65.536 Tokens, der Non-Thinking-Modus 49.152 Tokens. Die maximale Länge für Ein- und Ausgaben beträgt jeweils 16.384 Tokens, die längste unterstützte Schlussfolgerungskette 32.768 Tokens. Das Modell kann längere Audioclips von bis zu rund 30 Minuten analysieren und zusammenfassen.

Wie Alibaba das Modell trainiert hat

Das Audioverständnis basiert auf einem eigens entwickelten Audio-Transformer namens AuT. Alibaba trainierte AuT von Grund auf mit rund 20 Millionen Stunden annotiertem Audiomaterial. Der größte Teil davon entfällt auf die automatische Spracherkennung für Chinesisch und Englisch. Ein kleinerer Anteil stammt aus anderen Sprachen und Aufgaben, die auf ein breiteres Audioverständnis abzielen. AuT hat rund 600 Millionen Parameter und ist sowohl für Streaming-Caches als auch für Offline-Aufgaben ausgelegt.

Das Vortraining erfolgte in drei Phasen. In einer Phase zur Abstimmung der Encoder trainierte das Team Bild- und Audioencoder, während das Sprachmodell eingefroren blieb. So sollte die Qualität der Wahrnehmung erhalten bleiben. Darauf folgte ein allgemeines Training mit einem Datensatz aus rund zwei Billionen Tokens aus Text, Audio und Bildern sowie kleineren Anteilen an Video- und audiovisuellen Daten. In einer abschließenden Phase für lange Kontexte wurde die Sequenzlänge von 8.192 auf 32.768 Tokens erweitert. Außerdem kamen längere Audio- und Videodaten hinzu, damit das Modell längere Sequenzen zuverlässig verarbeiten kann.

Im Nachtraining kamen das Befolgen von Anweisungen und die Sicherheitsabstimmung hinzu. Für Thinker setzte das Team auf überwachtes Feinabstimmen, Distillation von starken auf schwächere Modelle und GSPO-Optimierung. Dabei kamen eine Kombination aus Regeln und Feedback durch ein LLM als Bewertungsinstanz zum Einsatz. Talker durchlief vier Phasen, in denen Hunderte Millionen multimodale Sprachbeispiele mit kontinuierlichem Vortraining anhand kuratierter Daten kombiniert wurden. Ziel war es, Halluzinationen zu verringern und zugleich die Verständlichkeit und Ausdruckskraft der Sprache zu verbessern.

Benchmarks, Stärken und Grenzen

Bei 36 öffentlichen Benchmarks zu Text, Sprache, Bildverarbeitung und Video liegt Qwen3 Omni laut Alibaba bei 22 Tests auf Platz eins und führt bei 32 Tests die offenen Modelle an. Die Ergebnisse deuten auf starke Leistungen bei audiointensiven Aufgaben und konkurrenzfähige Ergebnisse bei Text und visuellen Aufgaben hin.

Schlussfolgerungen und Schreiben: Bei AIME25 erreicht das Modell 65,0 Punkte und liegt damit deutlich über dem Ergebnis von 26,7, das GPT-4o im Jahr 2024 erzielte. Bei ZebraLogic kommt es auf 76,0 Punkte und liegt damit vor Gemini 2.5 Flash mit 57,9 Punkten. Im WritingBench erreicht das Modell 82,6 Punkte und liegt damit über den 75,5 Punkten von GPT-4o.

Sprache und Audio: Im Wenetspeech-Benchmark liegen die gemeldeten Wortfehlerraten bei 4,69 und 5,89 und damit deutlich unter den Werten von GPT-4o mit 15,30 und 32,27. Bei LibriSpeech Other sinkt die Fehlerrate auf 2,48. Auch bei der Musikkategorisierung schneidet das Modell gut ab: Bei GTZAN erreicht es 93,0 und bei RUL MuchoMusic 52,0 Punkte. Beide Werte liegen über denen von GPT-4o.

Bildverarbeitung und Video: Bei HallusionBench erreicht das Modell 59,7 Punkte, bei MMMU Pro 57,0 und bei MathVision Full 56,3. Alle Werte liegen über denen von GPT-4o in derselben Ergebnisauswahl. Beim MLVU-Test zum Videoverständnis kommt Qwen3 Omni auf 75,2 Punkte und liegt damit vor Gemini 2.0 Flash mit 71,0 sowie GPT-4o mit 64,6 Punkten.

Das sind starke Ergebnisse, dennoch sollten Teams sie im Kontext betrachten. Alibaba hat das System so abgestimmt, dass die Qualität bei Text und Bildverarbeitung erhalten bleibt und zugleich Sprach- und multimodale Interaktionen besonders gut funktionieren. Erste Beobachter weisen darauf hin, dass ein reines Textmodell derselben Familie bei manchen Aufgaben, die ausschließlich Sprache betreffen, weiterhin vorn liegen kann. Das ist ein üblicher Zielkonflikt beim Wechsel vom Training für eine einzelne Modalität zu einem breiten multimodalen System. Entscheidend ist die tägliche Leistung in produktiven Arbeitsabläufen.

Offene Lizenz, Zugang und Preise

Qwen3 Omni wird unter der Apache-2.0-Lizenz veröffentlicht. Sie erlaubt die kommerzielle Nutzung, Veränderung und Weiterverbreitung und umfasst eine Patentlizenz. Unternehmen können das Modell in ihre Produkte integrieren, auf eigener Hardware oder in vertrauenswürdigen Cloud-Umgebungen bereitstellen und geschlossene Produkte vertreiben, ohne ihre proprietären Änderungen offenzulegen. Die Lizenz beseitigt die häufigsten rechtlichen Hürden, die Unternehmen davon abhalten, fortschrittliche Modelle in regulierten Bereichen einzusetzen.

Die Modellfamilie kann über GitHub und Hugging Face heruntergeladen werden. Teams, die eine verwaltete Lösung bevorzugen, können die API von Alibaba nutzen, die auch eine Flash-Option für schnellere Antworten bietet. Alibaba stellt nach der Aktivierung für 90 Tage ein kostenloses Kontingent von einer Million Tokens über alle Modalitäten hinweg bereit, damit Teams die Funktionen vor dem Einstieg in die kostenpflichtige Nutzung prüfen können.

So funktioniert die Token-Abrechnung

Abgerechnet wird pro 1.000 Tokens. Ein Token ist eine kleine Texteinheit oder eine segmentierte Darstellung anderer Medien und dient als gemeinsame Maßeinheit für die Rechenkosten über verschiedene Modalitäten hinweg. Alibaba nennt für die Thinking- und Non-Thinking-Modi dieselben Preise pro Token. Eine Ausnahme gibt es: Eine Audioausgabe ist nur im Non-Thinking-Modus verfügbar.

Eingabekosten: Texteingaben kosten 0,00025 US-Dollar pro 1.000 Tokens, also rund 25 Cent pro Million Tokens. Audioeingaben kosten 0,00221 US-Dollar pro 1.000 Tokens, also rund 2,21 US-Dollar pro Million Tokens. Bild- und Videoeingaben kosten 0,00046 US-Dollar pro 1.000 Tokens, also rund 46 Cent pro Million Tokens.

Ausgabekosten: Textausgaben kosten 0,00096 US-Dollar pro 1.000 Tokens, wenn die Eingabe ausschließlich aus Text besteht. Enthält die Eingabe Bild oder Audio, kostet die Textausgabe 0,00178 US-Dollar pro 1.000 Tokens. Werden sowohl Text als auch Audio ausgegeben, kostet der Audioteil 0,00876 US-Dollar pro 1.000 Tokens. In diesem Fall ist der Textanteil kostenlos.

Anwendungsfälle, die schon heute möglich sind

Anwendungen mit Schwerpunkt auf Audio und Video können besonders profitieren. Mehrsprachige Transkription und Übersetzung für den Kundendienst und die Medienlokalisierung können mit einem einzigen Modell umgesetzt werden, das zuhört, den Kontext versteht und als Sprache antwortet. Die Captioner-Variante ist auf Audiobeschreibungen spezialisiert und eignet sich für die Verschlagwortung von Medien, die Überwachung von Sendungen und die Suche nach Musikinformationen.

Auch visuelle Aufgaben wie optische Zeichenerkennung, die Verortung von Objekten sowie Fragen und Antworten zu Bildern oder Videos eignen sich. Ein Support-Mitarbeiter könnte den Live-Kamerafeed eines Laptops ansehen, beschreiben, welches Kabel überprüft werden sollte, und die Schritte anschließend in natürlichem Tempo erläutern. Alibaba hat eine Live-Übersetzung einer Restaurantkarte über ein tragbares Gerät vorgeführt. Diese Szenarien zeigen, wie wichtig geringe Streaming-Latenz und eine hohe Sprachqualität sind.

Qwen3 Omni unterstützt auch audiovisuelle Dialoge. Das Modell kann ein Gespräch führen, in dem es sowohl auf Gehörtes als auch auf Gesehenes Bezug nimmt, den Kontext über eine lange Sitzung hinweg im Blick behält und bei Anbindung an Werkzeuge relevantes externes Wissen einbezieht. Entwickler können Tonfall und Verhalten über System-Prompts gestalten, fachspezifische Assistenten entwickeln und Thinker-Ausgaben durch eigene Sicherheitsfilter leiten, bevor eine Sprachausgabe erfolgt.

Vergleich mit GPT-4o, Gemini 2.5 und Gemma 3n

Qwen3 Omni gehört zu einer Gruppe multimodaler Modelle, die verschiedene Datentypen in einem einzigen System verarbeiten sollen. OpenAIs GPT-4o unterstützt Text-, Bild- und Audioeingaben und wird als geschlossener Dienst angeboten. Googles Gemini 2.5 Pro kann ebenfalls Videos analysieren, ist aber ebenfalls geschlossen. Googles Gemma 3n hat eine offene Lizenz und akzeptiert Text, Bilder, Audio und Video als Eingaben, erzeugt jedoch nur Text. Alibabas Modell akzeptiert dieselben vier Eingabearten und kann zusätzlich Sprache ausgeben. Das ist für Assistenten und Live-Übersetzungen wichtig.

Die Offenheit macht in der Praxis einen Unterschied. Die Gewichte von Qwen3 Omni sind unter Apache 2.0 verfügbar. Unternehmen können das Modell daher lokal ausführen, an Branchenvorschriften anpassen und Datenflüsse kontrollieren. Bei einigen anspruchsvollen Aufgaben dominieren weiterhin geschlossene Modelle. Deren Lizenzbedingungen und Vorgaben zur Datenresidenz können den Einsatz in sensiblen Bereichen jedoch einschränken. Viele Organisationen werden sich für eine Kombination entscheiden: offene Modelle für geringere Kosten und mehr Kontrolle sowie kostenpflichtige Dienste dort, wo sie kaum zu übertreffen sind.

Ein weiterer Unterschied liegt in der Perspektive für den Produktiveinsatz. Alibaba hat eine breite Qwen-Familie mit Hunderten Varianten aufgebaut und berichtet von einer großen Verbreitung unter Entwicklern. Sollte Qwen3 Omni bei Live-Sprach- und Videointeraktionen im Alltag halten, was die Benchmarks versprechen, erhalten Teams eine glaubwürdige Alternative für mehrsprachige Assistenten mit geringer Latenz, die sie selbst hosten können.

Verbreitung und Marktsignale

Das Interesse der Entwickler ist sichtbar. Qwen3 Omni hat die Spitze der Trendlisten auf Hugging Face erreicht, und weitere Modelle von Alibaba belegen inzwischen mehrere der vorderen Plätze. Die Dynamik spiegelt einen umfassenderen Wandel wider: Offene Modelle aus chinesischen Forschungslaboren gewinnen in der weltweiten Entwicklergemeinschaft an Bedeutung.

Alibaba Cloud zufolge wurde die Qwen-Familie weltweit mehr als 400 Millionen Mal heruntergeladen. Seit ihrem Start hat das Unternehmen mehr als 300 Modelle veröffentlicht. Auch die Reaktion der Investoren fiel positiv aus. Am Tag, an dem Qwen3 Omni an die Spitze der Community-Ranglisten stieg, legten die Alibaba-Aktien in Hongkong um etwas mehr als 4 Prozent zu. Das deutet darauf hin, dass der Markt die Fortschritte des Unternehmens bei KI verfolgt.

Umstritten ist auch, was „offen“ bedeutet. Die Modelle erscheinen unter Apache 2.0 und die Gewichte sind verfügbar. Das vollständige Verfahren, mit dem sich das Training anhand von Rohdaten reproduzieren ließe, ist jedoch nicht öffentlich. Puristen würden daher von offenen Gewichten sprechen. Für die meisten Unternehmen sind die Lizenzbedingungen entscheidend: Sie ermöglichen den Vertrieb von Produkten, ohne Gebühren pro Nutzer oder Arbeitsplatz zahlen zu müssen.

Was bei Sicherheit und Governance zu beachten ist

Unternehmen werden wissen wollen, ob sich die gemeldeten Benchmark-Zuwächse auch in vorhersehbares und sicheres Verhalten bei hoher Auslastung übersetzen. Sprachsysteme bergen besondere Risiken: von missverstandenen Befehlen bis hin zu überzeugend klingender Sprachsynthese. Teams sollten Schutzmaßnahmen für die Identitätsprüfung, die Inhaltsfilterung und die Datenspeicherung festlegen. Die Trennung zwischen Thinker und Talker erleichtert solche Kontrollen, da eine Sicherheitsschicht den Text abfangen kann, bevor er gesprochen wird.

Auch die betriebliche Einsatzbereitschaft wird in den Fokus rücken. Organisationen, die offene Modelle in großem Maßstab einsetzen, investieren häufig in MLOps, Feinabstimmungspipelines und Evaluierung. Qwen3 Omni verringert den Bedarf, mehrere Modelle parallel zu betreiben, da es Text, Audio, Bilder und Video an einem Ort verarbeitet. Das kann die Infrastruktur vereinfachen und Produktzyklen beschleunigen, insbesondere bei lokalen Installationen oder souveränen Cloud-Umgebungen, die regionale Vorgaben erfüllen müssen.

Alibaba hat weitere Entwicklungsschritte skizziert, darunter eine bessere Erkennung mehrerer Sprecher, Texterkennung in Videos, bessere Lernmöglichkeiten aus kombinierten Audio- und Videodaten sowie leistungsfähigere autonome Agenten. Damit greift das Unternehmen die Bereiche auf, in denen Kunden das Modell voraussichtlich zuerst vorantreiben werden, wenn sie Pilotprojekte in den Produktivbetrieb überführen.

Wichtige Punkte

• Qwen3 Omni ist ein einzelnes Modell, das Text, Bilder, Audio und Video akzeptiert und Text sowie Sprache mit Streaming-Geschwindigkeit ausgibt.
• Alibaba veröffentlicht die Modellgewichte unter Apache 2.0. Die Lizenz erlaubt kommerzielle Nutzung, Veränderung und Weiterverbreitung und umfasst eine Patentlizenz.
• Es gibt drei Varianten: Instruct für die vollständige Interaktion, Thinking für längere Schlussfolgerungen mit Textausgabe und Captioner für Audiobeschreibungen mit möglichst wenigen Halluzinationen.
• Thinker und Talker trennen Schlussfolgerungen von der Spracherzeugung. Ein Mixture-of-Experts-Ansatz hält die Latenz auch bei vielen gleichzeitigen Anfragen niedrig.
• Die gemeldete Latenz bis zum ersten Datenpaket beträgt rund 234 Millisekunden für Audio und etwa 547 Millisekunden für Video. Der Echtzeitfaktor bleibt unter 1.
• Das Modell unterstützt 119 Sprachen in Textform, versteht gesprochene Eingaben in 19 Sprachen und kann in 10 Sprachen sprechen, darunter Dialekte wie Kantonesisch.
• AuT, ein Audioencoder mit 600 Millionen Parametern, der anhand von rund 20 Millionen Stunden Audiomaterial trainiert wurde, bildet die Grundlage für das Sprachverständnis.
• Benchmarks zeigen Spitzenleistungen bei 22 von 36 Tests und die Spitzenposition unter offenen Modellen bei 32 Tests. Besonders stark sind die Ergebnisse bei Sprache, Musik, Bildverarbeitung und Video.
• Die API-Preise beginnen bei 0,00025 US-Dollar pro 1.000 Tokens für Texteingaben und 0,00096 US-Dollar pro 1.000 Tokens für Textausgaben. Zum Ausprobieren gibt es für 90 Tage eine Million kostenlose Tokens.
• Qwen3 Omni verbreitet sich rasch auf Hugging Face. Alibaba meldet Hunderte Millionen Downloads der Qwen-Modelle, während Unternehmen offene Modelle für den Produktiveinsatz prüfen.