Alibaba stellt Qwen3-Omni vor: Open-Source-Modell für multimodale KI

Warum das jetzt wichtig ist: Offene multimodale KI erreicht den Massenmarkt

Alibaba hat Qwen3-Omni veröffentlicht, ein frei verfügbares multimodales Modell für künstliche Intelligenz, das Text, Bilder, Audio und Video als Eingabe verarbeiten und in Echtzeit mit Text oder natürlicher Sprache antworten kann. Das Unternehmen bezeichnet es als das erste native, durchgängige Omnimodal-System, das alle vier Eingabetypen in einem einzigen Modell integriert, statt sie nachträglich anzufügen. Der Start fällt in eine Zeit, in der führende Systeme von OpenAI und Google weiterhin proprietär sind. Damit entsteht ein deutlicher Kontrast zwischen geschlossenen Plattformen und einer Open-Source-Alternative, die jeder unter der Apache-2.0-Lizenz herunterladen, verändern und einsetzen kann.

Das Versprechen ist klar: Unternehmen und Entwickler erhalten ein Modell, das mit geringer Latenz, breiter Sprachabdeckung und Werkzeugen zur Steuerung der Antworten über verschiedene Modalitäten hinweg funktioniert. Die Folgen reichen über technische Benchmarks hinaus. Eine offene, unternehmensfreundliche Lizenz beseitigt die Abhängigkeit von einem Anbieter und gibt Organisationen die Möglichkeit, das Modell in ihrer eigenen Infrastruktur zu betreiben. Das ist ein bedeutender Unterschied zu einem Zeitpunkt, an dem viele Unternehmen Kosten, Kontrolle und Leistung in ihren KI-Stacks gegeneinander abwägen müssen.

Qwen3-Omni erscheint nach einer Welle omnimodaler Modelle. OpenAI kombinierte mit GPT-4o Text, Bild und Audio. Google ergänzte Gemini 2.5 Pro um Videoanalyse. Diese Systeme bleiben kostenpflichtig und geschlossen. Qwen3-Omni vereint Videoverständnis, Spracheingabe und Sprachausgabe in einem Paket, das die Community untersuchen und weiterentwickeln kann. Die Veröffentlichung spiegelt auch den Aufstieg offener KI-Projekte aus China wider, die auf Entwicklerplattformen stark angenommen werden und die Wettbewerbslandschaft verändern.

Was Qwen3-Omni ist und wie es funktioniert

Qwen3-Omni basiert auf einem zweiteiligen Aufbau namens Thinker und Talker, die jeweils für eine andere Phase der Verarbeitung optimiert sind. Thinker übernimmt das multimodale Verständnis, das Schlussfolgern und die Textgenerierung. Talker wandelt die freigegebenen Ausgaben in Sprache um und koordiniert Sprache mit visuellen Inhalten. Beide Komponenten nutzen eine Mixture-of-Experts-Architektur. Dabei wird das Modell in spezialisierte Parametergruppen aufgeteilt, die nur dann aktiviert werden, wenn sie hilfreich sind. Das beschleunigt die Inferenz und erleichtert die Skalierung, weil nicht bei jeder Anfrage sämtliche Parameter ausgeführt werden müssen.

Thinker und Talker erklärt

Bei Qwen3-Omni nimmt Thinker die Eingaben entgegen, führt Signale aus Text, Bildern, Audio und Video zusammen und erzeugt die zentrale Antwort in Textform. Hier können Schlussfolgerungen über lange Kontexte, die Verwendung von Werkzeugen, Abrufe und Sicherheitsfilter zum Einsatz kommen. Entscheidend ist, dass Talker nicht auf die Text-Tokens von Thinker angewiesen ist. Stattdessen verarbeitet es Audio- und visuelle Merkmale direkt. So kann das System bei einer Übersetzung Sprache erzeugen, die dem zeitlichen Ablauf und der Betonung der ursprünglichen Sprecherin oder des ursprünglichen Sprechers entspricht, oder das Sprechtempo an die Bildschirminhalte anpassen. Das ermöglicht auch eine Steuerung des Arbeitsablaufs: Externe Module können die Ausgaben von Thinker prüfen oder anpassen, bevor Talker sie in Audio umwandelt.

Für die Sprachverarbeitung verwendet Qwen3-Omni einen autoregressiven Ansatz mit mehreren Codebüchern. Dabei werden kompakte akustische Tokens vorhergesagt und anschließend mit einem schlanken Code2Wav-Netzwerk in Wellenformen umgewandelt. Dieser Aufbau verringert die Latenz und erhält zugleich die stimmlichen Details. Der Audio-Encoder namens Audio Transformer wurde von Grund auf trainiert und unterstützt sowohl Streaming als auch Offline-Verarbeitung.

Für Streaming mit geringer Latenz entwickelt

Qwen3-Omni ist auf den Live-Einsatz in Gesprächen ausgelegt. Das System gibt für Audio eine Ende-zu-Ende-Latenz bis zum ersten Paket von etwa 234 Millisekunden und für Video von etwa 547 Millisekunden an. Es bleibt unter einem Echtzeitfaktor von eins. Das bedeutet, dass es Ausgaben genauso schnell oder schneller erzeugen kann, als die Eingabe eintrifft. Das ist wichtig für Sprachagenten, Assistenzsysteme in Callcentern, die Transkription von Besprechungen und alle Szenarien, in denen Verzögerungen den Gesprächsfluss stören.

Sprachabdeckung und Kontextgrenzen

Das Modell unterstützt 119 Sprachen bei Texteingaben, 19 bei Spracheingaben und 10 bei Sprachausgaben. Es kann längere Interaktionen verarbeiten. Der Denkmodus bietet ein Kontextfenster von 65.536 Tokens; die längste Schlussfolgerungskette umfasst 32.768 Tokens. Im Modus ohne Denken beträgt das Kontextfenster 49.152 Tokens. Die maximale Eingabe- und Ausgabelänge liegt jeweils bei 16.384 Tokens. Diese Grenzen bestimmen, wie viele Inhalte das Modell in einer Sitzung aufnehmen und erzeugen kann. Das ist besonders bei Videotranskripten und umfangreichen Dokumenten relevant.

Versionen und Einsatzmöglichkeiten

Alibaba veröffentlicht drei Versionen von Qwen3-Omni-30B-A3B, die jeweils auf unterschiedliche Aufgaben abgestimmt sind.

Das Instruct-Modell kombiniert Thinker und Talker. Es verarbeitet Text, Bilder, Audio und Video und antwortet in Text und Sprache. Das Thinking-Modell konzentriert sich auf Schlussfolgerungen und Aufgaben mit langen Gedankengängen. Es verarbeitet dieselben Eingaben, gibt aber nur Text aus. Damit eignet es sich für Situationen, in denen ausführliche schriftliche Antworten wichtiger sind als Sprache. Das Captioner-Modell ist auf Audiobeschreibungen spezialisiert und erzeugt detaillierte Textbeschreibungen mit möglichst wenigen Halluzinationen. Zusammen decken die Modelle breite multimodale Interaktionen, tiefgehende Schlussfolgerungen und spezialisiertes Audioverständnis ab.

Qwen3-Omni steht zur lokalen Nutzung und über die Cloud zur Verfügung. Entwickler können die Modellgewichte aus dem offiziellen Repository und von Community-Plattformen herunterladen oder über Alibabas API eine schnellere Flash-Variante aufrufen. Die Projektdokumentation enthält eine Kurzanleitung, Kochbücher für Aufgaben wie Spracherkennung, Übersetzung, Musikanalyse, OCR und audiovisuelle Dialoge sowie Hinweise zur Bereitstellung mit Docker. Das GitHub-Repository ist hier zu finden: https://github.com/QwenLM/Qwen3-Omni.

Für Teams, die die gehostete API ausprobieren, stellt Alibaba ein kostenloses Kontingent von einer Million Tokens für alle Modalitäten bereit, das nach der Aktivierung 90 Tage lang gültig ist. Bei Nutzung der API ist eine Audioausgabe nur im Modus ohne Denken verfügbar. Diese Details sind wichtig, um Pilotprojekte zu planen und die Kosten erster Experimente abzuschätzen.

Der Trainingsprozess im Überblick

Qwen3-Omni wurde in einem mehrstufigen Verfahren trainiert, das umfangreiches Vortraining mit gezieltem nachgelagertem Training kombiniert. Der Audio Transformer dient als Audio-Encoder und hat etwa 0,6 Milliarden Parameter. Er wurde mit 20 Millionen Stunden überwachter Audiodaten trainiert. Der Datensatz bestand zu ungefähr 80 Prozent aus chinesischer und englischer Spracherkennung, zu 10 Prozent aus Spracherkennung in anderen Sprachen und zu 10 Prozent aus Aufgaben zum Audioverständnis. Der Encoder ist sowohl für Echtzeit-Caching als auch für die Offline-Verarbeitung ausgelegt.

Das Vortraining verlief in drei Phasen. In der ersten Phase, dem sogenannten Encoder-Abgleich, wurden die Bild- und Audio-Encoder trainiert, während der Kern des Sprachmodells eingefroren blieb. Dadurch sollte verhindert werden, dass sich die Wahrnehmungsfähigkeit des Modells während der frühen Zusammenführung verschlechtert. In der zweiten Phase, dem allgemeinen Training, kam ein Datensatz mit rund 2 Billionen Tokens zum Einsatz, der Text, Audio und Bilder sowie kleinere Anteile von Video- und Audio-Video-Beispielen umfasste. In der dritten Phase wurde die maximale Token-Länge von 8.192 auf 32.768 erhöht. Zusätzlich flossen mehr längere Audio- und Videoinhalte ein, um die Verarbeitung langer Sequenzen zu verbessern.

Das nachgelagerte Training zielte sowohl auf die Schlussfolgerungsfähigkeit als auch auf die Sprachqualität ab. Thinker erhielt überwachtes Fine-Tuning, Distillation von starken zu schwachen Modellen und GSPO-Optimierung mit einer Kombination aus regelbasiertem Feedback und Bewertungen durch ein Modell als Beurteiler. Talker durchlief einen vierstufigen Prozess mit Hunderten Millionen multimodaler Sprachbeispiele und kontinuierlichem Vortraining auf kuratierten Daten. Ziel waren weniger Halluzinationen und natürlichere Sprache.

Leistung und besondere Stärken

Bei den vom Unternehmen veröffentlichten öffentlichen Benchmarks erzielt Qwen3-Omni starke Ergebnisse in den Bereichen Sprache, Audio und Videoverständnis und erreicht zugleich hohe Werte bei Text und Bildverarbeitung. In vielen offenen Ranglisten liegt es vorn und liefert sich ein Kopf-an-Kopf-Rennen mit geschlossenen Systemen.

Bei Text und Schlussfolgerungen erzielt das Modell 65,0 bei AIME25 und 76,0 bei ZebraLogic. Bei WritingBench erreicht es 82,6. Bei Sprache und Audio verzeichnet es Wortfehlerraten von 4,69 und 5,89 bei Wenetspeech sowie 2,48 bei Librispeech other. Auch bei Musikaufgaben zeigt es gute Ergebnisse: 93,0 bei GTZAN und 52,0 bei RUL MuchoMusic. Bei Bildverarbeitung und visuellen Aufgaben erreicht HallusionBench 59,7, MMMU pro 57,0 und MathVision full 56,3. Bei Videos gibt das Unternehmen einen Wert von 75,2 bei MLVU an. Sollten unabhängige Tests diese Zahlen bestätigen, deutet das auf ein Modell hin, das klassische Textaufgaben mit fortgeschrittenem Audio- und Videoverständnis verbindet.

Zwei Aspekte verdienen Beachtung. Erstens stammen viele Ergebnisse aus Selbstauskünften des Unternehmens. Unabhängige Wiederholungen in einem breiteren Spektrum von Tests würden ein vollständigeres Bild der Leistung im Alltag liefern. Zweitens kann ein Modell, das vier Eingabetypen abdeckt, Zielkonflikte mit sich bringen. Die Unternehmensunterlagen sollen eine gleichbleibende Leistung über alle Modalitäten hinweg belegen. Einige Mitglieder der Community haben jedoch Fälle beobachtet, in denen frühere, textorientierte Versionen von Qwen bei bestimmten eng umrissenen Aufgaben mit reinem Text etwas bessere Ausgaben lieferten. Das ist der bekannte Zielkonflikt zwischen spezialisierten und vielseitigen Modellen. Die aktuelle Version verkleinert diese Lücke und ermöglicht zugleich modalitätsübergreifende Funktionen, die spezialisierte Modelle nicht bieten können.

Preise, Kontingente und Nutzungsgrenzen

Qwen3-Omni ist für die lokale Bereitstellung unter der Apache-2.0-Lizenz als Open Source verfügbar. Der verwaltete Zugriff über Alibabas API wird nach Tokens abgerechnet. Im Denkmodus und im Modus ohne Denken gelten dieselben Preise pro Token. Audioausgabe gibt es nur im Modus ohne Denken.

Eingabekosten pro 1.000 Tokens

• Texteingabe: 0,00025 US-Dollar
• Audioeingabe: 0,00221 US-Dollar
• Bild- oder Videoeingabe: 0,00046 US-Dollar

Ausgabekosten pro 1.000 Tokens

• Textausgabe bei reiner Texteingabe: 0,00096 US-Dollar
• Textausgabe bei Eingaben mit Bild oder Audio: 0,00178 US-Dollar
• Text- und Audioausgabe: 0,00876 US-Dollar für den Audioanteil; Text ist kostenlos

Kostenloses Kontingent: eine Million Tokens für alle Modalitäten, 90 Tage gültig ab der Aktivierung. Die Kontextgrenzen sind großzügig bemessen: 65.536 Tokens im Denkmodus und 49.152 im Modus ohne Denken. Die maximale Länge einer einzelnen Eingabe beträgt 16.384 Tokens, die maximale Ausgabelänge ebenfalls 16.384 Tokens. Die längste Schlussfolgerungskette umfasst 32.768 Tokens. Diese Obergrenzen bestimmen, wie lange Medien und Dokumente im Produktivbetrieb in Abschnitte aufgeteilt werden müssen.

Warum das für Unternehmen wichtig ist

Die Lizenz ist ein zentraler Teil der Geschichte. Apache 2.0 gewährt Rechte zur kommerziellen Nutzung, Veränderung und Weiterverbreitung. Sie beinhaltet eine Patentlizenz, die das rechtliche Risiko senkt, wenn das Modell Teil proprietärer Systeme wird. Es besteht keine Verpflichtung, abgeleitete Werke zu veröffentlichen. Das erleichtert die Einführung für Unternehmen, die feinabgestimmte Varianten vertraulich halten müssen. Das ist das Gegenteil einer vom Anbieter kontrollierten Blackbox, bei der sich Kosten, Ratenbegrenzungen und Modellverhalten ohne Einflussmöglichkeit ändern können.

Die Veröffentlichung beeinflusst auch Architekturentscheidungen. Viele Organisationen bewegen sich auf einen Stack aus mehreren Modellen zu. Sie kombinieren offene und geschlossene Modelle je nach Aufgabe, setzen schnelle und kleine Modelle für Routineaufgaben und größere Modelle für komplexe Schlussfolgerungen ein und betreiben bestimmte Workloads aus Gründen der Datenkontrolle vor Ort. Dank seines breiten Funktionsumfangs kommt Qwen3-Omni für sprachintensive Szenarien, mehrsprachige Umgebungen und videoreiche Arbeitsabläufe infrage. Wenn ein Modell mehrere Modalitäten verarbeitet, kann das die Zahl der separat zu trainierenden und zu wartenden Systeme verringern.

Eine erfolgreiche Bereitstellung erfordert weiterhin Sorgfalt. Sicherheitsprüfungen, Datenschutzkontrollen, Evaluierungsumgebungen und Fine-Tuning-Pipelines bleiben unverzichtbar. Die Offenheit des Modells erleichtert Prüfung und Optimierung, überträgt aber zugleich die Verantwortung für Sicherheit und Compliance auf die Anwender. Teams, die in MLOps, Werkzeugnutzung und Schutzmechanismen investieren, können den größten Nutzen daraus ziehen.

Anwendungsfälle: von Callcentern bis zum Außendienst

Alibaba nennt eine breite Palette von Einsatzszenarien, die die Stärken des Modells nutzen. Mehrsprachige Transkription und Übersetzung lassen sich bei Live-Gesprächen mit Sprachausgabe mit geringer Latenz kombinieren. Audiobeschreibungen unterstützen die Medienproduktion und Barrierefreiheit von Inhalten. OCR und Dokumentenverständnis lassen sich auf Bilder von Formularen, Belegen und Diagrammen anwenden. Musikverschlagwortung und Klanganalysen helfen Medienbibliotheken und Kreativwerkzeugen. Videoverständnis ermöglicht die Indexierung und Navigation sowie das Befolgen von Anweisungen in Tutorials oder Rundgängen durch Anlagen.

Ein anschauliches Beispiel ist der technische Support. Ein Kunde kann ein Video vom Smartphone streamen, während das Modell eingeblendete Texte liest, Umgebungsgeräusche anhört und Schritt für Schritt gesprochene Anweisungen gibt. Ein weiteres Beispiel ist ein tragbarer Assistent, der Speisekarten oder Schilder in Echtzeit übersetzt. Entwickler können das Verhalten außerdem mit System-Prompts steuern, um Tonfall, Persona und Grenzen des Fachgebiets festzulegen. Auch Abrufsysteme, Taschenrechner oder Werkzeuge von Drittanbietern lassen sich einbinden, um die Fähigkeiten zu erweitern.

Signale für die Akzeptanz und der globale Kontext

Erste Erfolge deuten auf großes Interesse in der Entwickler-Community hin. Varianten von Qwen3-Omni stiegen in den Ranglisten beliebter KI-Plattformen für angesagte Modelle an die Spitze; weitere Qwen-Modelle belegten zusätzliche vordere Plätze. Der Anstieg verdeutlicht eine breitere Verlagerung hin zu offenen Systemen chinesischer Teams, die direkt mit etablierten westlichen Anbietern konkurrieren. An den Märkten legten die Alibaba-Aktien in Hongkong an einem Tag mit großer Aufmerksamkeit für die Veröffentlichung um etwas mehr als vier Prozent zu.

Die offene Alternative wird Preis- und Produktstrategien geschlossener Systeme unter Druck setzen, besonders bei stark audio- und videolastigen Anwendungsfällen. Unternehmen, die Ideen ohne langwierige Beschaffungsprozesse testen müssen, können nun ein omnimodales Modell zu geringen Kosten betreiben. Sollte die Leistung in der Praxis den veröffentlichten Benchmarks entsprechen, könnte die Veröffentlichung die Verbreitung multimodaler Assistenten in Callcentern, der Medienproduktion, im Bildungswesen, bei medizinischen Transkriptionen und in der industriellen Wartung beschleunigen.

Das Wichtigste in Kürze

• Qwen3-Omni ist ein Open-Source-Modell, das Text, Bilder, Audio und Video verarbeitet und mit Text und Sprache antwortet. Es ist für den Echtzeiteinsatz optimiert.
• Das System nutzt eine Thinker-und-Talker-Architektur mit Mixture of Experts für Geschwindigkeit und Skalierbarkeit sowie einen eigenen Audio Transformer und den Renderer Code2Wav.
• Die angestrebte Latenz liegt bei etwa 234 Millisekunden für Audio und etwa 547 Millisekunden für Video; beim Streaming liegt der Echtzeitfaktor unter eins.
• Das Modell unterstützt 119 Sprachen bei Texteingaben, 19 bei Spracheingaben und 10 bei Sprachausgaben. Die Kontextfenster reichen bis zu 65.536 Tokens.
• Es gibt drei Varianten: Instruct für vollständige multimodale Ein- und Ausgabe, Thinking für Schlussfolgerungen mit reiner Textausgabe und Captioner für detaillierte Audiobeschreibungen.
• Das Modell ist unter Apache 2.0 als Open Source verfügbar. Für API-Tests gibt es ein kostenloses Kontingent von einer Million Tokens; der gehostete Zugriff wird pro Token abgerechnet.
• Die vom Unternehmen veröffentlichten Benchmarks zeigen starke Ergebnisse bei Sprache, Audio, Video und Text, darunter mehrere Spitzenwerte.
• Unternehmen erhalten eine kostenlose Möglichkeit, multimodale KI ohne Abhängigkeit von einem Anbieter bereitzustellen, anzupassen und zu betreiben, sofern sie in Evaluierung und Sicherheit investieren.
• Die Akzeptanz in der Community wächst schnell: Qwen-Modelle liegen auf Entwicklerplattformen im Trend, und das Interesse an offenen KI-Systemen aus China nimmt zu.