Alibaba stellt multimodales Open-Source-KI-Modell Qwen3 Omni vor

Ein neuer Open-Source-Kandidat im Bereich multimodaler KI

Alibaba hat Qwen3 Omni vorgestellt, ein umfassendes multimodales Modell, das Texte lesen, Bilder betrachten, Audio hören und Videos ansehen kann. Es antwortet mit Text und natürlicher Sprache. Das Unternehmen positioniert es als natives End-to-End-Omnimodell. Das bedeutet, dass das Modell von Anfang an darauf ausgelegt wurde, all diese Eingaben gemeinsam zu verarbeiten, statt Sprache oder Bildverarbeitung nachträglich als Zusatzfunktionen einzubauen. Die Vorstellung erfolgt zu einem Zeitpunkt, an dem viele Organisationen die Kosten- und Kontrollabwägungen zwischen Open-Source-Modellen und proprietären Systemen wie GPT 4o und Gemini 2.5 Pro prüfen. Der entscheidende Unterschied ist der Zugang: Qwen3 Omni wird unter der Apache-2.0-Lizenz veröffentlicht, einem freizügigen Lizenzmodell, das die kostenlose kommerzielle Nutzung, Veränderung und Weiterverbreitung erlaubt. Das senkt die Hürde für Teams, die Modelle selbst hosten oder Produkte ohne Gebühren pro Nutzer und ohne Anbieterabhängigkeit auf den Markt bringen wollen.

Qwen3 Omni geht auch über das übliche Trio aus Text, Bild und Audio hinaus. Das Modell kann zudem Videos analysieren, eine Fähigkeit, die bisher vor allem geschlossenen Plattformen vorbehalten war. Es unterstützt 119 Sprachen für Text, 19 für Spracheingaben und 10 für Sprachausgaben. Dazu gehören wichtige Sprachen und einige Dialekte wie Kantonesisch. Frühe Materialien heben eine Streaming-Reaktionsfähigkeit hervor, die sich eher wie ein Gespräch als wie eine Stapelverarbeitung anfühlt: Die erste Audioausgabe trifft nach ungefähr einer Viertelsekunde ein, die erste Videoausgabe nach etwa einer halben Sekunde. Das ist eine wichtige Schwelle für Assistenten, die in Echtzeitsituationen wie Supportgesprächen oder mobilen Führungen schnell unterbrechen, nachfragen und weiterleiten müssen.

Die Veröffentlichung umfasst drei Varianten für unterschiedliche Aufgaben. Instruct ist das voll ausgestattete Konversationsmodell, Thinking konzentriert sich auf komplexe Schlussfolgerungen und lange Gedankengänge mit Textausgaben, und Captioner ist auf Audiobeschreibungen spezialisiert, bei denen eine geringe Halluzinationsrate wichtig ist. Entwickler können die Modellgewichte über beliebte Modellplattformen beziehen, eine API mit einer schnelleren Flash-Option nutzen oder das Modell für domänenspezifische Anforderungen und einen bestimmten Stil feinabstimmen. Laut den vom Unternehmen veröffentlichten Benchmarks erzielt das Modell starke Ergebnisse bei Sprach-, Audio- und Videoaufgaben und bleibt bei Text und Bildverarbeitung konkurrenzfähig mit führenden Systemen.

Was Qwen3 Omni auszeichnet

Mehrere technische Entscheidungen heben Qwen3 Omni von anderen Modellen ab. Erstens kombiniert die Trainingspipeline von Anfang an unimodale und modalitätsübergreifende Daten und wird dann während des Vortrainings und des nachgelagerten Trainings weiter skaliert. Zweitens nutzt das Modell eine Mixture-of-Experts-Architektur, bei der für jedes Token nur eine kleine Untergruppe der Parameter aktiviert wird. Das kann den Durchsatz verbessern und die Inferenzkosten senken, was für Echtzeitanwendungen und den Einsatz unter begrenzten Hardwarebedingungen wichtig ist. Drittens trennt das System Schlussfolgerungen und Sprachgenerierung in zwei koordinierte Komponenten namens Thinker und Talker. Thinker übernimmt den Großteil der multimodalen Verarbeitung und Schlussfolgerungen. Talker wandelt hochgradige Repräsentationen in Sprache um, wobei Timing und Charakter erhalten bleiben.

Drei Modellvarianten für unterschiedliche Anforderungen

Alibaba Cloud hat drei Optionen aus der Familie Qwen3 Omni 30B A3B veröffentlicht, damit Teams die passende Variante auswählen können:

• Instruct kombiniert Thinker und Talker für Text-, Bild-, Audio- und Videoeingaben sowie Text- und Sprachausgaben.
• Thinking konzentriert sich auf tiefgehende Schlussfolgerungen und lange Gedankengänge, verarbeitet dieselben multimodalen Eingaben und gibt ausschließlich Text aus.
• Captioner ist auf Audiobeschreibungen mit geringer Halluzinationsrate ausgelegt und eignet sich für Medienanalysen, Barrierefreiheit und die Moderation von Inhalten.

Die API bietet eine Flash-Variante mit dem Ziel einer geringeren Latenz und höherer Parallelität. Das kann wichtig sein, wenn Sie einen Callcenter-Assistenten oder eine Einkaufshilfe entwickeln, die Verkehrsspitzen bewältigen muss, ohne Antworten zu verzögern.

Die Thinker- und Talker-Architektur im Detail

Qwen3 Omni teilt die Aufgaben auf, damit die Sprache natürlich klingt und die Schlussfolgerungen flexibel bleiben. Thinker ist das multimodale Kernmodell. Es gleicht Text-, Bild-, Audio- und Videomerkmale aufeinander ab und führt sie zusammen. Anschließend erzeugt es Repräsentationen auf Token-Ebene, die die Antwort steuern. Talker ist ein eigenständiger Sprachgenerator. Statt Thinkers Ausgabe als Text zu verarbeiten, stützt er sich direkt auf Audio- und Bildmerkmale. Dieses Design hilft Talker, Prosodie und Klangfarbe an das Gesehene und Gehörte anzupassen. Das verbessert bei Übersetzungen und Sprachgestaltungseigenschaften wie Tempo, Betonung und emotionalen Ton.

Um die Sprachlatenz zu senken, nutzt Talker ein autoregressives Verfahren mit mehreren Codebooks, das diskrete akustische Tokens vorhersagt. Anschließend wandelt ein leichtgewichtiges Faltungsnetz namens Code2Wav diese Tokens in Wellenformen um. Da Talker von Thinkers Textausgabe entkoppelt ist, können externe Module Thinkers Ausgaben beeinflussen oder filtern, bevor die Sprache erzeugt wird. Das erleichtert Sicherheitsabläufe, da Richtlinienprüfungen und Abrufschritte zwischen dem Denken und dem Sprechen erfolgen können. Streaming-Leistung steht im Mittelpunkt. Laut Angaben des Unternehmens liegt die Zeit bis zum ersten Audioausgabepaket bei rund 234 Millisekunden, beim ersten Videoausgabepaket bei rund 547 Millisekunden. Das System bleibt unter dem Echtzeitfaktor 1. Es kann also Audio schneller erzeugen, als dessen Wiedergabe dauert, selbst wenn mehrere Anfragen verarbeitet werden.

Die Architektur nutzt sowohl für Thinker als auch für Talker Mixture of Experts. Bei diesem Verfahren besteht das Modell aus vielen kleinen Expertennetzen; ein Gate-Netzwerk leitet jedes Token an einige davon weiter. Pro Token wird nur ein kleiner Teil der Parameter ausgeführt. Das unterstützt eine hohe Parallelität und trägt dazu bei, die Inferenz reaktionsschnell zu halten. Für Entwickler kann das den Unterschied ausmachen zwischen einem Assistenten, der unterbricht und interagiert, und einem Bot, der wartet, bis er an der Reihe ist.

Entwicklung und unterstützte Funktionen

Die Audioleistung beginnt beim Encoder. Qwen3 Omni führt einen Audio Transformer ein, der von Grund auf neu entwickelt und mit rund 20 Millionen Stunden überwachter Daten trainiert wurde. Der Trainingsmix besteht überwiegend aus chinesischen und englischen Daten zur automatischen Spracherkennung sowie aus zusätzlichen Daten anderer Sprachen und Aufgaben, die sich auf das Audioverständnis konzentrieren. Der Encoder umfasst rund 600 Millionen Parameter, unterstützt Streaming-Caches für geringe Latenz und kann für Analyseaufgaben wie die Auswertung langer Aufnahmen offline ausgeführt werden. Über Abgleichsphasen speist dieser Encoder den multimodalen Kern, sodass das Modell modalitätsübergreifend schlussfolgern kann.

Das Vortraining erfolgte in drei Phasen. Beim Abgleich des Encoders wurden die Bild- und Audio-Encoder trainiert und aufeinander abgestimmt, während das Sprachmodell eingefroren blieb. Beim allgemeinen Training skalierte das Team auf rund 2 Billionen Tokens, darunter Text, Audio, Bilder sowie einige Video- und Audio-Video-Paare. Beim Training für lange Kontexte wurde die maximale Token-Länge von 8.192 auf 32.768 erhöht und zugleich mehr Material mit langen Audio- und Videosequenzen einbezogen. Das nachgelagerte Training umfasste überwachtes Feintuning, Destillation durch leistungsfähigere Lehrermodelle und eine Richtlinienoptimierung für Thinker, die sowohl Regeln als auch Modellbewertungen nutzte. Talker durchlief ein vierstufiges Verfahren mit Hunderten Millionen multimodaler Sprachbeispiele und kontinuierlichem Vortraining. Damit sollten Halluzinationen verringert und die Sprachqualität verbessert werden.

Für eine Modellfamilie mit 30 Milliarden Parametern sind die Fähigkeiten und Grenzen breit gefächert. Qwen3 Omni unterstützt 119 Sprachen bei Text, 19 bei Spracheingaben und 10 bei Sprachausgaben. Der Thinking-Modus ermöglicht ein Kontextfenster von 65.536 Tokens, der Non-Thinking-Modus unterstützt 49.152 Tokens. Das Modell unterstützt bis zu 16.384 Tokens für Eingaben und 16.384 Tokens für Ausgaben. Der längste Gedankengang kann 32.768 Tokens umfassen. Diese Größenordnung hilft bei komplexen Transkripten, langen Besprechungen oder Codebasen und Dokumenten, die andere Modelle ohne Aufteilung nicht bewältigen könnten.

Benchmarks, Stärken und Einordnung der Ergebnisse

Bei einer Auswahl von 36 Benchmarks erreicht Qwen3 Omni laut Alibaba in 22 Fällen einen Spitzenwert und ist bei 32 Tests führend unter den Open-Source-Modellen. Zu den Text- und Schlussfolgerungsergebnissen zählen 65,0 bei AIME25, deutlich mehr als der für GPT 4o veröffentlichte Wert von 26,7, sowie 76,0 bei ZebraLogic, über dem für Gemini 2.5 Flash veröffentlichten Wert von 57,9. Bei WritingBench erzielt das Modell 82,6 gegenüber 75,5 für GPT 4o. Bei Sprache und Audio liegen die Wortfehlerraten bei Wenetspeech bei 4,69 und 5,89 in zwei gängigen Testaufteilungen. Damit schneidet es deutlich besser ab als GPT 4o mit den gemeldeten Werten 15,30 und 32,27. Bei Librispeech other sinkt die Wortfehlerrate auf 2,48, einen niedrigen Wert im Vergleich zu anderen Modellen.

Zu den Ergebnissen bei Bildverarbeitung zählen 59,7 bei HallusionBench, 57,0 bei MMMU pro und 56,3 bei MathVision full. Laut Unternehmensbericht liegen alle drei Werte über denen von GPT 4o. Beim Videoverständnis erreicht das Modell 75,2 bei MLVU und übertrifft damit die angegebenen Werte für Gemini 2.0 Flash (71,0) und GPT 4o (64,6). Auch bei Musikaufgaben gibt es Zuwächse: 93,0 bei GTZAN und 52,0 bei RUL MuchoMusic. Das Gesamtbild dieser Zahlen entspricht dem Schwerpunkt des Designs. Qwen3 Omni setzt bei Audio- und audiovisuellen Aufgaben hohe Maßstäbe und behält zugleich starke Text- und Bildverarbeitungsfähigkeiten.

Benchmarks sind hilfreich, beruhen aber weiterhin auf kontrollierten Tests. Datensätze und Bewertungsmethoden können bestimmte Trainingsmischungen begünstigen. Im realen Einsatz kommen zusätzliche Belastungen hinzu, etwa rauschende Mikrofone, Akzente, unübersichtliche Handyaufnahmen und schnelle Kontextwechsel. Multimodale Modelle stehen zudem vor einem verbreiteten Zielkonflikt: Ein breites Training über verschiedene Modalitäten hinweg kann die Leistung bei reinen Textaufgaben gegenüber größeren, primär auf Text ausgerichteten Modellen geringfügig mindern. Teams sollten gezielte Pilotprojekte mit eigenen Daten durchführen und bei Bedarf eine Kombination verschiedener Modelle wählen. Viele Unternehmen verbinden ein kleineres multimodales Modell, das zuhört und hinschaut, mit einem größeren Textmodell, das Berichte oder E-Mails entwirft. Die offene Apache-Lizenz erleichtert eine solche Orchestrierung ohne aufwendige Beschaffungsprozesse.

Vergleich mit GPT 4o, Gemini 2.5 Pro und Gemma 3n

OpenAI setzte mit GPT 4o neue Erwartungen: Das Modell vereinte Text, Bild und Audio eng miteinander und ermöglicht eine natürliche Sprachausgabe. Qwen3 Omni ergänzt Videoanalyse als Eingabemöglichkeit. Google bietet mit Gemini 2.5 Pro ebenfalls Videoanalyse, das Modell bleibt jedoch proprietär. Mit Gemma 3n bietet Google außerdem ein offenes Modell an, das Text-, Bild-, Audio- und Videoeingaben akzeptiert, aber nur Text ausgibt. Qwen3 Omni kann dagegen Text und Sprache ausgeben. Das erweitert die Möglichkeiten interaktiver Anwendungen wie der Live-Übersetzung oder der Weiterleitung von Agenten in Callcentern.

Ein weiterer Unterschied liegt in der Lizenzierung. Qwen3 Omni wird unter Apache 2.0 mit einer Patentlizenz veröffentlicht. Unternehmen können das Modell dadurch nutzen, verändern und in Produkten bereitstellen, ohne Quellcode offenlegen oder Laufzeitgebühren zahlen zu müssen. Bei geschlossenen Modellen ist ein kostenpflichtiger Zugang erforderlich, und die Nutzung ist an die Plattform des Anbieters gebunden. Bei modernen offenen Veröffentlichungen gibt es allerdings eine wichtige Einschränkung: Gewichte und Nutzungscode sind offen, während das vollständige Rezept für einen Neuaufbau von Grund auf, einschließlich kuratierter Trainingsdaten, in der Regel nicht veröffentlicht wird. Für viele Anwender ist vor allem wichtig, das Modell ausführen, feinabstimmen und in der Produktion einsetzen zu können. Das ist hier möglich.

Die Latenz ist konkurrenzfähig. Alibaba gibt für das erste Audioausgabepaket rund 234 Millisekunden und für das erste Videoausgabepaket rund 547 Millisekunden an. Damit liegt das Modell auf dem Niveau der besten Konversationssysteme. Unternehmen müssen über die Zeit bis zum ersten Paket hinaus auch Service-Level-Ziele bewerten, darunter die Zeit bis zu stabilen Inhalten und die Gesamtdauer langer Antworten. Qwen3 Omni bietet zudem mit Flash eine API-Variante für noch schnellere Antworten, ähnlich den auf Geschwindigkeit ausgelegten Tarifen anderer Ökosysteme.

Zugang, Preise und kostenloses Kontingent

Entwickler können Qwen3 Omni auf verschiedene Arten ausprobieren. Die Modellgewichte sind auf großen Modellplattformen verfügbar. Die API ermöglicht den bedarfsgesteuerten Zugriff und bietet nach der Aktivierung 90 Tage lang ein kostenloses Kontingent von einer Million Tokens über alle Modalitäten hinweg. Abgerechnet wird pro 1.000 Tokens. Texteingaben kosten 0,00025 US-Dollar. Audioeingaben kosten 0,00221 US-Dollar. Bild- und Videoeingaben kosten 0,00046 US-Dollar. Textausgaben kosten 0,00096 US-Dollar pro 1.000 Tokens, wenn ausschließlich Texteingaben verwendet werden, und 0,00178 US-Dollar, wenn die Eingaben Bilder oder Audio enthalten. Bei Text- und Audioausgaben kostet der Audioteil 0,00876 US-Dollar pro 1.000 Tokens; der Textteil ist kostenlos.

Diese Preise sind im Vergleich zu vielen geschlossenen Angeboten niedrig und ermöglichen Experimente ohne hohe Kosten. Laut Unternehmen gelten für den Thinking- und den Non-Thinking-Modus dieselben Preise. Audioausgaben sind auf den Non-Thinking-Modus beschränkt. Die Plattform listet in Model Studio außerdem Kontextlimits und Modelloptionen auf. Unternehmen können dort Modelle nach Geschwindigkeit, Qualität und Kosten auswählen. Offizielle Details finden Sie auf den Seiten von Alibaba Cloud Model Studio unter diesem Link.

Einsatzmöglichkeiten von Support bis Medienwerkzeuge

Qwen3 Omni ist für Aufgaben gedacht, bei denen Sehen, Zuhören und Sprechen einen Unterschied machen. Einige Beispiele zeigen die Bandbreite:

• Technischer Live-Support. Ein Assistent kann das Kamerabild eines Smartphones verfolgen und gleichzeitig einem Kunden zuhören. Anschließend gibt er mit natürlicher Stimme Schritt-für-Schritt-Anweisungen.
• Mehrsprachige Transkription und Übersetzung. Das Modell transkribiert Besprechungen, Gespräche oder Vorlesungen in mehreren Sprachen und erstellt anschließend eine englische Zusammenfassung oder beantwortet Fragen in einer anderen Sprache per Sprachausgabe.
• Audiobeschreibungen und Musik-Tags. Die Captioner-Variante erstellt Audiobeschreibungen mit geringer Halluzinationsrate, einschließlich Angaben zu Hintergrundgeräuschen und musikalischen Eigenschaften. Das ist für die Suche und die Rechteverwaltung hilfreich.
• Videoverständnis. Das Modell kann Fragen zu Ereignissen in einem Clip beantworten, Abläufe verfolgen und Szenen zusammenfassen.
• Texterkennung und Dokumentenerfassung. Die Kombination aus Bildverarbeitung und Sprache hilft dabei, Felder aus Formularen oder Belegen auszulesen und anschließend im Kontext zu überprüfen.
• Assistenten für Verbraucher. Wearables oder Smartphones können das Modell für die Übersetzung von Speisekarten, die Erkennung von Sehenswürdigkeiten und Barrierefreiheitsfunktionen wie die Beschreibung der Umgebung nutzen.

Entwickler können Gesprächsstil und Persona mithilfe von System-Prompts feinabstimmen. Auch die Nutzung von Tools wird unterstützt: Das Modell kann externe Dienste für Abrufe, Berechnungen oder Datenbankabfragen aufrufen. Das ermöglicht agentenähnliche Abläufe, bei denen das Modell plant, Tools aufruft und per Sprache Bericht erstattet.

Lizenzierung und Bedeutung für Unternehmen

Die Apache-2.0-Lizenz ist ein wesentlicher Teil der Geschichte. Sie erlaubt die kommerzielle Nutzung, Veränderung und Weiterverbreitung und umfasst eine Patentlizenz, die die rechtlichen Risiken bei der Integration des Modells in proprietäre Systeme verringert. Unternehmen können Qwen3 Omni in Produkte oder interne Abläufe integrieren, ohne Anbietergebühren zu zahlen. Außerdem müssen sie ihre Änderungen nicht als Open Source veröffentlichen. Das ist für regulierte Branchen attraktiv, in denen die Kontrolle über Datenübertragung und Protokollierung erforderlich ist. Dank der offenen Gewichte ist auch ein Einsatz vor Ort oder das Hosting in einer vertrauenswürdigen Cloud möglich.

Eine offene Veröffentlichung löst nicht automatisch alle Bedenken. Trainingsdaten und der vollständige Trainingscode sind in der Regel nicht enthalten, sodass die Community den gesamten Entwicklungsprozess nicht reproduzieren kann. Für viele Unternehmen ist das akzeptabel, da es vor allem darum geht, das Modell auszuführen, anzupassen und Service-Level-Ziele einzuhalten. Die Veröffentlichung stärkt das Argument für Modellstapel aus mehreren Modellen. Teams können ein schnelles offenes multimodales Modell mit einem größeren proprietären Modell kombinieren, wenn das sinnvoll ist, oder alles offen halten, um Plattformbeschränkungen zu vermeiden. So oder so erweitert ein video- und sprachfähiges Modell unter einer freizügigen Lizenz die Möglichkeiten, ohne langwierige Verhandlungen.

Risiken, Schutzmaßnahmen und nächste Prüfschritte

Multimodale Modelle werfen Sicherheitsfragen auf, die über Text hinausgehen. Audio- und Videoeingaben können sensible Informationen enthalten. Sprachausgaben können irreführend sein, wenn sie nicht auf Fakten gestützt oder gefiltert werden. Alibaba beschreibt einen Prüfschritt, bei dem externe Module Thinkers Ausgaben abfangen können, bevor Talker Sprache erzeugt. Dieses Design ermöglicht Richtlinienprüfungen, Abrufe oder Filter aus Red-Team-Tests. Unternehmen sollten die Inhaltssicherheit dennoch in ihrer eigenen Umgebung und Region prüfen. Dazu gehören Schutzmaßnahmen gegen Prompt-Injection, Datenschutzkontrollen und die Einwilligung in Aufzeichnungen oder Analysen.

Leistungsangaben sollten anhand echter Daten überprüft werden. Akzente, Fachjargon und Hintergrundgeräusche können die Qualität der automatischen Spracherkennung beeinträchtigen. Geringe Beleuchtung oder Bewegungsunschärfe kann das Bildverständnis verschlechtern. Der Einsatz von Tools und die Orchestrierung von Agenten bringen neue Fehlerquellen mit sich, etwa falsche Tool-Aufrufe oder Endlosschleifen. Für Protokollierung, menschliche Überprüfung und Rollback sind Governance-Richtlinien erforderlich. Schließlich spielt auch die Infrastruktur eine Rolle. Sprachverarbeitung in Echtzeit erfordert bei großem Umfang eine sorgfältige Planung von Durchsatz, GPU-Speicher und Lastabwurf. Mixture of Experts trägt zur Effizienz bei, doch Teams müssen Cluster und Caches auf Lastspitzen und lange Kontexte auslegen.

Wichtige Punkte

• Alibaba hat Qwen3 Omni als offenes Modell unter Apache 2.0 veröffentlicht. Es verarbeitet Text-, Bild-, Audio- und Videoeingaben und gibt Text sowie Sprache aus.
• Das System kombiniert Thinker und Talker mit Mixture of Experts, um parallele Verarbeitung und Sprachstreaming mit geringer Latenz zu ermöglichen.
• Die gemeldete Latenz bis zum ersten Ausgabepaket beträgt etwa 234 Millisekunden bei Audio und etwa 547 Millisekunden bei Video. Der Echtzeitfaktor liegt unter 1.
• Es gibt drei Varianten: Instruct für die vollständige Interaktion, Thinking für tiefgehende Schlussfolgerungen mit Textausgabe und Captioner für Audiobeschreibungen.
• Das Training umfasst einen eigens entwickelten Audio Transformer, der mit rund 20 Millionen Stunden Material trainiert wurde, sowie einen multimodalen Korpus mit rund 2 Billionen Tokens.
• Laut den vom Unternehmen veröffentlichten Benchmarks liegt Qwen3 Omni bei vielen Audio-, Video- und Schlussfolgerungstests vorn und bleibt bei Text und Bildverarbeitung konkurrenzfähig.
• Die Preise pro 1.000 Tokens sind niedrig. Über die API gibt es 90 Tage lang ein kostenloses Kontingent von einer Million Tokens; die Modellgewichte sind für selbst gehostete Installationen verfügbar.
• Die Apache-2.0-Lizenz ermöglicht die kommerzielle Nutzung, Veränderung und Weiterverbreitung und umfasst eine Patentlizenz, die die Abhängigkeit von Anbietern verringert.
• Unternehmen sollten Sicherheit, Latenz und Genauigkeit mit echten Daten testen und Governance sowie Infrastruktur für Echtzeit-Anwendungen einplanen.