Alibaba veröffentlicht Qwen3-Next als Open Source: schnelleres und günstigeres KI-Modell, das auf Consumer-Hardware läuft

Ein schnelleres und günstigeres Modell für Entwickler und Unternehmen

Alibaba Cloud hat eine neue Familie großer Sprachmodelle unter einer neuen Architektur namens Qwen3-Next als Open Source veröffentlicht. Das Spitzenmodell Qwen3-Next-80B-A3B verfügt über 80 Milliarden Parameter, bietet aber Designentscheidungen, mit denen das System deutlich schneller und kostengünstiger läuft als frühere Qwen-Modelle. Alibaba zufolge benötigte das Training des neuen Basismodells weniger als ein Zehntel der Rechenleistung von Qwen3-32B, einem dichten Vorgängermodell, das im April veröffentlicht wurde. Zugleich erreicht die neue Reihe bei vielen Aufgaben die Qualität des größeren Modells Qwen3-235B des Unternehmens.

Alibaba stellt die Modelle Entwicklern als Open Source zur Verfügung. Sie können über große Modellplattformen und Alibabas eigene Cloud heruntergeladen und per API genutzt werden. Das Unternehmen positioniert Qwen als schnell wachsendes Entwickler-Ökosystem. Diese Strategie entspricht einem breiteren Trend chinesischer KI-Unternehmen, hochwertige Modelle zu veröffentlichen, die andere prüfen und weiterentwickeln können. So lässt sich die Verbreitung fördern, ohne auf massive zentralisierte Infrastruktur angewiesen zu sein.

Neben der behaupteten Effizienz beim Training zielt Qwen3-Next auf Geschwindigkeit und die Verarbeitung langer Kontexte zur Inferenzzeit. In von Alibaba veröffentlichten Tests erreicht die Architektur bei Prompts mit mehr als 32.000 Tokens einen über zehnmal höheren Durchsatz als frühere Qwen-Versionen. Das Kontextfenster umfasst 256.000 Tokens und kann unter bestimmten Bedingungen auf eine Million Tokens erweitert werden. Damit eignen sich die Modelle besser für Dokumente in Buchlänge, große Code-Repositories und andere umfangreiche Eingaben.

Was sich bei Qwen3-Next unter der Haube ändert

Diese Generation führt mehrere Komponenten ein, die sich bei fortgeschrittener KI zunehmend etablieren. Das Herzstück ist ein sparsames Mixture-of-Experts-Modell (MoE): Dabei werden viele kleine Expertennetzwerke trainiert, von denen für jedes Token nur einige wenige zum Einsatz kommen. Qwen3-Next kombiniert dies mit einem hybriden Aufmerksamkeitsmechanismus für lange Sequenzen, der Vorhersage mehrerer Tokens zur Beschleunigung der Generierung und Anpassungen beim Training, die Instabilitäten beim Reinforcement Learning (RL) verringern. Beim Modell Qwen3-Next-80B-A3B-Base sind pro Schritt nur etwa 3 Milliarden Parameter aktiv, obwohl das Modell insgesamt 80 Milliarden Parameter umfasst.

Alibaba zufolge erreicht das Basismodell eine ähnliche und mitunter bessere Qualität als das dichte Qwen3-32B, benötigt für das Training aber weniger als 10 Prozent dessen GPU-Rechenzeit. Bei der Inferenz hält die Architektur den Rechenaufwand gering und bewahrt zugleich ihre Kapazität. Deshalb berichtet das Team von deutlichen Geschwindigkeitssteigerungen bei langen Kontexten und einem günstigeren Kostenprofil sowohl für Cloud- als auch für Consumer-Hardware.

Mixture of Experts einfach erklärt

Bei einem Mixture-of-Experts-Modell lernt das Netzwerk viele spezialisierte Teilmodelle, sogenannte Experten. Ein einfaches Gating-Modul entscheidet, welche Experten für jedes Token herangezogen werden. Qwen3-Next nutzt eine hohe Sparsität, das heißt, dass jeweils nur ein kleiner Teil der Experten aktiv ist. Berichten zufolge gibt es in einigen Schichten 512 Experten, von denen pro Token 10 aktiv sind. Dadurch sind Rechen- und Speicheraufwand bei jedem Vorwärtsdurchlauf mit denen eines deutlich kleineren dichten Netzwerks vergleichbar, während die Gesamtheit der Experten dem Modell eine hohe Kapazität verleiht.

Der Nachteil ist eine höhere Komplexität beim Training sowie die Notwendigkeit, die Auslastung zu steuern, damit die Experten gleichmäßig eingesetzt werden. Alibaba zufolge hat das Unternehmen Stabilitätsprobleme behoben, die oft auftreten, wenn ein sparsames MoE mit einer Feinabstimmung im RL-Stil kombiniert wird. Für Entwickler ist entscheidend, dass die Laufzeitkosten mit der Zahl der aktiven Parameter skalieren und nicht mit der Gesamtzahl aller Parameter.

Hybride Aufmerksamkeit und lange Kontexte

Aufmerksamkeitsschichten sind Bestandteile eines Transformers, die es dem Modell ermöglichen, Eingabetokens zu berücksichtigen und zu entscheiden, was wichtig ist. Bei längeren Eingaben wird herkömmliche Aufmerksamkeit teuer, weil der Aufwand mit dem Quadrat der Sequenzlänge wächst. Qwen3-Next kombiniert herkömmliche Aufmerksamkeit mit Methoden, die den Kontext ressourcenschonender annähern. Das Team beschreibt die Kombination als Gated DeltaNet mit klassischer Aufmerksamkeit. Das Ergebnis sind ein höherer Durchsatz bei langen Eingaben und weniger Leistungseinbußen, wenn Prompts wachsen. Alibaba berichtet von einem mehr als zehnmal höheren Durchsatz bei Kontextlängen über 32.000 Tokens, einem standardmäßigen Kontextfenster von 256.000 Tokens und einer Erweiterungsmöglichkeit auf eine Million Tokens für Sonderfälle. In bestimmten Szenarien meldet das Team zudem annähernd lineare Skalierungsvorteile, darunter ein bis zu etwa siebenmal schnelleres Prefill und ein etwa viermal schnelleres Decoding bei kürzeren Kontexten.

Vorhersage mehrerer Tokens und Decoding

Bei der Vorhersage mehrerer Tokens versucht das Modell, mehrere Folgetokens auf einmal zu erraten, und korrigiert sie anschließend, falls die Schätzung falsch war. In Kombination mit spekulativem Decoding verringert das die Zahl der rechenintensiven Vorwärtsdurchläufe, die zum Streamen einer Antwort nötig sind. Qwen3-Next unterstützt diesen Ansatz und lässt sich in verbreitete Inferenz-Stacks wie SGLang und vLLM integrieren. Das trägt dazu bei, die Latenz in Produktivdiensten gering zu halten. Das Team nennt außerdem Zero Centered RMSNorm und weitere Optimierungen, die das Training stabilisieren. Zusammen mit dem sparsamen MoE ermöglicht dies eine schnellere Generierung ohne größere Einbußen bei der Qualität.

Zwei Modellvarianten für Anweisungen und Schlussfolgerungen

Zum Start stellte Alibaba zwei nachtrainierte Modelle auf Basis des Grundmodells bereit. Qwen3-Next-80B-A3B-Instruct ist auf die Befolgung alltäglicher Anweisungen, Chats und die Nutzung von Tools ausgerichtet. In Unternehmenstests kommt es bei vielen allgemeinen Aufgaben dem Flaggschiffmodell mit 235 Milliarden Parametern nahe und zeigt seine Stärken bei Prompts mit sehr langem Kontext von bis zu 256.000 Tokens.

Qwen3-Next-80B-A3B-Thinking ist auf komplexe Schlussfolgerungen abgestimmt. Alibaba hebt Ergebnisse hervor, die über denen der eigenen Qwen3-Modelle der mittleren Leistungsklasse liegen und bei mehreren ausgewählten Benchmarks auch das geschlossene Modell Gemini 2.5 Flash Thinking übertreffen. Das Unternehmen nennt einen Wert von 60,8 Prozent bei SuperGPQA, einem anspruchsvollen Testdatensatz auf Graduiertenniveau. Benchmarks liefern nützliche Anhaltspunkte. Käufer sollten die Modelle dennoch mit eigenen domänenspezifischen Anwendungen testen, etwa für Programmierung, Retrieval-Augmented Generation, Mathematik und mehrstufige Planung.

Geschwindigkeit, Kosten und Hardwarebedarf

Die wichtigsten Verbesserungen betreffen sowohl Kosten als auch Zeit. Alibaba zufolge wurde das Training des Basismodells mit weniger als 10 Prozent des Rechenaufwands von Qwen3-32B abgeschlossen. Bei der Inferenz sind pro Token nur etwa 3 Milliarden Parameter aktiv. Das Modell kann daher mit geringerem GPU-Speicherbedarf und Energieverbrauch antworten. So ist für eine bestimmte Dienstleistung weniger Hardware nötig oder es lassen sich auf derselben Ausstattung mehr Anfragen verarbeiten.

Bei langen Prompts spielt die Architektur ihre Stärken aus. Alibaba berichtet von einem um eine Größenordnung höheren Durchsatz bei Eingaben mit mehr als 32.000 Tokens und deutlichen Verbesserungen auch bei kürzeren Sequenzen, darunter ein etwa siebenmal schnelleres Prefill und ein etwa viermal schnelleres Decoding in einigen Tests. Mit einem Kontextfenster von 256.000 Tokens können Analysten ganze Verträge, Transkripte oder große Codedateien in einer Anfrage eingeben und das Modell anschließend um eine Zusammenfassung, einen Vergleich oder Änderungsvorschläge bitten. Das Unternehmen betont, dass die neue Reihe auf den Einsatz auf Consumer-Hardware abgestimmt ist. Anspruchsvolle Prototypen benötigen damit keine großen Cluster mehr.

Verfügbarkeit und Zugang

Die Qwen3-Next-Modelle sind breit verfügbar. Sie finden sich auf gängigen Modellplattformen wie Hugging Face und ModelScope und können auch über Alibaba Cloud Model Studio für einen verwalteten Betrieb genutzt werden. Nutzer können gehostete Endpunkte aufrufen oder die Gewichte für die lokale Inferenz herunterladen. Die Reihe ist außerdem über den NVIDIA API Catalog verfügbar. Einige Varianten gibt es zudem auf Kaggle, wo sie sich einfacher ausprobieren lassen.

Die Veröffentlichung ergänzt Angebote wie Qwen3-ASR-Flash, eine Komponente zur Transkription von Sprache, die dem Team zufolge elf wichtige Sprachen unterstützt. Alibaba empfiehlt Entwicklern, die Lizenzbedingungen der einzelnen Modelle zu prüfen, insbesondere bei hoher Auslastung oder kommerzieller Nutzung, und die Modelle anschließend mit eigenen Datensätzen und Anwendungen zu testen. Die Unterstützung von Inferenz-Frameworks wie SGLang und vLLM sowie hardwarefreundliche Aktivierungsmuster sollen den Weg vom Demo-Prototyp zu einem zuverlässigen Dienst verkürzen.

Wie dies den Wettbewerb im KI-Bereich neu ordnet

Der Schritt unterstreicht den breiteren Wettbewerb zwischen KI-Laboren weltweit: Leistungsfähige Modelle sollen zu geringeren Kosten einer breiten Nutzung zugänglich werden. Chinesische Unternehmen treiben Open-Source-KI energisch voran, um ihre Verbreitung zu fördern und bei der Leistungsfähigkeit zu westlichen Wettbewerbern aufzuschließen. Alibaba zufolge ist das Qwen-Ökosystem zu einer der größten Open-Source-Communities für Entwickler geworden. Die Gruppe gab außerdem einen Ausblick auf Qwen3-Max, ein Modell mit mehr als einer Billion Parametern, das kürzlich auf der von Forschern betriebenen Chatbot-Rangliste LMArena den sechsten Platz belegte. Neben Alibaba veröffentlichen auch Unternehmen wie DeepSeek und Meituan wettbewerbsfähige Modelle und Dienste.

Günstigere und schnellere Basismodelle sind wichtig, weil Rechenleistung knapp und teuer ist. Exportbeschränkungen für fortgeschrittene Chips erhöhen den Druck in China, und auch viele Teams in den Vereinigten Staaten und Europa sind von GPU-Knappheit betroffen. Architekturen, bei denen die meisten Parameter während der Inferenz inaktiv bleiben, ermöglichen es kleineren Laboren, Start-ups und Hochschulen, hochwertige Modelle auf bescheideneren Servern zu betreiben. Auch Investoren beobachten die Entwicklung. Die Alibaba-Aktie hat sich in diesem Jahr besser entwickelt, während das Unternehmen seinen Fokus wieder stärker auf Cloud und KI richtet. Mit der zunehmenden Nutzung von Open-Source-KI im Arbeitsalltag werden sich die Auswirkungen auf den Wettbewerb weiter ausbreiten.

Benchmarks, Transparenz und sorgfältige Bewertung

Modell-Ranglisten sind nützlich, können aber Zielkonflikte verschleiern. Geschwindigkeitswerte hängen von Batch-Größe, Framework, Quantisierung und Hardware ab. Die Genauigkeit variiert je nach Anwendungsbereich, Prompt-Stil und dem Einsatz von Tools wie Code-Interpreter oder Retrieval. Auch die von Anbietern verwendeten Testsammlungen sind selbst zusammengestellt. Unabhängige Tests durch Community-Gruppen und Kunden zeichnen in der Regel ein vollständigeres Bild von Stärken und Schwächen.

Teams, die Qwen3-Next bewerten, sollten mehr als nur einen einzelnen Benchmark-Wert prüfen. Sie sollten die Genauigkeit bei langen Kontexten, die Tool-Nutzung, die Zuverlässigkeit bei Mathematik und Programmierung sowie das Verhalten des Modells unter Sicherheitsvorgaben messen. Speicherbedarf und Durchsatz sollten bei den relevanten Kontextlängen erfasst werden. Bei Anwendungen, die fundierte Antworten erfordern, sollte das Modell mit Retrieval kombiniert und sollten die Belegspuren geprüft werden. Wer auf eine konsistente Gedankenkette angewiesen ist, sollte die Thinking-Variante mit dem derzeitigen Stack vergleichen.

Anwendungsfälle und Branchen mit möglichem Nutzen

Qwen3-Next scheint für Anwendungen entwickelt worden zu sein, die lange Kontexte, schnelle Antworten und eine strenge Kostenkontrolle erfordern. Rechts- und Finanzteams können große Dokumentenmengen analysieren und maßgeschneiderte Zusammenfassungen erstellen, die Quellenangaben erhalten. Verantwortliche im Kundendienst können Wissensdatenbanken und umfangreiche Anleitungen zur Fehlerbehebung in einem Assistenten bündeln, der Informationen aus Tausenden Seiten miteinander verknüpft. Softwareteams können Code-Repositories und Protokolle eingeben, um Code-Reviews, Refactorings und die Erstellung von Tests zu unterstützen.

Forschende können umfangreiche Fachartikel und Datensätze hochladen, um Methoden und Ergebnisse zu vergleichen. Medien- und Bildungsanbieter können Audio mit Qwen3-ASR-Flash transkribieren und übersetzen lassen und anschließend mit dem Sprachmodell Lernmaterialien oder Inhaltsübersichten erstellen. Behörden und regulierte Branchen, die einen lokalen Betrieb voraussetzen, profitieren davon, ein leistungsfähiges Modell auf handelsüblichen Servern ausführen zu können, ergänzt durch sorgfältige Überwachung, Audit-Protokollierung und Inhaltsfilter.

Das Wichtigste

• Alibaba hat Qwen3-Next veröffentlicht und die Modellfamilie Qwen3-Next-80B-A3B als Open Source bereitgestellt.
• Das Training benötigte weniger als 10 Prozent der Rechenleistung von Qwen3-32B, während das Modell in Tests gleichauf lag oder besser abschnitt.
• Dank eines sparsamen Mixture-of-Experts-Modells sind pro Token nur etwa 3 Milliarden von insgesamt 80 Milliarden Parametern aktiv.
• Bei Prompts mit mehr als 32.000 Tokens steigt der Durchsatz um mehr als das Zehnfache. Das Kontextfenster umfasst 256.000 Tokens.
• Unter bestimmten Bedingungen lässt es sich auf eine Million Tokens erweitern. Für kürzere Kontexte wurden Verbesserungen bei Prefill und Decoding gemeldet.
• Zwei nachtrainierte Varianten decken die Befolgung von Anweisungen und komplexe Schlussfolgerungen ab. Unternehmenstests zufolge übertreffen sie einige geschlossene Wettbewerbsmodelle.
• Die Modelle sind über Hugging Face, ModelScope, Alibaba Cloud Model Studio und den NVIDIA API Catalog verfügbar.
• Der Open-Source-Zugang und der geringere Hardwarebedarf erleichtern Start-ups, Unternehmen und Forschungseinrichtungen die Nutzung.