Baidu stellt quelloffene multimodale KI vor, die laut Unternehmen GPT-5 und Gemini bei visuellen Benchmarks übertrifft

Ein neuer Open-Source-Herausforderer im Bereich multimodale KI

Baidu hat ein neues multimodales Modell als Open Source veröffentlicht: ERNIE 4.5 VL 28B A3B Thinking, ein System mit 28 Milliarden Parametern, das Bilder, Videos, Dokumente und Text verarbeitet. Nach Angaben des Unternehmens übertrifft es führende proprietäre Modelle bei visuell anspruchsvollen Benchmarks und benötigt dabei weniger Ressourcen. Die Lizenz Apache 2.0 erlaubt die uneingeschränkte kommerzielle Nutzung. Sollte sich die Aussage in unabhängigen Tests bestätigen, könnte Baidu zu einem wichtigen Anbieter von Modellen für visuelles Schlussfolgern in Unternehmen werden, die auf gängiger Hardware laufen.

ERNIE 4.5 VL 28B A3B Thinking aktiviert pro Token etwa 3 Milliarden Parameter, also nur einen kleinen Teil der Gesamtzahl. Möglich macht das eine Mixture-of-Experts-Architektur, die jede Eingabe an die jeweils relevantesten Expertinnennetzwerke weiterleitet. Diese selektive Aktivierung verringert den Rechen- und Speicherbedarf, während die Kapazität eines deutlich größeren Modells erhalten bleibt. Baidu zufolge lässt sich das Modell auf einer einzelnen GPU mit 80 GB ausführen und erzielt dennoch starke Ergebnisse beim Dokumentenverständnis, bei der Diagramminterpretation und beim komplexen visuellen Schlussfolgern.

Das herausragende Merkmal nennt Baidu „Thinking with Images“. Beim Schlussfolgern kann das Modell in ein Bild hinein- und herauszoomen, kleine Bereiche nach Hinweisen absuchen und lokale Erkenntnisse mit der Gesamtszene verknüpfen. Das ähnelt der menschlichen Herangehensweise an visuelle Probleme und verbessert Aufgaben wie das Lesen komplexer technischer Diagramme, das Erkennen von Fehlern in einer Produktionslinie oder das Auffinden konkreter Referenzen wie des blauen Steckverbinders unter der zweiten Schraube.

Baidu hebt außerdem ein präziseres visuelles Grounding, eine bessere Befolgung von Anweisungen bei Bildaufgaben, den Einsatz von Werkzeugen einschließlich der Bildersuche sowie ein robustes Videoverständnis mit zeitlicher Einordnung hervor. Zum Modell gehören Integrationspakete für Transformers, vLLM und FastDeploy sowie ein Toolkit für Training und Feinabstimmung namens ERNIEKit. In einem umkämpften Feld, in dem die meisten führenden Bild-Sprach-Systeme proprietär bleiben, eröffnet diese Veröffentlichung Entwicklern und Unternehmen eine neue Open-Source-Option mit einer wirtschaftsfreundlichen Lizenz.

Was das Modell können soll

Baidu fasst die Fähigkeiten des Modells in sechs Bereiche zusammen: visuelles Schlussfolgern, Problemlösung in den MINT-Fächern, visuelles Grounding, Tool-Integration, Videoverständnis und dynamische Bildanalyse. In der Praxis kann das System demnach Rechnungen oder Finanzberichte lesen und zusammenfassen, Diagramme und Tabellen analysieren, Schaltpläne und Geometrieaufgaben erschließen, auf Nachfrage präzise Objekte oder Bereiche in einem Bild markieren, externe Werkzeuge zum Abruf von Referenzbildern aufrufen und Ereignisse über mehrere Videosequenzen hinweg verfolgen.

In den von Baidu veröffentlichten Ranglisten wird das Modell bei einer Reihe von Tests mit visuellem Schwerpunkt gleichauf mit oder vor Versionen von OpenAI GPT-5 High und Google Gemini 2.5 Pro eingeordnet. Dazu gehören Tests zur Beantwortung von Diagrammfragen, zum Dokumentenverständnis und zum mehrstufigen visuellen Schlussfolgern. Das Unternehmen verweist auch auf Geschwindigkeitsvorteile und gibt an, dass die Inferenz zwei- bis dreimal schneller sei als bei vergleichbaren Modellen mit ähnlicher Genauigkeit.

Unabhängige Labore haben diese Diagramme bislang nicht überprüft. Benchmark-Sammlungen belohnen oft das Wiedererkennen von Mustern, bestimmte Prompt-Formate oder eng umrissene Tricks statt Zuverlässigkeit in unübersichtlichen realen Einsatzumgebungen. Unternehmen, die ERNIE 4.5 VL 28B A3B Thinking prüfen, sollten gezielte Pilotprojekte mit eigenen Dokumenten, Lichtverhältnissen, Kamerawinkeln und Sicherheitsrichtlinien durchführen, bevor sie sich für den Produktiveinsatz entscheiden.

Doch auch mit dieser Einschränkung deckt das Modell ein breites Aufgabenspektrum ab. Die Kombination aus Schlussfolgern, Grounding und Werkzeugeinsatz macht es zu einem Kandidaten für agentenbasierte Abläufe: etwa zum Lesen eingehender Versicherungsansprüche, zum Erkennen von Auffälligkeiten im Lagerbetrieb oder zur Unterstützung von Technikern bei der Fehlersuche anhand annotierter Fotos und kurzer Videos.

Wie ein 28B-Modell auf einer einzelnen GPU mit 80 GB läuft

Der Schlüssel ist Mixture of Experts, eine Architektur, bei der zahlreiche spezialisierte Teilnetzwerke hinter einem Router angeordnet sind. Für jedes Token oder jeden Bildausschnitt wählt der Router eine kleine Anzahl von Expertinnen und Experten zur Aktivierung aus. Nur diese berechnen die jeweilige Eingabe. So verhält sich das System bei jedem einzelnen Schritt wie ein kleines Modell, während der gesamte Expertenpool über viele Schritte und Aufgaben hinweg eine größere Kapazität bereitstellt. Diese Struktur steigert den Durchsatz, weil bei einer einzelnen Operation die meisten Parameter inaktiv bleiben.

Die selektive Aktivierung senkt den Speicherbedarf und die Rechenkosten. Ein dichtes Modell mit 28 Milliarden Parametern würde für eine brauchbare Geschwindigkeit deutlich leistungsfähigere Hardware benötigen. Da Baidu pro Token rund 3 Milliarden Parameter aktiviert, kann das Unternehmen die Inferenz des Bild-Sprach-Modells auf einer einzelnen GPU anbieten. Das macht Tests auch für viele Labore zugänglich. Der Nachteil ist eine höhere Komplexität: Entwickler brauchen einen schnellen und ausgewogenen Router, einen sorgfältigen Lastausgleich und stabile Trainingsverfahren, damit nicht nur wenige Expertinnen und Experten die gesamte Arbeit übernehmen.

Schlussfolgern mit Bildern und präzises Grounding

Klassische Bild-Sprach-Modelle nehmen ein Bild mit fester Auflösung entgegen und geben eine Textantwort aus. „Thinking with Images“ ergänzt diesen Ablauf um eine Planungsschleife. Das Modell zerlegt eine Frage in Schritte, schlägt vor, wo es als Nächstes hinschauen soll, schneidet einen Bereich in hoher Auflösung aus, liest darin Text oder vermisst geometrische Formen und passt anschließend seinen Plan an. Dieser Vorgang wiederholt sich, bis genügend Hinweise für eine Antwort vorliegen. Bei Aufgaben, die auf eine Markierung zielen, funktioniert das auch umgekehrt: Wörter werden auf Pixelpositionen abgebildet und als Rahmen oder Maske eingezeichnet.

Besseres Grounding ist bei unübersichtlichen oder technischen Bildern wichtig. In der Fertigung können zwei Teile fast identisch aussehen, bis man näher heranzoomt. Bei technischen Zeichnungen kann schon eine wenige Pixel große Notation die Bedeutung eines Symbols verändern. In der medizinischen Bildgebung können kleinste Artefakte eine Diagnose beeinflussen. Ein System, das zwischen dem Kontext der Gesamtszene und feinen Details wechseln und die einzelnen Schritte erläutern kann, bietet Anwendern eine nachvollziehbarere Prüfkette und eine Möglichkeit, Fehler zu korrigieren.

Benchmarks und reale Arbeitslasten

Die Diagramme von Anbietern fassen häufig Ergebnisse aus vielen unterschiedlichen Tests zusammen. Manche Benchmarks verwenden saubere Bilder mit perfekt zugeschnittenen Ausschnitten. Andere stellen Fragen, die bereits in den Trainingsdaten vorkommen. Im echten Einsatz gibt es Spiegelungen, Bewegungsunschärfe, ungewöhnliche Schriftarten, Verdeckungen und mehrsprachige Beschriftungen. Die Leistung kann stark schwanken, wenn Eingaben außerhalb der Trainingsverteilung liegen. Deshalb sollte die Behauptung, GPT-5 oder Gemini in ausgewählten Tests zu übertreffen, als Ausgangspunkt und nicht als abschließendes Urteil gelten.

Zuverlässiger ist eine aufgabenspezifische Bewertung. Für Dokumente können Teams einige hundert repräsentative Dateien zusammenstellen und die Genauigkeit bei der Extraktion einzelner Felder anhand einer von Menschen geprüften Musterlösung messen. Für visuelle Aufgaben lassen sich Produktionsbedingungen simulieren und anschließend Präzision und Trefferquote bei Rahmen oder Masken erfassen. Für Diagramme können synthetische Grafiken mit Sonderfällen wie logarithmischen Skalen oder gestapelten Datenreihen erstellt werden. So entsteht ein klareres Bild vom Verhalten des Modells und seinen Fehlerquellen.

Trainingsverfahren und Entwickler-Stack

Bei den ERNIE-4.5-Modellen kombiniert der Trainingsprozess klassisches überwachtetes Lernen mit bestärkendem Lernen für multimodale Aufgaben. In der Dokumentation werden Verfahren namens GSPO und IcePop erwähnt, die den Router stabilisieren und die Gestaltung von Belohnungen beim Training eines MoE verbessern sollen. Hinzu kommt eine dynamische Auswahl nach Schwierigkeitsgrad, sodass das Modell mit zunehmendem Lernfortschritt schwierigere Beispiele erhält. Dadurch kann das System mehrstufige Schlussfolgerungen über Bilder, Diagramme und Videos planen, statt in einem einzigen Durchlauf zu raten.

Die Modellfamilie umfasst reine Textmodelle und Bild-Sprach-Varianten, von sehr kleinen dichten Modellen bis zu riesigen MoE-Systemen mit insgesamt Hunderten Milliarden Parametern. Baidu zufolge ermöglicht die Architektur, Parameter über Modalitäten hinweg gemeinsam zu nutzen. So können Text- und Bildkomponenten voneinander profitieren, ohne die Sprachqualität zu beeinträchtigen. Training und Inferenz laufen auf der Plattform des Unternehmens, PaddlePaddle. Das Team berichtet von einer hohen Hardwareauslastung bei großem Maßstab.

Für Entwickler stellt Baidu verschiedene Werkzeuge bereit. ERNIEKit unterstützt Feinabstimmung, Präferenzoptimierung und Quantisierung für eine ressourcenschonende Bereitstellung. Das Bild-Sprach-Modell lässt sich über verbreitete Stacks wie Transformers und vLLM bereitstellen; die Inferenz im Produktivbetrieb kann FastDeploy übernehmen. Die Lizenz Apache 2.0 beseitigt viele Einschränkungen für die kommerzielle Nutzung. Die offizielle Modellseite ist auf Hugging Face verfügbar; der Code und die Rezepte finden sich im Baidu-GitHub-Repository.

Bedeutung für Unternehmen

Die offene Lizenz und die Inferenz auf einer einzelnen GPU machen das Modell für Teams interessant, die eine private visuelle KI vor Ort einsetzen möchten, ohne Daten an einen Cloud-Anbieter zu senden. Branchen mit vielen Dokumenten können eine intelligente Erfassung von Verträgen, Rechnungen und Schadensmeldungen erproben. Hersteller können Stationen zur Qualitätskontrolle einrichten, die visuelle Erkennung mit sprachlicher Anleitung für Beschäftigte an der Produktionslinie verbinden. Einzelhandel und Logistik können Grounding nutzen, um Artikel in Lagern zu finden und Etiketten zu überprüfen. Kundenservice-Teams können Chat-Antworten ergänzen, indem sie eingebettete Diagramme oder Screenshots auslesen.

Auch die Kosten spielen eine Rolle. Viele Organisationen können keine GPU-Cluster der H100-Klasse für eine einzelne Anwendung reservieren. Ein System, das auf einer Karte mit 80 GB läuft, senkt die Einstiegshürde für Pilotprojekte und erste Einsätze. Die Kombination aus Grounding, Werkzeugeinsatz und Videoverständnis eignet sich außerdem für agentenbasierte Abläufe: Das Modell liest, sucht, klickt und zieht über mehrere Schritte hinweg Schlussfolgerungen, um eine Aufgabe zu erledigen. Das passt zum Trend hin zu computerbedienenden Agenten, die mit herkömmlichen Benutzeroberflächen statt mit eigens entwickelten APIs arbeiten.

Der größere Wettbewerb: offene Modelle gegen proprietäre Dienste

Die Veröffentlichung fällt in ein geschäftiges Jahr für offene Modelle. DeepSeek stellte ein sehr großes MoE-Sprachmodell mit insgesamt Hunderten Milliarden Parametern vor, von denen pro Token nur einige Dutzend Milliarden aktiv sind. Das Unternehmen meldete starke Ergebnisse bei allgemeinen Benchmarks zu einem Bruchteil der Trainingskosten geschlossener Systeme. Alibaba Marco o1 setzte beim Schlussfolgern auf Verfahren wie feinabgestimmte Gedankengänge und suchgestützte Planung, um offene Aufgaben ohne eindeutige numerische Belohnungen zu bewältigen.

Chinesische Labore, darunter Baidu, Alibaba und andere, veröffentlichen zunehmend leistungsfähige Modelle unter permissiven Lizenzen. Der offene Zugang ermöglicht regionalen Entwicklern, mit weniger Abhängigkeit von proprietären Diensten zu arbeiten. Zugleich steigt der Druck auf globale Anbieter, höhere Preise mit klaren Vorteilen bei Zuverlässigkeit, Werkzeugen oder Integrationen zu rechtfertigen. In vielen Bereichen, insbesondere bei spezialisierten Aufgaben wie Diagrammanalyse und Dokumentenextraktion, ist der Leistungsabstand zwischen offenen und geschlossenen Modellen kleiner geworden.

Grenzen und offene Fragen

Es gibt Zielkonflikte. Für die besten Ergebnisse benötigt das Bild-Sprach-Modell weiterhin eine GPU mit 80 GB, womit viele Verbrauchergeräte ausscheiden. Das Kontextfenster ist mit 128K Tokens angegeben. Das ist für lange PDFs hilfreich, aber weiterhin begrenzt, wenn zahlreiche Bilder, OCR-Text und Anweisungen zusammenkommen. Das Routing bei MoE kann den Einsatz im großen Maßstab erschweren, da Entwickler die Auslastung der Expertinnen und Experten überwachen und durch Routing-Hotspots verursachte Latenzspitzen vermeiden müssen.

Sicherheit bleibt ein zentrales Thema. Bildsysteme können durch adversariale Muster oder Scheinkorrelationen getäuscht werden. Ein Modell, das aktiv Bildausschnitte erstellt und hineinzoomt, muss Bestätigungsfehler vermeiden, bei denen der Plan immer wieder den falschen Bereich untersucht. Unternehmen werden klare Prüfprotokolle für jeden Schritt der Gedankenkette erwarten, wenn das Modell im Denkmodus arbeitet, oder zumindest strukturierte Aufzeichnungen zu Werkzeugaufrufen und Begrenzungsrahmen. Baidu zufolge wurde das Modell multimodal mit bestärkendem Lernen trainiert und auf Grounding ausgerichtet. Um Vertrauen aufzubauen, sind jedoch umfassende Bewertungen durch Dritte nötig.

Die wichtigsten Punkte

• Baidu hat ERNIE 4.5 VL 28B A3B Thinking veröffentlicht, ein multimodales Open-Source-Modell unter Apache 2.0 für die kommerzielle Nutzung.
• Das Modell soll GPT-5 High und Gemini 2.5 Pro bei visuell anspruchsvollen Benchmarks übertreffen; eine unabhängige Überprüfung steht noch aus.
• Es nutzt eine Mixture-of-Experts-Architektur und aktiviert pro Token etwa 3 Milliarden von insgesamt 28 Milliarden Parametern, um Rechen- und Speicherbedarf zu senken.
• Die Inferenz kann auf einer einzelnen GPU mit 80 GB laufen, was die Hürden für Pilotprojekte und Tests vor Ort senkt.
• Zu den herausragenden Funktionen gehören „Thinking with Images“ zum Hineinzoomen und Untersuchen von Bildern, präziseres visuelles Grounding und Videoverständnis.
• Sechs Kernfähigkeiten zielen auf visuelles Schlussfolgern, MINT-Aufgaben, Grounding, Werkzeugeinsatz, Videoanalyse und dynamische Bildplanung.
• Das Training umfasst multimodales bestärkendes Lernen mit GSPO und IcePop sowie eine dynamische Auswahl nach Schwierigkeitsgrad zur Stabilisierung des MoE.
• Zu den Entwicklerwerkzeugen zählen ERNIEKit, die Kompatibilität mit Transformers, vLLM und FastDeploy sowie eine öffentliche Modellseite und ein Code-Repository.
• Mögliche Einsatzgebiete reichen von der Dokumentenverarbeitung über die Qualitätskontrolle in der Fertigung und den Lagerbetrieb bis zum Kundenservice.
• Zu den Einschränkungen zählen der Bedarf an einer GPU mit 80 GB, ein Kontextfenster von 128K, die Komplexität des MoE-Routings sowie offene Fragen zu Robustheit und Sicherheit.