DeepSeek OCR komprimiert Text zu Bildern, um KI-Kosten zu senken und den Kontext zu erweitern

Ein neuer Weg, lange Dokumente in den KI-Kontext einzupassen

DeepSeek hat DeepSeek-OCR veröffentlicht, ein Vision-Language-System, das lange Textpassagen komprimiert, indem es sie in Bilder umwandelt und den Inhalt bei Bedarf wiederherstellt. Je nach Einstellungen und Dokumenttyp verringert dieser Ansatz die Zahl der Tokens, die ein großes Sprachmodell verarbeiten muss, um das Sieben- bis Zwanzigfache. Bei moderater Kompression bleibt die Präzision hoch. DeepSeek zufolge erreicht das System bei einer Kompression um den Faktor zehn eine Dekodierungsgenauigkeit von etwa 97 Prozent und liefert auch bei höheren Kompressionsraten noch brauchbare Ergebnisse. Das Projekt umfasst den Code und die Modellgewichte, steht Entwicklern zur Verfügung und zielt auf einen der kostspieligsten Engpässe der modernen KI: die Verarbeitung langer Kontexte zu vertretbaren Kosten.

Das System arbeitet in zwei Stufen. Ein Vision-Encoder namens DeepEncoder wandelt Textseiten, Tabellen, Diagramme und andere Layouts in eine kompakte Menge von Vision-Tokens um. Anschließend dekodiert ein leichtgewichtiges Sprachmodell, DeepSeek3B MoE A570M, diese Tokens zurück in strukturierten Text. Dieser Aufbau bewahrt bei Bedarf Layouts und Formatierungen, unterstützt zahlreiche Sprachen und kann Klartext oder strukturierte Ergebnisse wie Markdown-Tabellen ausgeben.

Warum das wichtig ist, hängt mit Tokens zusammen, den grundlegenden Einheiten, die Sprachmodelle lesen und schreiben. Mehr Tokens bedeuten einen höheren Speicherbedarf und längere Latenzzeiten, was die Kosten in die Höhe treibt. Außerdem haben Modelle feste Grenzen dafür, wie viel Kontext sie auf einmal erfassen können. Indem DeepSeek-OCR den Kontext als Bilder speichert und über Vision-Tokens wieder darauf zugreift, bietet es eine kostengünstigere Speicherebene für lange Sitzungen und große Dokumente. Dadurch könnte sich das effektive Kontextfenster weit über das hinaus erweitern, was allein mit Text möglich ist.

Die Skalierbarkeit ist ein zentrales Versprechen. Für das Training wurden rund 30 Millionen PDF-Seiten in knapp 100 Sprachen verwendet, ergänzt durch synthetische Daten für Diagramme, Formeln und Abbildungen. Für den Betrieb gibt das Team an, dass eine einzelne Nvidia-A100-GPU täglich mehr als 200.000 Seiten verarbeiten kann. Ein Cluster aus 20 vergleichbaren Servern kann diese Zahl auf rund 33 Millionen Seiten pro Tag steigern. Diese Werte deuten auf schnelle Verarbeitungspipelines für die Digitalisierung von Dokumenten und die Erzeugung großer Trainingsdatensätze hin.

Wie die Umwandlung von Text in Bilder die Tokenzahl senkt

Sprachmodelle verarbeiten Eingaben als Tokens, nicht als Wörter oder Zeichen. Ein typischer Artikel oder Bericht kann in Tausende Tokens zerlegt werden. Die Aufmerksamkeitsmechanismen der meisten Transformer vergleichen viele Token-Paare, und der Aufwand steigt mit zunehmender Sequenzlänge schnell an. Lange Kontexte erhöhen den Speicherbedarf und die Verarbeitungszeit; bei großem Umfang wird das zu einer Kostenfrage.

Was sind Tokens und Kontextfenster?

Tokens sind sprachliche Einheiten, die Modelle verstehen. Ein kurzes Wort kann aus einem Token bestehen, ein längeres Wort kann in mehrere zerlegt werden, und auch Satzzeichen zählen. Die maximale Zahl an Tokens, die ein Modell gleichzeitig berücksichtigen kann, wird Kontextfenster genannt. Viele Dateien aus der Praxis überschreiten dieses Limit. Nutzer müssen Dokumente deshalb entweder kürzen oder hohe Kosten für spezielle Modelle mit langem Kontext in Kauf nehmen.

Warum Pixel bei der Speicherung günstiger sein können als Text

Vision-Encoder zerlegen ein Bild in ein kleineres Raster aus Bildausschnitten und komprimieren dieses Raster anschließend zu einer Menge von Vision-Tokens. Der Encoder von DeepSeek nutzt einen Kompressionsblock, um die Tokenzahl zu verringern, bevor er die Merkmale an den Decoder weitergibt. In einem Beispiel aus den technischen Erläuterungen wird ein Bild mit 1.024 mal 1.024 Pixeln zunächst in 4.096 Patch-Tokens zerlegt. Vor der Weitergabe an die Vision-Language-Pipeline wird diese Zahl auf 256 komprimierte Tokens reduziert. Wenn diese 256 Tokens den Kern einer dichten Seite erfassen, die andernfalls 1.500 oder mehr Text-Tokens umfassen würde, ergibt sich sofort eine Ersparnis.

Der Kompromiss ist einfach: Statt lange Kontexte als Text-Tokens zu speichern, legt das System Momentaufnahmen als kompakte Vision-Tokens ab und rekonstruiert ihre Bedeutung bei Bedarf. So bleibt der Speicherbedarf im Rahmen, Layouts und Diagramme lassen sich besser bewahren und einige Eigenheiten von Text-Tokenizern umgehen. Zusätzlichen Aufwand verursachen die Kodierungs- und Dekodierungsschritte; bei sehr hohen Kompressionsraten geht zudem nach und nach Präzision verloren.

Ein Blick auf DeepEncoder und den Decoder

DeepEncoder verbindet zwei bekannte Ansätze: lokale Wahrnehmung und globales Verständnis. Er verwendet ein Segment-Anything-Model-Backbone für feinkörnige Bereiche und Kanten sowie ein CLIP-ähnliches Modul für das übergeordnete semantische Layout. Dazwischen sitzt ein Faltungs-Kompressor, der die Zahl der Vision-Tokens drastisch senkt, bevor sie an das Sprachmodell weitergegeben werden. Der Encoder unterstützt mehrere Auflösungsmodi. So können Nutzer ein Token-Budget wählen, das zur Komplexität der jeweiligen Seite passt. Einfache Folien kommen mit wenigen Tokens aus. Dicht bedruckte Nachrichtenseiten oder komplexe wissenschaftliche Abbildungen können mehr benötigen.

Der Decoder ist ein Mixture-of-Experts-Sprachmodell mit einer Architektur aus drei Milliarden Parametern, von denen pro Token etwa 570 Millionen aktiv sind. Durch die Expertenauswahl kann sich das Modell auf unterschiedliche Inhaltstypen konzentrieren, ohne für jedes Token alle drei Milliarden Parameter zu verwenden. Das spart Rechenleistung und hält zugleich die Qualität hoch. Das System kann Klartext ausgeben, die Struktur als Markdown bewahren und Daten aus Tabellen und Diagrammen in maschinenlesbare Formate übertragen. Es unterstützt mehrsprachige OCR und kann Diagramme, chemische Strukturen und geometrische Abbildungen interpretieren.

Zu den Voreinstellungen gehören Tiny, Small, Base und Large sowie ein dynamischer Modus für besonders komplexe Seiten. Die Voreinstellungen stimmen Bildgröße und Tokenzahl aufeinander ab. DeepSeek empfiehlt, bei typischen Seiten mit Small zu beginnen und erst dann eine höhere Stufe zu wählen, wenn der Inhalt dicht oder das Layout anspruchsvoll ist.

Was Benchmarks und Präzisionswerte zeigen

Kompression ist nur dann nützlich, wenn der Decoder den Text originalgetreu wiederherstellen kann. Bei Kompressionsraten unter dem Faktor zehn gibt DeepSeek für Dekodierungstests eine Genauigkeit von etwa 97 Prozent an. Bei einer Kompression um den Faktor zwanzig sinkt sie auf rund 60 Prozent. Das Team zeigt außerdem Beispiele, in denen 100 Vision-Tokens Dokumente repräsentieren, die sonst 700 bis 800 Text-Tokens benötigt hätten. In einem gezielten Benchmark liegt die Präzision dabei weiterhin bei rund 97 Prozent. Diese Werte stützen die Aussage, dass eine moderate Kompression das beste Verhältnis zwischen Einsparungen und Genauigkeit bietet.

Beim verbreiteten Dokumentenverständnistest OmniDocBench schneidet das Modell besser ab als bekannte OCR-Systeme und benötigt dabei weniger Tokens. Der Tokenbedarf hängt von der Dokumentkategorie ab. Für Folien und einfache Broschüren können etwa 64 Vision-Tokens pro Seite ausreichen. Bei Magazinen oder Zeitungen mit vielen Spalten und Bildern können es mehrere Hundert sein. Je nach Nutzereinstellung kann das System die Formatierung bewahren oder entfernen.

Die Angaben zur Leistung sind ambitioniert. Das Team nennt mehr als 200.000 verarbeitete Seiten pro Tag mit einer einzelnen Nvidia-A100-Karte und rund 33 Millionen Seiten pro Tag auf einem Cluster aus 20 Servern. Der Trainings- und Inferenzcode sowie die Modellgewichte sind unter einer freizügigen Lizenz verfügbar. Das ermöglicht schnelle Experimente in Forschung und Produktion.

Was das für KI-Kosten, Speicher und Produktdesign bedeuten könnte

Viele KI-Produkte stoßen an ihre Grenzen, wenn Gespräche oder Dokumentenketten lang werden. Werden frühere Inhalte als Vision-Tokens gespeichert, erhalten Modelle eine günstigere Speicherebene. Ein System kann ältere Gesprächsbeiträge zu Bildern zusammenfassen oder komprimieren und Details erst bei Bedarf dekodieren. So bleibt der aktive Textkontext schlank, während Fakten, Zitate und Layouts aus früheren Phasen weiterhin abrufbar sind. Zudem können Modelle Seiten mit komplexen Tabellen oder mathematischen Inhalten besser verarbeiten, mit denen herkömmliche Tokenizer Schwierigkeiten haben.

Für Nutzer eröffnet das praktische Arbeitsabläufe. Ein Assistent kann vollständige PDFs, Verträge und Tabellenkalkulationen einlesen, eine kompakte Gedächtnisrepräsentation behalten und auf Nachfrage bestimmte Abschnitte samt Struktur wiederherstellen. Zeilen aus einer Tabelle zu kopieren oder eine Bildunterschrift zu extrahieren wird einfacher, weil der Decoder die Struktur rekonstruiert und nicht nur rohe Zeichen. Das deutet auch auf eine effiziente Unternehmenssuche hin, die komprimierte Seitenabbilder indexiert und Ausschnitte bei Bedarf dekodiert.

Für Entwickler und Forschende zählt der Durchsatz. Das System kann große Trainingskorpora für Sprach- und Visionsmodelle erzeugen und pro GPU täglich Hunderttausende Seiten verarbeiten. Diese Geschwindigkeit hilft dabei, überwachte Daten kostengünstiger zu erstellen. Branchen, die auf Diagramme und Formulare angewiesen sind, etwa Finanzwesen, Gesundheitswesen und Wissenschaft, könnten von schnelleren Digitalisierungspipelines profitieren, die Strukturen besser bewahren. Wenn komprimierte Ausgaben jedoch in künftige Trainingsläufe einfließen, ist Vorsicht geboten: Kleine Dekodierungsfehler können sich bei großem Umfang zu fehlerhaften Labels summieren.

Grenzen, Risiken und offene Fragen

Eine stärkere Kompression senkt zwar den Tokenbedarf, verringert aber die Wiedergabetreue. Bei einer Kompression um den Faktor zwanzig sinkt die angegebene Genauigkeit auf etwa 60 Prozent. Viele Aufgaben vertragen kleinere Fehler. Bei Namen, Zahlen und Vertragsklauseln ist dagegen eine nahezu fehlerfreie Wiederherstellung erforderlich. Nutzer brauchen daher Regeln, die für wichtige Seiten niedrigere Kompressionsstufen vorsehen und starke Kompression nur für Inhalte zulassen, die nicht exakt wiedergegeben werden müssen.

Auch die Frage des Schlussfolgerns stellt sich. Modelle können gut mit Text-Tokens argumentieren, weil sie darauf trainiert wurden. Vision-Tokens bringen andere induktive Vorannahmen mit sich. Der Decoder muss zunächst den Text rekonstruieren, bevor das Modell darüber schlussfolgern kann. Dieser zusätzliche Schritt könnte Aufgaben beeinträchtigen, die auf langen Gedankengängen beruhen. Teams sollten mehrstufiges Schlussfolgern testen, wenn wichtige Informationen hinter der Bildebene liegen, und für Aufgaben mit hohen Präzisionsanforderungen Ausweichlösungen vorsehen.

Latenz und Infrastrukturplanung bleiben relevant. Die zusätzlichen Kodierungs- und Dekodierungsschritte verursachen Aufwand. Die Einsparungen machen sich erst bei großen Dokumenten oder langen Gesprächen bemerkbar. Bei Bereitstellungen sollten Laufzeit, Speicherbedarf und Kosten für verschiedene Dokumenttypen verglichen werden, um festzulegen, wann komprimiert und wann Rohtext übergeben wird. Auch die Speicherformate ändern sich: Bilder oder bildähnliche Tensoren ersetzen reine Textdateien, was sich auf Abrufsysteme und Compliance-Prozesse auswirken kann.

Datenschutz und Sicherheit verdienen besondere Aufmerksamkeit. Die Kompression sensibler Dateien in Bilder oder Vision-Tokens beseitigt Risiken nicht. Zugriffskontrollen, Verschlüsselung und Prüfpfade müssen auch für den komprimierten Speicher gelten. Bei manchen Dokumenten, etwa niedrig aufgelösten Scans oder schwer lesbarer Handschrift, stößt das Modell weiterhin an seine Grenzen. Eine dynamische Auswahl des Modus und eine menschliche Prüfung bleiben bei kritischen Arbeitsabläufen sinnvoll.

DeepSeek OCR jetzt ausprobieren

Die Projektseite auf Hugging Face bietet Modellkarten, Kurzanleitungen und Downloads. Code und Modellgewichte sind außerdem unter einer freizügigen Lizenz, die akademische und kommerzielle Nutzung abdeckt, auf GitHub verfügbar. Entwickler können hier starten: Hugging-Face-Modellseite und hier: GitHub-Repository.

Die Referenzkonfiguration nennt Python 3.12.9 und CUDA 11.8. Zu den Abhängigkeiten gehören PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict und Flash Attention. Für eine hohe Geschwindigkeit wird eine Nvidia-GPU empfohlen. Mit den Voreinstellungen können Nutzer den Detailgrad gegen die Kosten abwägen. Für übliche Geschäftsdokumente ist Small ein sinnvoller Ausgangspunkt. Dichte wissenschaftliche oder juristische Seiten profitieren möglicherweise von einer höheren Auflösung oder dem dynamischen Modus.

Ein typischer Arbeitsablauf wandelt ein PDF in Seitenbilder um, übergibt jede Seite mit einer gewählten Auflösung an DeepEncoder und dekodiert anschließend die resultierenden Vision-Tokens mit dem Sprachmodell. Die Ausgaben können als Klartext für die Suche oder als Markdown mit erhaltenen Tabellen und Abschnittsüberschriften vorliegen. Das GitHub-Repository enthält Skripte für die Stapelverarbeitung und Hinweise zum Durchsatz. Teams sollten die Genauigkeit bei höheren Kompressionsraten überwachen und wichtige Seiten mit konservativen Einstellungen verarbeiten.

Wichtige Punkte

• DeepSeek-OCR komprimiert lange Texte, indem es sie als Bilder speichert und den Inhalt bei Bedarf mit einem Decoder wiederherstellt.
• Je nach Einstellungen und Dokumentkomplexität sinkt der Tokenbedarf etwa auf ein Siebtel bis ein Zwanzigstel.
• Die angegebene Dekodierungspräzision liegt bei einer Kompression um den Faktor zehn bei etwa 97 Prozent und bei einer Kompression um den Faktor zwanzig bei rund 60 Prozent.
• Die Architektur kombiniert DeepEncoder mit einem Mixture-of-Experts-Decoder, der pro Token etwa 570 Millionen Parameter aktiviert.
• Die Modi reichen von Tiny bis Large und umfassen eine dynamische Option für besonders komplexe Seiten. So können Nutzer das Token-Budget gezielt festlegen.
• Benchmarks zeigen starke Ergebnisse bei OmniDocBench und einen geringeren Tokenbedarf als bei verbreiteten OCR-Vergleichssystemen.
• Zu den Angaben zum Durchsatz gehören mehr als 200.000 Seiten pro Tag auf einer einzelnen Nvidia-A100-GPU und rund 33 Millionen Seiten pro Tag auf einem Cluster aus 20 Servern.
• Zu den strukturierten Ausgaben gehören Markdown-Tabellen und Diagrammdaten; außerdem werden Diagramme, Formeln und zahlreiche Sprachen unterstützt.
• Open-Source-Code und Modellgewichte sind unter einer freizügigen Lizenz auf Hugging Face und GitHub verfügbar.
• Geeignete Einsatzgebiete sind kostengünstigere Speicherlösungen für lange Kontexte, die Digitalisierung großer Dokumentenmengen und die Erzeugung von Trainingsdaten. Bei Aufgaben mit hohen Präzisionsanforderungen sind jedoch sorgfältige Einstellungen nötig.