DeepSeek: Die Trainingskosten von 294.000 Dollar erklärt – warum R1 tatsächlich Millionen kostete

Warum ein Preisschild von 294.000 Dollar die KI-Welt überraschte

Als DeepSeek in der Fachzeitschrift Nature eine von Experten begutachtete Studie zu seinem Reasoning-Modell R1 veröffentlichte, fiel eine Zahl besonders auf: 294.000 Dollar. Schlagzeilen erweckten den Eindruck, das Flaggschiffmodell sei für einen Bruchteil dessen trainiert worden, was US-amerikanische Konkurrenten Berichten zufolge ausgegeben hatten. Die Zahl stimmte, bezog sich aber nur auf einen eng begrenzten Teil der Arbeit. Sie deckte eine abschließende Phase des Reinforcement Learnings ab, in der die schrittweise Argumentation des Modells verfeinert wurde. Nicht enthalten waren die Monate des Vortrainings eines deutlich größeren Basismodells, auf dem R1 aufbaut.

Die Leistung von R1 beruht auf DeepSeek V3, einem großen Sprachmodell, das mit einem umfangreichen Korpus auf einem großen Rechencluster trainiert wurde. Erst nachdem dieses kostspielige Fundament geschaffen war, setzte das Team Reinforcement Learning ein, um das Modell zu besserer Logik und Problemlösung anzuleiten. Dass der letzte Schritt mit dem gesamten Projekt verwechselt wurde, machte aus einem spezifischen Kostenposten eine Schlagzeile.

Der Unterschied ist wichtig. Ein Modell, das bei Programmierung und Mathematik mit den besten Systemen mithalten kann, entsteht nicht an einem Wochenende auf ein paar Chip-Racks. Dafür braucht es lang anhaltende Rechenleistung, eine umfangreiche Aufbereitung der Daten, wiederholte Experimente, sorgfältige Sicherheitsprüfungen und Evaluationen sowie eine abschließende Optimierungsphase. Die Nature-Studie gewährte einen wertvollen Einblick in diese letzte Phase. Sie macht den enormen Aufwand davor nicht ungeschehen.

Was in der Nature-Studie tatsächlich steht

Das Begleitmaterial zu R1 beschreibt einen Reinforcement-Learning-Lauf auf 512 Nvidia-H800-GPUs. Es nennt eine anfängliche Trainingsphase für R1 Zero von etwa 198 Stunden und weitere 80 Stunden bis zur veröffentlichten Version von R1. Außerdem verzeichnete das Team rund 5.000 GPU-Stunden zur Erzeugung der im Verfahren verwendeten Präferenzdaten. Zu üblichen Mietpreisen für Beschleuniger der H800-Klasse kosten diese Schritte zusammen knapp 300.000 Dollar. Diese Zahl steht nicht für den gesamten Zeit- und Rechenaufwand, der nötig ist, um ein hochmodernes Modell von Grund auf zu entwickeln.

Die Studie erläutert auch den Hardware-Kontext. DeepSeek trainierte R1 hauptsächlich auf H800-Chips, die Nvidia für China entwickelte, nachdem US-Exportbestimmungen den Zugang zu leistungsstärkeren Beschleunigern eingeschränkt hatten. Das Team räumte ein, für Vorarbeiten mit einem kleineren Modell A100-GPUs eingesetzt zu haben, bevor es für den zentralen Reinforcement-Learning-Lauf von R1 auf H800s wechselte. Die technischen Einzelheiten und Kostenangaben können in den von der Fachzeitschrift veröffentlichten, begutachteten Unterlagen nachgelesen werden: Nature.

Die tatsächliche Rechnung für R1 beginnt mit dem Vortraining von V3

Die eigenen Unterlagen von DeepSeek verweisen auf den größten Kostenblock: das Vortraining des Basismodells V3, auf dem R1 aufbaut. V3 wurde etwa zwei Monate lang auf 2.048 H800-GPUs trainiert. Das entspricht rund 2,79 Millionen GPU-Stunden. Bei einer konservativen Annahme von etwa 2 Dollar pro GPU-Stunde für Hardware dieser Klasse kostet allein der Vortraining-Lauf rund 5,58 Millionen Dollar. Rechnet man die etwa 294.000 Dollar für Reinforcement Learning und die zugehörige Datenerzeugung hinzu, belaufen sich die Rechenkosten bis zur veröffentlichten Version von R1 auf knapp 5,87 Millionen Dollar.

Diese Schätzung entspricht der Darstellung in der Studie, wonach die 294.000 Dollar für R1 zusätzlich zu den Kosten des Basismodells anfielen. Sie steht auch im Einklang mit externen Analysen, die den gesamten Rechenaufwand für R1 in einer ähnlichen Größenordnung wie bei anderen großen offenen Modellen verorten. Im Vergleich zu den kolportierten Budgets für die größten geschlossenen Systeme wirkt das noch immer schlank, ist aber weit entfernt von dem Schnäppchen, das eine einzelne Schlagzeile über weniger als 300.000 Dollar nahelegte.

Wie sich GPU-Stunden berechnen

GPU-Stunden sind ein einfaches Maß für Rechenleistung: Eine GPU, die eine Stunde lang läuft, entspricht einer GPU-Stunde. Die Gesamtzahl eines Trainingslaufs ergibt sich aus der Zahl der GPUs multipliziert mit den erfassten Stunden. Die Kosten hängen davon ab, was diese Stunden am Markt kosten, entweder als Cloud-Miete oder durch Abschreibung und Betrieb eigener Hardware. Wer über Monate mehr als 2.000 Beschleuniger mietet, zahlt stundenweise. Wer denselben Cluster kauft, muss das Kapital vorab aufbringen und anschließend für Strom, Kühlung, Platz und Wartung zahlen.

Ein Cluster dieser Größenordnung zu kaufen, wäre für einen einzelnen Lauf deutlich teurer als ihn zu mieten. Die Ausstattung mit 2.048 GPUs der H800-Klasse, Netzwerktechnik und Servern würde zu den aktuellen Marktpreisen weit mehr als 51 Millionen Dollar kosten. Nicht eingerechnet wären dabei Entwicklungszeit, Datenlizenzen, Evaluationsarbeit, Speicherplatz und die vielen gescheiterten Experimente, die einer erfolgreichen Veröffentlichung vorausgehen. Die Zahl von 5,87 Millionen Dollar lässt sich am besten als Kosten der großen, erfolgreichen Trainingsläufe verstehen, nicht als Gesamtkosten der Forschung, die sie ermöglicht hat.

Reinforcement Learning ist der Feinschliff, nicht die ganze Arbeit

Reinforcement Learning verändert das Verhalten eines trainierten Modells, indem gewünschte Ergebnisse belohnt werden. Im R1-Projekt setzte DeepSeek ein Verfahren ein, bei dem Antworten bewertet und das Modell auf Lösungen ausgerichtet wurden, die zu korrekten Ergebnissen führten. Forschende bezeichnen diesen Ansatz als reines Reinforcement Learning. Er benötigt keine von Menschen verfassten Gedankengänge. Das Modell erkundet und testet eigene Lösungswege, erhält eine Rückmeldung zur Richtigkeit und verbessert nach und nach seine interne Strategie zum logischen Schlussfolgern.

Dieser Feinschliff ist wertvoll. Er kann die Leistung bei mathematischen, programmiertechnischen und wissenschaftlichen Aufgaben steigern, bei denen ein überprüfbares Ergebnis zählt. Zugleich ist er deutlich günstiger als das Vortraining. Der größte Aufwand steckt weiterhin in den monatelangen Lernprozessen, die dem Basismodell Sprachwissen und breite Fähigkeiten vermittelt haben. Das Reinforcement Learning formt diese Fähigkeiten anschließend für konkrete Ziele wie schrittweises Schlussfolgern und den Einsatz von Werkzeugen.

Chips, Exportbestimmungen und die tatsächlich verwendete Hardware

DeepSeek trainierte unter eingeschränkter Chipversorgung. Die USA beschränkten den Export leistungsstarker Beschleuniger nach China. Deshalb taucht in den Unterlagen von DeepSeek immer wieder der H800 auf, eine für den Export angepasste, leistungsschwächere Version von Nvidias Rechenzentrums-GPU. In der Branche wurde spekuliert, Forschende in China hätten Wege gefunden, Zugang zu schnelleren Chips zu erhalten. Auch Unternehmensangaben wurden Zeile für Zeile nach Hinweisen auf die Hardware-Herkunft durchsucht. Für die Kostenfrage ist jedoch klarer, was zählt: Die Reinforcement-Learning-Phase von R1 lief auf einem Cluster mit 512 H800s, während für frühere Vorarbeiten auch A100s zum Einsatz kamen.

In seinem Begleitdokument räumte das Team dies ein. Die Forschenden erläuterten die Rolle der A100s in der Einrichtungsphase vor den zentralen R1-Läufen auf H800s.

Die DeepSeek-Forschenden schrieben: „Für unsere Forschung zu DeepSeek-R1 haben wir A100-GPUs genutzt, um die Experimente mit einem kleineren Modell vorzubereiten.“

Dieses Detail hilft zu erklären, wie sowohl das abschließende Budget als auch die Mischung der eingesetzten Chips stimmen können. Die H800s flossen in die Kostenrechnung des zentralen Reinforcement-Learning-Laufs ein, während die A100s bei früheren Experimenten zum Einsatz kamen, die den Ansatz prägten.

War DeepSeek deutlich günstiger als westliche Konkurrenten?

Die gesamten Rechenkosten für R1 liegen eher bei 6 Millionen als bei 300.000 Dollar. Das ist noch immer nur ein Bruchteil der kolportierten Ausgaben in dreistelliger Millionenhöhe für führende geschlossene Systeme. Gemessen an der Zahl der Beschleuniger und der Trainingsdauer liegt R1 zudem in derselben Gewichtsklasse wie große offene Modelle wie Metas Llama 4, selbst wenn diese Programme mehr Tokens verwendeten. Der Abstand ist interessant, bedeutet aber keine Revolution, die die Kosten der gesamten Entwicklungskette um eine Größenordnung senkt.

Ein Grund, warum viele DeepSeek weiterhin als Kostensenkungsführer sehen, ist, wie das Team trotz der Einschränkungen möglichst viel aus den Chips herausholte. Das Unternehmen skalierte eine Mixture-of-Experts-Architektur, bei der für jedes Token nur eine kleine Teilmenge der Parameter aktiviert wird. Das erhöht den Durchsatz pro GPU-Stunde. Außerdem setzte das Team bei der Inferenz auf längere Denkprozesse, wodurch sich ein Teil des Aufwands vom Vortraining zur späteren Nutzung verlagert.

Forschende diskutierten auch über Datenquellen und den Wissenstransfer zwischen Modellen. DeepSeek nutzte in Teilen seines Modell-Ökosystems Destillation: Dabei erzeugt ein leistungsstarkes Modell Antworten, mit denen ein kleineres oder günstigeres Modell trainiert wird. Das Unternehmen erklärte, das Basismodell V3 habe aus einem Web-Crawl gelernt, der KI-generierte Inhalte enthält. Dazu können auch Ausgaben anderer Systeme zählen. Die Studie stellt dies als beiläufige Übernahme und nicht als gezieltes Kopieren von Schlussfolgerungswegen dar. Diese technische Unterscheidung ist für Juristen und politische Entscheidungsträger wichtig, aber auch für diejenigen, die Kosten schätzen und wissen wollen, wie weit sich mit weniger Tokens und geringerer Rechenleistung kommen lässt.

Was Fachleute zu Kosten und Zugang sagen

Wissenschaftler haben zu einer nüchternen Einordnung der DeepSeek-Zahlen aufgerufen. Sie würdigen die tatsächliche Ingenieursleistung, warnen aber vor vereinfachenden Kostenvergleichen. Geringere Trainingsbudgets könnten dem Markt zugutekommen, wenn dadurch der Zugang günstiger wird. In Schlagzeilenzahlen fehlen jedoch häufig die Kosten für Personal, Experimente und Infrastruktur.

Umar Iqbal, Assistenzprofessor für Informatik und Ingenieurwissenschaften an der Washington University in St. Louis, argumentierte, Kostensenkungen könnten den Zugang erweitern. Zugleich wies er auf die Risiken für Datenschutz und Sicherheit bei KI in der Cloud hin.

Iqbal sagte: „Damit Technologien breite Anwendung finden, müssen sie erschwinglich sein.“ Günstigere Entwicklung könne mehr Experimente in großem Maßstab ermöglichen. Zugleich warne er, dass cloudbasierte KI-Dienste ernsthafte Fragen zur Datenkontrolle und zum Datenschutz aufwerfen.

Auch Befürworter von DeepSeeks technischem Ansatz warnten, die weit verbreiteten Trainingssummen seien eine unvollständige Vergleichsgrundlage. Sie verweisen auf wiederholte Trainingsläufe, Optimierungszyklen und Datenarbeit, die in einem einzelnen durchgängigen Trainingslauf nicht enthalten sind.

Daten, Destillation und die wahrscheinlichen Inhalte der Trainingsdaten

Bei der Destillation dienen Antworten eines leistungsstärkeren Systems dazu, ein Zielmodell anzuleiten. Entwickler können Millionen hochwertiger Frage-Antwort-Paare, Programmierabläufe oder Beispiele für Gedankengänge erzeugen und ein Modell anschließend darauf abstimmen, dieses Verhalten nachzubilden. So lässt sich die Qualität steigern, ohne die kostspieligsten Teile des Vortrainings zu wiederholen. Das ist ein wichtiger Grund dafür, dass kleinere Teams in Bereichen wie Mathematik und Programmierung an bestimmte Fähigkeiten größerer Labore herankommen oder diese erreichen können.

DeepSeek erklärte, einige destillierte Varianten seiner Modellfamilie griffen auf Open-Source-Systeme wie Metas Llama zurück. Für V3 beschrieb das Unternehmen einen umfangreichen Web-Crawl, der große Mengen KI-generierter Antworten enthielt. Dieser Weg birgt Chancen und Risiken. Er kann das Erlernen verbreiteter Muster beschleunigen, zugleich aber unbekannte Lizenzprobleme und Qualitätsmängel mit sich bringen. Die Nature-Studie veranlasste die Fachwelt, mehr Klarheit darüber zu verlangen, wann welche Daten genutzt wurden und welche Teile der Entwicklungskette auf synthetischen Labels beruhten.

Warum die Schlagzeile über 294.000 Dollar die Runde machte und warum das wichtig ist

Die Zahl von 294.000 Dollar ließ sich leicht vermitteln und war dramatisch genug, um die Märkte zu bewegen. Bereits im Januar hatten die ersten Veröffentlichungen von DeepSeek die Sorge ausgelöst, ein kostengünstiger Konkurrent könnte US-amerikanische Marktführer unterbieten. Anleger verkauften Aktien von Chipherstellern und KI-Partnern. Die begutachtete Studie belebte diese Erzählung mit einer einfachen Zahl, die sich schneller verbreitete als die Fußnoten. Viele Leser und auch einige Journalisten behandelten Reinforcement Learning als die ganze Geschichte.

Die Studie sorgte für mehr als nur Aufregung. Mit konkreten Zahlen und Methodenangaben in einer öffentlich zugänglichen wissenschaftlichen Veröffentlichung setzte sie einen Maßstab für Transparenz. Die Gutachter drängten DeepSeek, anthropomorphe Formulierungen zurückzunehmen und Angaben zu Sicherheit, Datenquellen und Rechenaufwand zu präzisieren. Das ist gut für die Wissenschaft und die Branche. So kann die Fachwelt besser verstehen, welche Methoden den größten Nutzen brachten und welche Kosten sich nur schwer senken lassen.

Was das für KI-Kosten und den Wettbewerb bedeutet

Die Wirtschaftlichkeit der Modellentwicklung verändert sich. Nach Jahren der Skalierung legen viele Teams inzwischen mehr Gewicht auf Feinabstimmung und darauf, Modellen mehr Zeit zum Nachdenken zu geben, statt nur die Datensatzgröße und die Zahl der Parameter zu erhöhen. Dadurch verlagert sich ein Teil der Kosten nachgelagert in die Inferenz: Das Modell denkt länger über jede Anfrage nach und benötigt pro Antwort mehr Rechenleistung. Der Zugang für Endnutzer kann dennoch günstiger werden, sofern Effizienzgewinne den zusätzlichen Aufwand für das Schlussfolgern übertreffen.

DeepSeeks Mixture-of-Experts-Architektur, der Einsatz von Reinforcement Learning für Schlussfolgerungen und die gezielte Destillation sind Teil eines branchenweiten Trends zu modularerer Entwicklung. Modelle lernen voneinander, kleinere Teams bauen auf größeren Basismodellen auf, und offene Gewichte verschaffen Start-ups einen Vorsprung. Eine europäische Politikstudie zu diesem Trend kam zu dem Schluss, dass diese Veränderungen kleineren Unternehmen helfen könnten, wettbewerbsfähig zu sein. Zugleich erschwerten sie es, die Fixkosten des grundlegenden Modelltrainings wieder hereinzuholen. Der Preiskampf könnte sich verschärfen, während Entwickler nach nachhaltigen Möglichkeiten suchen, KI mit Produkten und Dienstleistungen zu bündeln.

Einige Forschende warnen, dass veröffentlichte Trainingszahlen den tatsächlichen Aufwand für ein ausgereiftes System oft unterschätzen. Sie betonen den Unterschied zwischen den Kosten eines abschließenden erfolgreichen Trainingslaufs und dem Gesamtbudget für Datenarbeit, gescheiterte Versuche, Sicherheitsprüfungen und monatelange Entwicklungsarbeit.

Martin Vechev, Direktor des in der Schweiz ansässigen Instituts INSAIT, lobte die technische Leistung, warnte jedoch davor, die Zahlen für einzelne Trainingsläufe mit den Gesamtkosten gleichzusetzen.

Vechev sagte: „Die Zahl von 5 bis 6 Millionen Dollar ist irreführend, da sie nur einen Trainingslauf berücksichtigt. Für die Entwicklung eines solchen Modells sind mehrere Trainingsläufe und Experimente nötig, wodurch die tatsächlichen Kosten deutlich höher liegen.“

Diese Einschätzung passt zu den verfügbaren Informationen über R1. Die wesentlichen Einsparungen des Projekts beruhten auf einer durchdachten Architektur und einem wirksamen Reinforcement-Learning-Verfahren, nicht darauf, die kostspieligen Teile des Vortrainings auszulassen. Das Ergebnis zeigt einen glaubwürdigen Weg zu hoher Leistung mit weniger Rechenaufwand als bei einigen Konkurrenten. Es ist aber kein Verfahren, das das Training eines Spitzenmodells zu einer Aufgabe für weniger als 300.000 Dollar macht.

Die wichtigsten Punkte

• Die Zahl von 294.000 Dollar für DeepSeek R1 umfasst Reinforcement Learning auf 512 H800-GPUs und die zugehörige Datenerzeugung, nicht das vollständige Modelltraining.
• R1 baut auf dem Basismodell V3 auf, das etwa zwei Monate lang auf 2.048 H800-GPUs trainiert wurde, also rund 2,79 Millionen GPU-Stunden beanspruchte.
• Die geschätzten Mietkosten für die Rechenleistung des Vortrainings von V3 liegen bei rund 5,58 Millionen Dollar. Insgesamt kostete die Entwicklung bis zur fertigen Version von R1 etwa 5,87 Millionen Dollar.
• Der Kauf vergleichbarer Hardware wäre deutlich teurer als eine Miete. Ein Cluster der 2.000-GPU-Klasse kostet mehr als 51 Millionen Dollar, noch ohne Betriebskosten.
• DeepSeek nutzte A100-GPUs für Vorarbeiten und anschließend H800s für den zentralen Reinforcement-Learning-Lauf von R1.
• Der Rechenaufwand für R1 ähnelt eher dem anderer großer offener Modelle, als frühe Schlagzeilen vermuten ließen, auch wenn er neben den kolportierten Budgets geschlossener Modelle in dreistelliger Millionenhöhe schlank wirkt.
• Reinforcement Learning verbesserte die Schlussfolgerungsfähigkeiten zu vergleichsweise niedrigen Kosten. Der größte Aufwand blieb jedoch das Vortraining und die Datenarbeit.
• Fachleute warnen, dass veröffentlichte Trainingszahlen selten Forschung und Entwicklung, Datenaufbereitung und zahlreiche gescheiterte Trainingsläufe berücksichtigen, die die tatsächlichen Projektkosten erhöhen.