Samsung baut KI-Speicherstrategie mit HBM5, AMD-Speicherpooling und schnellerem Speicher aus

Samsung stellt Speicherkapazität neben Verarbeitungsgeschwindigkeit

Samsung Electronics erweitert seine Strategie für die KI-Infrastruktur über High Bandwidth Memory hinaus. Das Unternehmen kombiniert HBM5 und kundenspezifische Speicherlösungen mit einer Zusammenarbeit mit AMD bei gemeinsam genutztem Serverspeicher sowie Speichertechnologien, die einen Teil der Datenverarbeitung auf SSDs verlagern. Samsung stellte den Ansatz auf dem OCP Global Summit 2026 vor, der vom 12. bis 15. Oktober im San Jose McEnery Convention Center in Kalifornien stattfindet.

Die konkretesten Leistungsangaben beziehen sich auf Technologien an anderer Stelle der Speicherhierarchie. Samsung zufolge verkürzt die elastische CXL-Speicherzuweisung die Zeit bis zur Ausgabe des ersten Tokens durch ein KI-Modell um bis zu 38 Prozent. LPDDR5X-Verarbeitung im Speicher steigert die Inferenzleistung um bis zu das Dreifache, und sequenzielle SSD-Lesevorgänge erreichen 28,4 GB/s. Dabei handelt es sich um Ergebnisse bestimmter Tests oder Demonstrationen, nicht um Garantien für jede KI-Installation.

Die offizielle Summit-Seite gliedert die Strategie in die Bereiche Geschwindigkeit, Speicherausbau und dauerhafte Speicherung. Zu den vorgestellten Produkten zählen HBM4E, LPDDR5X-PIM, das Speichermodul CMM-D MD310, Serverspeicher vom Typ SOCAMM2 sowie die SSDs PM1763 und BM1773.

Hojun Shim, von Samsung als Corporate Vice President und Leiter des Memory Business Application Engineering Team bezeichnet, sollte die drei Prioritäten am 12. Oktober in einer Vorstandssitzung vorstellen. Berichten zufolge markiert die Präsentation den Auftakt einer umfassenderen Initiative, Prozessoren, Speicher und Datenspeicherung gemeinsam zu optimieren, statt jede Komponente für sich zu verbessern.

Dieser Unterschied ist bei der Inferenz wichtig, wenn ein trainiertes Modell Antworten generiert. Ein schneller Beschleuniger kann dennoch auf Daten warten müssen, bei längeren Gesprächen an Speichergrenzen stoßen oder durch den Abruf von Informationen aus dem Speicher verzögert werden. Samsung schlägt für jede dieser Einschränkungen unterschiedliche Technologien vor.

HBM5 steht im Zentrum einer umfassenderen Geschwindigkeitsstrategie

Berichte über die Ausstellung nennen HBM5, das als High Bandwidth Memory der achten Generation beschrieben wird, kundenspezifisches HBM und zHBM als Bestandteile von Samsungs Geschwindigkeitsinitiative. High Bandwidth Memory versorgt einen Beschleuniger über zahlreiche parallele Verbindungen mit großen Datenmengen. Kundenspezifische Varianten sollen auf die Systemanforderungen einzelner Kunden zugeschnitten sein.

In der offiziellen Produktliste wird HBM4E statt HBM5 genannt. Andere Berichte beschreiben HBM4E- und HBM5-Konzeptmodelle auf der Ausstellung. Dieser Unterschied ist wichtig: Eine Ausstellung oder Konzeptpräsentation belegt nicht, dass ein Produkt bereits ausgeliefert wird. Auf Samsungs Summit-Seite finden sich weder ein Termin für die Markteinführung von HBM5 noch detaillierte Leistungsangaben.

Die aussagekräftigsten Zahlen zur Verarbeitungsgeschwindigkeit stammen von LPDDR5X-PIM. Bei der Verarbeitung im Speicher finden Berechnungen teilweise direkt im Speicherbaustein statt. Dadurch werden wiederholte Datenübertragungen zwischen dem Speicher und einem separaten Prozessor reduziert. Samsung zufolge integriert das Design Verarbeitungseinheiten in jede Speicherbank.

In einem Test mit Llama 3.1 8B auf dem Samsung Edge AI Accelerator gibt Samsung eine bis zu achtmal höhere effektive Bandbreite als bei herkömmlichem LPDDR5X, bis zu dreimal so viele generierte Tokens pro Sekunde und eine um bis zum Faktor 2,2 kürzere Laufzeit an. Diese Angaben beziehen sich auf den betreffenden Beschleuniger und das Modell, nicht auf HBM5 oder die AMD-Speicherdemonstration.

Auch SOCAMM2, ein weiteres vorgestelltes Produkt, ist ein Serverspeichermodul auf LPDDR-Basis. Zusammen zeigen die Exponate, dass Samsungs Geschwindigkeitsstrategie sowohl Beschleunigerspeicher als auch energieärmere Speichertechnologien umfasst. Vergleichbare Testergebnisse für jedes Produkt enthält die Summit-Seite jedoch nicht.

Zusammenarbeit mit AMD zielt auf flexible Speicherkapazität

Samsung und AMD demonstrierten eine CXL-Speichererweiterung mit Samsungs CMM-D-Technologie. CXL steht für Compute Express Link. Die Schnittstelle verbindet Prozessoren und andere Geräte mit zusätzlichem Speicher und ermöglicht es Systemen, ihre Kapazität über den direkt installierten Speicher hinaus zu erweitern.

CMM-D ist ein CXL-basiertes DRAM-Speichermodul. Bei einer Pooling-Konfiguration können mehrere Systeme auf Kapazitäten verbundener Speicherressourcen zugreifen, statt dass diese dauerhaft einzelnen Servern zugewiesen sind. Samsung zufolge bestätigte die Zusammenarbeit mit AMD, dass sich Speicherplatz und Bandbreite mit CXL skalieren lassen und zugleich die Zeiten reduzieren, in denen CPU-Kerne auf Daten warten.

Das Problem verschärft sich, wenn KI-Agenten mehrere Modelle oder Aufgaben ausführen. Laut Samsungs offizieller Beschreibung können Agenten-Workloads die CPU-Auslastung stark erhöhen, während die Speicherkapazität nicht mit der Zahl der Prozessorkerne Schritt hält.

Bei einer separaten CMM-D-Pooling-Demonstration wurde der Speicher für mehrere Instanzen großer Sprachmodelle auf einem GPU-Server elastisch zugewiesen. Samsung zufolge verkürzte sich die Zeit bis zum ersten Token (TTFT) um bis zu 38 Prozent, während der Goodput gegenüber einer statischen Zuweisung bis zu 3,3-mal höher lag. TTFT misst die Wartezeit bis zum Beginn einer Antwort; der Goodput erfasst den nach den Kriterien des Tests erzielten nutzbaren Durchsatz.

Diese Ergebnisse sollten nicht als Zahlen aus der AMD-Demonstration selbst verstanden werden. Auf der offiziellen Seite werden die Validierung mit AMD und der Test zur elastischen Zuweisung getrennt beschrieben. Außerdem reichen die Angaben nicht aus, um festzustellen, wie sich die Zugewinne bei anderen Modellen, Serverkonfigurationen oder Servicezielen verändern würden.

KV-Cache verbindet Speicherausbau und Datenspeicherung

Ein wichtiges Bindeglied zwischen Samsungs Speicher- und Datenspeicherplänen ist der Key-Value-Cache, meist KV-Cache genannt. Er enthält Zwischenergebnisse, die beim Verarbeiten von Text durch ein Sprachmodell entstehen. So kann das Modell bereits geleistete Arbeit wiederverwenden, statt sie für jedes neue Token erneut zu berechnen.

Lange Gespräche, größere Kontextfenster und mehrere gleichzeitige Nutzer können diese Caches sehr speicherintensiv machen. Samsung schlägt eine Hierarchie vor, in der CXL-Speicher die verfügbare Kapazität erweitert und SSDs Cache-Daten aufnehmen, die nicht in der schnellsten Speicherstufe verbleiben müssen.

Auf der offiziellen Summit-Seite wird ein produktiver Einsatz auf dem US-Campus von Samsung Semiconductor beschrieben, der einen internen KI-Coding-Agenten und weitere Anwendungen unterstützt. Samsung zufolge führte eine zusätzliche, über die Lösung AI Memory Node bereitgestellte, zusammensetzbare Speicherstufe L3.5 zu einer fünf- bis siebenfachen Auslastung des KV-Caches.

L3.5 ist die Bezeichnung für diese zusätzliche Stufe und keine Aussage, dass alle Server dieselbe Cache-Architektur verwenden. An der Bereitstellung waren Samsungs Memory Solutions Lab, das Team DSA AI Platform Integrations und SGLang beteiligt. Das Auslastungsergebnis ist von den Tests zur elastischen Zuweisung und den Leistungsangaben für LPDDR5X-PIM zu unterscheiden.

Im Summit-Programm war für den 13. Oktober außerdem eine Sitzung zum Zusammenspiel von CXL-Pooling und SSD-Speicher beim Auslagern des KV-Caches vorgesehen. Sie sollte vom Systemarchitekten Jinin So und dem Principal Engineer Youngha Choi geleitet werden. Diese Kombination geht über eine reine Kapazitätserweiterung hinaus: Software muss Daten über Speicher und Datenspeicher hinweg platzieren und abrufen, ohne übermäßige Verzögerungen zu verursachen.

SSDs übernehmen Aufgaben bei Kapazität, Kühlung und Datenplatzierung

Samsungs Strategie für die dauerhafte Speicherung konzentriert sich auf Enterprise-SSDs und NAND-Flash mit hoher Kapazität. Dauerhafte Speicherung bedeutet, Daten über den temporären Arbeitszustand einer Berechnung hinaus aufzubewahren, damit KI-Systeme bei Bedarf Datensätze, Modelldateien und gespeicherte Cache-Informationen abrufen können.

Die PM1763 wird als Enterprise-SSD mit PCIe Gen6 und sequenziellen Lesegeschwindigkeiten von bis zu 28,4 GB/s vorgestellt. Ihre Energieeffizienz soll bis zu 1,8-mal höher liegen als die des Vorgängermodells. Bei Samsungs Demonstration mit Flüssigkeitskühlung steht die E1.S-Version in direktem Kontakt mit einer Kühlplatte, die Wärme abführt. Die offizielle Seite nennt keine vollständigen Testbedingungen für den Leistungsvergleich.

Die BM1773 wird als E3.S-SSD mit 256 TB QLC-Speicher aufgeführt. QLC steht für Quad-Level-Cell und speichert vier Bits in jeder Flash-Zelle, was hohe Kapazitäten ermöglicht. Berichten zufolge arbeitet Samsung außerdem weiter an QLC-Flash mit hoher Kapazität und an einer flexiblen Datenplatzierung.

Samsung demonstrierte in LMCache integrierte Optimierungen für den KV-Cache. Flexible Data Placement (FDP) hilft dabei, die Schreibziele von Daten so zu organisieren, dass die Schreibverstärkung verringert wird. Diese bezeichnet zusätzliche interne Schreibvorgänge einer SSD, die über die vom Host übermittelten Daten hinausgehen.

Die Demonstration nutzt außerdem eine größere maximale NVMe-Datentransfergröße, um die Arbeit für die Host-CPU zu reduzieren. Samsung zufolge sind diese Verfahren sowohl für die Cache-Speicherung innerhalb eines einzelnen Knotens als auch für gemeinsam genutzte Cache-Ressourcen in einer Servergruppe relevant. Auf der Veranstaltungsseite nennt Samsung für diese Optimierungen keine konkreten Verbesserungswerte.

Berechnungen näher an gespeicherte Daten verlagern

Samsungs Demonstration einer Vektordatenbank zeigt eine weitere Möglichkeit, Datenbewegungen zu reduzieren. Vektordatenbanken speichern numerische Darstellungen von Informationen und vergleichen sie, um ähnliche Einträge zu finden. Das ist ein gängiger Schritt, wenn eine KI-Anwendung für eine Anfrage relevante Dokumente abruft.

Der Proof of Concept NCVS verlagert Berechnungen von Vektorabständen auf SSDs. Statt einen 4-KB-Vektor zur Auswertung an den Host zu übertragen, liefert das Gerät ein vier Byte großes Ergebnis für den Abstand zurück. Samsung zufolge sinkt der Datenverkehr zum Host gegenüber der herkömmlichen Verarbeitung auf dem Host um bis zu das 22-Fache. Mit jeder zusätzlichen SSD steigt der Suchdurchsatz.

Die Angaben von vier Byte und 4 KB beziehen sich auf die Größe einzelner Ergebnisse und Vektoren. Sie bedeuten nicht, dass die gesamte Anwendung den Datenverkehr im selben Verhältnis verringert. Die berichtete Reduzierung um bis zu das 22-Fache bezieht sich auf den umfassenderen gemessenen Vergleich. Samsung bezeichnet NCVS als Proof of Concept, nicht als allgemein verfügbares Produkt.

Die Demonstration AiSIO befasst sich mit Speicher-Ein- und -Ausgabe über eine gemeinsame Softwareschnittstelle für GPU-initiierte, Peer-to-Peer- und herkömmliche CPU-initiierte Vorgänge. Mit OpenDS erreicht Samsung eigenen Angaben zufolge 100 Millionen Ein-/Ausgabeoperationen pro Sekunde und lädt Sprachmodelle bei einem Kaltstart bis zu zehnmal schneller.

Diese Messwerte betreffen unterschiedliche Aufgaben. Die sequenzielle Lesegeschwindigkeit beschreibt die anhaltende Datenübertragung, die Zahl der Ein-/Ausgabeoperationen pro Sekunde zählt Speicheranfragen, und die Kaltstart-Ladezeit misst, wie schnell ein Modell einsatzbereit ist. Keiner dieser Werte ersetzt direkt einen Benchmark dazu, wie viele Nutzeranfragen ein vollständiger KI-Dienst bewältigen kann.

Kundentests und Foundry-Exponate erweitern das Angebot

Das Samsung MAX Lab soll Kunden früher in die Entwicklung einbeziehen. Sie können Technologien wie PIM, CMM-D und SSDs der nächsten Generation vor der Kommerzialisierung unter realistischen KI-Workloads testen und anschließend ihre Systemanforderungen in die Produktentwicklung einbringen.

Dieser Ansatz greift ein praktisches Problem auf, das sich durch die Demonstrationen des Summits zieht: Eine schnellere Komponente bringt nur dann Vorteile, wenn Software und übrige Hardware sie nutzen können. Samsungs Global Open-ecoSystem Team beteiligt sich an der Entwicklung quelloffener Software und der Standardisierung in der Branche. Auf der Veranstaltungsagenda stehen außerdem Sitzungen zu Software-Frameworks, der Verarbeitung von Speicherbefehlen und der Speicherverwaltung.

Samsung demonstrierte außerdem zusammensetzbaren Speicher mit laufender Migration und Verwaltung virtueller SSDs über den Standard NVMe. Laut offizieller Beschreibung soll dies gemeinsam genutzten Speicher für mehrere Mandanten ermöglichen, dessen Dienstgüte verbindlich steuerbar ist. Gemeint sind Kontrollen darüber, welche Leistung jede Arbeitslast erhält.

Die Ausstellung ging über Speicher hinaus. Berichten zufolge wurden Wafer mit Groq Language Processing Units gezeigt, die Samsung Foundry im 4-nm-Verfahren gefertigt hat, außerdem ein Groq-3-LPX-System, das in mehreren Berichten als Nvidia-System bezeichnet wird, sowie Wafer mit Samsungs Gate-All-Around-Verfahren der 2-nm-Klasse. Die Exponate präsentieren neben Speicher- und Datenspeicherlösungen auch Fertigungskompetenzen, belegen aber weder neue Produktionsaufträge noch Auslieferungsmengen.

Partnerschaft über mehrere Monate aufgebaut

Die Demonstration mit AMD ist Teil einer länger andauernden Zusammenarbeit. Berichten zufolge unterzeichneten die Unternehmen im März eine Absichtserklärung zu Speicher- und Computertechnologien der nächsten Generation für KI. Gespräche folgten während des Südkorea-Besuchs von AMD-Chefin Lisa Su am 7. Oktober.

Die Abfolge der berichteten Entwicklungen und geplanten Summit-Sitzungen:

• März 2026: Samsung und AMD unterzeichneten ihre Absichtserklärung zur Zusammenarbeit; Samsung stellte zudem Technologien auf der Nvidia GTC vor.
• Juni und August 2026: Samsung präsentierte sich auf der COMPUTEX beziehungsweise der Konferenz Future of Memory and Storage.
• 7. Oktober 2026: Lisa Su besuchte Südkorea und traf Jeon Young-hyun, den stellvertretenden Vorsitzenden der Samsung DS Division, zu Gesprächen über die Zusammenarbeit bei Speicher- und Computertechnologien. Berichten zufolge wurde auch über Foundry-Themen gesprochen.
• 12. Oktober 2026: Der Summit wurde eröffnet; Shims Präsentation für Führungskräfte war für diesen Tag angesetzt.
• 13. bis 15. Oktober 2026: Samsungs Programm umfasste Sitzungen zu KV-Cache-Hierarchisierung, Speicheroptimierung und gemeinsamer CXL-Speicherarchitektur.

Samsung war Diamond Sponsor. Berichte datieren die Bekanntgabe der Strategie entweder auf den 12. Oktober Ortszeit oder auf die Erklärung des Unternehmens vom 13. Oktober. Die Daten können unterschiedliche Phasen derselben Veranstaltung bezeichnen. Ein Bericht verortet den Summit in San Francisco, während Samsung in seinem offiziellen Programm das Kongresszentrum in San Jose nennt.

Marktgröße sagt nichts über die Marktreife aus

Berichten zufolge lag Samsungs Anteil im zweiten Quartal 2026 bei 39 Prozent des weltweiten DRAM-Umsatzes und 29,3 Prozent des NAND-Flash-Markts. Für den DRAM-Wert wird Counterpoint Research als Quelle genannt, für den NAND-Wert TrendForce. Diese Werte beziehen sich auf Marktanteile, nicht auf die entstehenden Märkte für CXL oder Verarbeitung im Speicher.

Omdia wird mit der Prognose zitiert, Samsung werde im laufenden Jahr die größte Waferproduktion der Branche bei DRAM und NAND erzielen. Eine separate Schätzung beziffert Samsungs jährliche DRAM-Kapazität auf rund 8,175 Millionen Wafer, umgerechnet auf 300-mm-Wafer. Kapazität ist nicht gleich tatsächlicher Produktion, und keine der beiden Zahlen belegt, welcher Anteil der Produktion für die auf dem OCP gezeigten Technologien vorgesehen ist.

Ein Bericht nennt zudem ungewöhnlich hohe vorläufige Zahlen für das dritte Quartal, die auf den 8. Oktober datiert sind: 195 Billionen Won Umsatz und 107,4 Billionen Won Betriebsgewinn. Der Gewinn sei damit gegenüber dem Vorjahreszeitraum um 782,5 Prozent gestiegen. Diese Zahlen werden hier nicht durch eine offizielle Finanzmitteilung belegt und sollten nicht als gesicherter Nachweis dafür gelten, dass die auf dem Summit vorgestellten Technologien zu den Erträgen beigetragen haben.

Auch der Wettbewerb entwickelt sich über HBM hinaus. Berichten zufolge handelt es sich bei SK hynix’ Memory-Centric AI Rack System (MARS) um einen CXL-Speicherpool, der über ein Rack hinweg gemeinsam genutzt wird. Das ähnelt Samsungs Bemühungen, ungenutzten Speicher systemübergreifend zugänglich zu machen. Vergleichbare Benchmarks, anhand derer sich die Leistungsfähigkeit der beiden Ansätze gegenüberstellen ließe, liegen jedoch nicht vor.

Samsung will nach eigenen Angaben seine Wettbewerbsfähigkeit bei HBM, DDR5 für Server und Enterprise-SSDs stärken. Offen bleiben Details zu Markteinführung, Verfügbarkeit von HBM5, Preisen, einer breiteren Kundenakzeptanz und einer unabhängigen Bestätigung der Leistungsangaben. Das Summit-Programm nennt Termine für Demonstrationen und Gespräche, aber keine verbindlichen Markteinführungstermine für alle Technologien.

Die wichtigsten Punkte

• Samsungs Strategie für den OCP 2026 kombiniert schnelleren Speicher, eine CXL-Kapazitätserweiterung und dauerhafte SSD-Speicherung.
• Bei der Zusammenarbeit mit AMD kommt CMM-D-Speichertechnologie zum Einsatz, um den wachsenden Speicherbedarf von KI zu decken.
• Eine separate Demonstration mit elastischem Pooling weist eine bis zu 38 Prozent kürzere Zeit bis zum ersten Token und einen bis zu 3,3-mal höheren Goodput aus.
• Die Tests mit LPDDR5X-PIM ergaben auf Samsungs Edge AI Accelerator eine bis zu dreifache Inferenzleistung.
• Der Speicher PM1763, Optimierungen für den KV-Cache und Berechnungen auf SSDs zielen auf unterschiedliche Engpässe bei der Datenbewegung.
• Aus den Angaben zum Summit gehen weder Auslieferungstermine für HBM5 noch eine breite kommerzielle Verfügbarkeit hervor.