Samsung will KI-Tokenkosten senken, indem der Serverspeicher effizienter genutzt wird

Mehr KI-Anfragen ohne zusätzliche GPUs

Samsung Electronics hat ein Verfahren entwickelt, mit dem sich mehr gleichzeitige Anfragen an Server für künstliche Intelligenz verarbeiten lassen, indem die Speicherzuweisung und der Datentransfer zwischen Prozessoren angepasst werden. Eine veröffentlichte Patentanmeldung beschreibt eine Software, die Wartezeiten, Transferkosten und den künftigen Speicherbedarf abwägt, um zu entscheiden, welche Anfragen ein großes Sprachmodell zuerst bearbeiten soll.

Ziel ist es, Verzögerungen bei vollem Speicher von Grafikprozessoren (GPUs) zu verringern, damit bestehende Server mehr Menschen bedienen können. Samsung beschreibt die Erfindung als Infrastrukturtechnik für die KI-Inferenz, also die Ausführung eines trainierten Modells zur Beantwortung von Fragen, und nicht als Funktion eines bestimmten Verbraucherprodukts.

Weitere Forschung von Samsung vermittelt anhand konkreter Zahlen, welche Einsparungen ein besseres Speichermanagement ermöglichen könnte. In einem separaten Speichertest mit acht NVIDIA-H100-NVL-GPUs und zehn Samsung-SSDs hielt Samsung die Wartezeit bis zum ersten Ausgabetoken bei bis zu 240 gleichzeitigen Nutzern unter einer Sekunde. Ohne das Auslagern von Daten begann diese Wartezeit ab mehr als 140 Nutzern zu steigen.

Das Patent, der Speichertest und ein weiteres Projekt von Samsung SDS befassen sich mit verschiedenen Aspekten desselben Problems: Teure KI-Prozessoren können zu viel Zeit damit verbringen, Informationen zu verschieben oder neu zu berechnen. Für Betreiber könnte eine Verringerung dieses Aufwands mehr Antworten mit vorhandener Hardware und geringere Kosten pro Token bedeuten – den kleinen Texteinheiten, die Sprachmodelle verarbeiten und erzeugen.

Warum der Speicher Antworten verzögern kann

Eine GPU führt viele Berechnungen gleichzeitig aus und eignet sich deshalb gut zur Erstellung von KI-Antworten. Ihr schneller lokaler Speicher ist jedoch begrenzt. Mehrere Gespräche konkurrieren um diesen Speicherplatz, insbesondere wenn Nutzer lange Dokumente einreichen oder Fragen stellen, die ausführliche Antworten erfordern.

Sprachmodelle speichern vorübergehend frühere Berechnungen in einer Struktur namens Key-Value-Cache, meist kurz KV-Cache genannt. Man kann ihn sich als Arbeitsnotizen vorstellen: Mit diesen Notizen kann das Modell eine Antwort fortsetzen, ohne alles, was es bereits verarbeitet hat, erneut berechnen zu müssen.

Für Samsungs Speichertest waren rund 3 GB KV-Cache pro Sitzung erforderlich. Bei 240 Sitzungen entspricht das insgesamt etwa 720 GB Cache-Daten für die Arbeitslast. Diese Zahl verdeutlicht, warum die Versorgung vieler Menschen zu einem Speicherproblem werden kann, selbst wenn beträchtliche Rechenleistung vorhanden ist.

Wenn der schnelle GPU-Speicher knapp wird, kann ein Server Daten in den Speicher der Zentraleinheit (CPU) verschieben und sie bei Bedarf zurückholen. Diese Transfers kosten Zeit. Auch das erneute Berechnen verworfener Berechnungen beansprucht Ressourcen. Samsungs Patent zielt darauf ab, diesen Wettbewerb um Ressourcen besser zu steuern.

So funktioniert das patentierte Planungsverfahren

Samsungs Anmeldung mit dem Titel „Verfahren und Server zur Verarbeitung mehrerer Nutzeranfragen eines großen Sprachmodells“ beschreibt einen Scheduler, der die Kosten für die Bearbeitung jeder Anfrage berücksichtigt. Zu den Eingabewerten zählen die bisherige Wartezeit eines Nutzers, die Dauer der Datentransfers und der Speicherbedarf der Anfrage.

Auf Grundlage dieser Berechnungen legt der Server die Bearbeitungsreihenfolge fest. Das ist wichtig, weil eine scheinbar sofort ausführbare Anfrage zunächst einen umfangreichen Datentransfer erfordern kann, während eine andere Anfrage auf bereits verfügbare Daten zugreifen kann. Eine koordinierte Planung kann die Zeit verringern, die für das Umorganisieren des Speichers benötigt wird.

Das Verfahren prüft außerdem, ob zuvor in den CPU-Speicher verschobene Informationen dort noch vorhanden sind. Gibt es eine nutzbare Kopie, kann der Server nur die benötigten Teile übertragen, anstatt alles erneut zu kopieren. Er kann auch Daten für einen Nutzer übertragen, während die GPU die Antwort eines anderen Nutzers erzeugt. So können Berechnungen und Vorbereitungen parallel ablaufen.

Samsung beschreibt zudem die Nutzung teilweise verfügbaren Speichers. Benötigt eine neue Anfrage fünf Speichereinheiten, sind aber nur drei frei, kann das System den passenden Teil bereits beginnen, anstatt auf alle fünf Einheiten zu warten. Ziel ist es, begrenzte Ressourcen auch in Spitzenzeiten produktiv zu nutzen. Details zu einer kommerziellen Einführung und gemessene Verbesserungen bei Antwortzeit und Durchsatz für dieses patentierte Verfahren wurden nicht veröffentlicht.

Was Samsung beim Auslagern von Daten auf Speicher gemessen hat

Das Whitepaper von Samsung Electronics zum KV-Cache untersucht einen anderen Ansatz: wiederverwendbare Cache-Daten auf NVMe-SSDs vorzuhalten. NVMe ist eine Technologie, mit der Speichergeräte über PCIe-Verbindungen schnell mit einem Computer kommunizieren können.

Beim Test kamen acht NVIDIA-H100-NVL-GPUs, acht parallel laufende LLaMA-3.1-8B-Inferenzdienste, die Bereitstellungssoftware vLLM und LMCache zum Einsatz, eine Open-Source-Schicht zur Verwaltung wiederverwendbarer KV-Cache-Daten. Zehn Samsung-PM1753-Laufwerke wurden in einem RAID-0-Verbund kombiniert, der Daten zur Steigerung der Übertragungsleistung auf mehrere Laufwerke verteilt.

Samsung erhöhte die Nutzerlast in Schritten von 20 auf bis zu 280 gleichzeitige Nutzer. Jeder Nutzer stellte alle 20 Sekunden eine Anfrage. So entstand eine Arbeitslast von einer bis 14 Anfragen pro Sekunde. Das Experiment prüfte damit ein festgelegtes Muster wiederholter Anfragen und Cache-Verschiebungen.

Der Speicheransatz ist nützlich, wenn eine Sitzung zwischen GPUs wechselt. Eine Ziel-GPU kann gespeicherte Berechnungen erneut laden, statt die anfängliche Verarbeitung einer langen Eingabe zu wiederholen. Innerhalb eines Rechners lässt sich ein externer Cache im CPU-Speicher oder auf einem Speichermedium ablegen. Für den Einsatz über mehrere Rechner hinweg, so Samsung, muss der Cache auf einer gemeinsam genutzten Ressource liegen, auf die die betreffenden Server zugreifen können.

Schnellerer Antwortbeginn und mehr erzeugter Text

Samsung maß zwei Aspekte der Dienstleistung: die Zeit bis zum ersten Token und die Zahl der Tokens pro Sekunde. Der erste Wert gibt an, wie lange es dauert, bis eine Antwort erscheint. Der zweite misst, wie viel Text das System im Laufe der Zeit erzeugt.

Mit aktiviertem Auslagern von Daten blieb die Zeit bis zum ersten Token im Test bis zu 240 gleichzeitigen Nutzern unter einer Sekunde. Ohne Auslagerung stieg die Latenz bereits bei mehr als 140 Nutzern. Samsung bezeichnet dies als Unterstützung von 1,7-mal so vielen Nutzern bei vergleichbarer Latenz. Bei 20 bis 140 Nutzern lag die anfängliche Wartezeit in der Konfiguration mit Auslagerung bei etwa einer halben Sekunde.

Bei 240 Nutzern erzeugte das System mit Auslagerung etwa 1,5-mal so viele Ausgabetokens. Die Konfiguration ohne Auslagerung erreichte ab etwa 160 Nutzern ihre Kapazitätsgrenze, während das System mit wiederverwendetem Cache seine Ausgabe bei steigender Nachfrage weiter erhöhen konnte.

Samsung führt den Zugewinn auf die Verringerung wiederholter Verarbeitung von Eingaben zurück. Ein Sprachmodell verarbeitet zunächst die Eingabe – diese Phase heißt Prefill – und erzeugt dann seine Antwort Token für Token in einer Phase namens Decode. Die Wiederverwendung gespeicherter Berechnungen lässt der GPU mehr Kapazität für die Erstellung von Antworten.

Wann sich zusätzlicher Speicher bezahlt macht

Samsungs Kostenanalyse zeigt, dass zusätzliche Hardware auch dann Kosten verursacht, wenn sie die Effizienz bei hoher Nachfrage verbessert. Im Bereich von null bis 160 gleichzeitigen Nutzern erzielten beide Konfigurationen einen ähnlichen Token-Durchsatz. Die Konfiguration mit Auslagerung war wegen der zusätzlichen NVMe-Komponenten rund 4 Prozent teurer.

Ab mehr als 180 Nutzern glich die höhere Ausgabe die zusätzlichen Speicherkosten aus. Bei 240 Nutzern errechnete Samsung eine etwa 1,5-mal höhere Kosteneffizienz, gemessen in Tokens pro Sekunde und Dollar über einen Betriebszeitraum von drei Jahren.

Anders ausgedrückt entspricht eine 1,5-mal höhere Ausgabe pro Dollar in dieser Berechnung rund einem Drittel weniger Kosten pro Ausgabeeinheit. Der Vergleich bezieht sich auf die von Samsung getestete Ausstattung und Arbeitslast. Die tatsächliche Wirtschaftlichkeit eines Dienstes hängt außerdem vom Modell, der Gesprächslänge, dem Datenverkehr und den Hardwarekosten ab.

Für einen Cloud-Betreiber hängt die praktische Entscheidung daher stark von der Nachfrage ab. Zusätzlicher Speicher kann die Anfangskosten erhöhen, wenn die vorhandene GPU-Kapazität die Arbeitslast problemlos bewältigt. Bei anhaltender Überlastung kann die Wiederverwendung des Cache dagegen dafür sorgen, dass dieselbe GPU-Ausstattung mehr Anfragen bewältigt, bevor ein weiterer Server benötigt wird.

Stromersparnis auch bei den Lüftern

Samsung maß in seinem Speichertest auch einen geringeren Stromverbrauch. Bei 240 Nutzern verbesserte sich die Leistung pro Watt um etwa das 2,9-Fache. Der Gesamtstromverbrauch des Systems sank auf rund 53 Prozent des Werts der Konfiguration ohne Auslagerung, also um etwa 47 Prozent.

Laut Whitepaper erhöhte sich der Stromverbrauch durch die zusätzlichen NVMe-Laufwerke um etwa 6 Prozent. Der geringere Bedarf von GPUs und Kühlsystemen machte diesen Anstieg mehr als wett. Als sich die Arbeitslast von wiederholten rechenintensiven Prefill-Berechnungen weg verlagerte, lag die GPU-Auslastung laut Samsung bei rund 49 Prozent.

Auch die Lüfter spiegelten diese Veränderung wider. Ohne Auslagerung liefen alle Systemlüfter mit ihrer maximal erwarteten Drehzahl von 15.000 Umdrehungen pro Minute. Mit Auslagerung liefen die Lüfter für CPU, Speicher und Laufwerke mit rund 7.800 Umdrehungen pro Minute, die Lüfter auf der GPU-Seite mit etwa 9.800.

Das Ergebnis verdeutlicht, warum eine Komponente lokal zwar mehr Strom verbrauchen, den Verbrauch eines gesamten Servers aber trotzdem senken kann. In diesem Experiment verringerte der Energieaufwand für das Abrufen gespeicherter Berechnungen den größeren Energiebedarf, der durch deren Wiederholung und die Abfuhr der dabei entstehenden Wärme entstand.

Der Speicher muss Lastspitzen bewältigen

Samsungs Messungen zeigen auch, dass für diesen Ansatz mehr als freie Laufwerkskapazität nötig ist. Der aggregierte durchschnittliche Speicherdurchsatz erreichte bis zu 37 GB pro Sekunde. Gleichzeitig eintreffende GPU-Anfragen konnten den Spitzenbedarf auf nahezu das Doppelte des Durchschnitts steigen lassen.

Die Zahl gleichzeitig laufender Speicheroperationen lag typischerweise bei etwa 160, konnte aber auf 800 steigen. Samsung empfiehlt eine Speicherbandbreite von mindestens dem Zweifachen des durchschnittlichen Bedarfs, um solche Spitzen abzufangen und gleichzeitig die Reaktionsfähigkeit zu erhalten.

Für die PM1753 gibt Samsung einen sequenziellen Durchsatz von bis zu 14,5 GB pro Sekunde und 3,3 Millionen zufällige Leseoperationen pro Sekunde an. Bei der getesteten Arbeitslast entfielen etwa 92 Prozent der Speicheraktivität auf Lese- und 8 Prozent auf Schreibvorgänge. LMCache verschob große Cache-Blöcke von rund 33 MB.

Wenn mehrere Dienste gleichzeitig große Blöcke lesen, kann ein verschachtelter Strom von Anfragen entstehen. Ein Speichersubsystem muss den Durchsatz daher auch dann aufrechterhalten, wenn viele Nutzer gleichzeitig aktiv werden. Cache-Kapazität, Übertragungsgeschwindigkeit und Planung bestimmen gemeinsam, ob gespeicherte Informationen schnell genug für die GPU verfügbar sind.

Samsung SDS verlagert Berechnungen in den Speicher

Samsung SDS geht die Datenbewegung auf einem anderen Weg an. Der Forschungsbericht zu PAISE beschreibt die PIM-Accelerated Inference Scheduling Engine, die auf der IEEE HPCA 2025 vorgestellt wurde. PAISE nutzt Processing-in-Memory-Technologie (PIM). Dabei befinden sich Recheneinheiten in den Speicherchips, sodass einige Berechnungen dort stattfinden können, wo die Daten gespeichert sind.

Samsung SDS implementierte und validierte das System auf Samsungs Aquabolt-XL-PIM-Hardware und prüfte dabei die Modelle GPT-2, OPT und Llama2. Das Unternehmen berichtet von einer um bis zu 48,3 Prozent höheren Inferenzgeschwindigkeit und einem um etwa 11,5 Prozent geringeren Stromverbrauch.

PAISE entscheidet, welche Vorgänge im Speicher ausgeführt werden sollen, und ordnet die Daten passend zur Hardware an. Außerdem fasst das System kleine Attention-Berechnungen zusammen, damit sie effizienter parallel ausgeführt werden können. Samsung SDS berichtet von schnelleren Aktualisierungen des KV-Cache und größeren Zugewinnen bei größeren Batch-Größen, also Gruppen gemeinsam verarbeiteter Anfragen.

Die drei Projekte setzen an unterschiedlichen Stellen im Server an. Das Patent plant Anfragen und Transfers zwischen GPU- und CPU-Speicher. Der Speichertest hält Cache auf Laufwerken zur späteren Wiederverwendung vor. PAISE verlagert ausgewählte Berechnungen in die Speicherhardware. Zusammengenommen zeigen die Projekte, dass Samsung verschiedene Wege verfolgt, um den Zeit- und Energieaufwand für das Verschieben oder erneute Berechnen der Informationen hinter KI-Antworten zu senken.

Wichtige Punkte

• Samsungs veröffentlichte Patentanmeldung plant KI-Anfragen anhand von Wartezeiten, Transferkosten und erwartetem Speicherbedarf.
• Das patentierte Verfahren soll mit vorhandenen GPUs mehr Nutzer bedienen; Leistungsdaten für den kommerziellen Einsatz wurden nicht veröffentlicht.
• Ein separater Speichertest von Samsung unterstützte 240 gleichzeitige Nutzer bei einer Wartezeit bis zur ersten Antwort von unter einer Sekunde. Ohne Auslagerung stieg die Latenz ab mehr als 140 Nutzern.
• Bei 240 Nutzern ermöglichte das Auslagern auf Speicher etwa 1,5-mal so viele Ausgabetokens und eine 1,5-mal höhere Kosteneffizienz sowie eine um das 2,9-Fache höhere Leistung pro Watt.
• Bei geringerer Auslastung erhöhte zusätzlicher Speicher die Kosten um etwa 4 Prozent. Die Nachfrage ist daher für die Wirtschaftlichkeitsberechnung entscheidend.
• Samsung SDS berichtet, dass das separate PAISE-System mithilfe von Berechnungen im Speicher die Inferenzgeschwindigkeit um bis zu 48,3 Prozent erhöhte.