Alibaba Cloud senkt mit Aegaeon den Bedarf an Nvidia-GPUs

Einblick in Aegaeon: Wie Alibaba Cloud den GPU-Bedarf für KI senkte

Alibaba Cloud zufolge hat das Unternehmen dank eines neuen Systems namens Aegaeon die Zahl der Nvidia-Grafikprozessoren, die für den Betrieb großer Sprachmodelle im großen Maßstab erforderlich sind, deutlich reduziert. In einem Produktions-Betatest auf seinem Modellmarktplatz sank die Zahl der benötigten Nvidia-H20-GPUs laut Unternehmen von 1.192 auf 213, um Dutzende Modelle zu bedienen, darunter Modelle mit bis zu 72 Milliarden Parametern. Das entspricht einer Reduzierung der eingesetzten Beschleuniger um 82 Prozent bei gleichbleibender Servicequalität. Die Ergebnisse wurden auf dem Symposium on Operating Systems Principles in Seoul vorgestellt, einer führenden Konferenz für Computersystemforschung. Für Cloud-Kunden bedeutet das potenzielle Einsparungen bei Kosten und Stromverbrauch, eine bessere Verfügbarkeit knapper Chips und ein einheitlicheres Nutzungserlebnis, wenn sie über dieselbe Plattform verschiedene Modelle aufrufen.

Die Entwicklung zielt auf ein wachsendes Problem im Zeitalter der Modellmarktplätze. Cloud-Anbieter stellen Entwicklern inzwischen Tausende Modelle gleichzeitig bereit. Einige wenige Modelle, etwa Alibabas Qwen-Familie und das Open-Source-Modell DeepSeek, erhalten den Großteil der Anfragen. Viele andere bleiben lange ungenutzt und verzeichnen dann kurze Anfrage-Spitzen. Herkömmliche Serving-Systeme reservieren für jede Modellinstanz ganze GPUs oder große GPU-Anteile. Ist ein Modell gerade wenig gefragt, bleibt seine reservierte GPU unterausgelastet. Treffen Anfragen ein, ohne dass genügend vorgewärmte Replikate bereitstehen, fährt die Plattform zusätzliche Kapazität hoch und muss dafür längere Ladezeiten und einen geringeren Durchsatz in Kauf nehmen. Aegaeon soll diese Rechnung ändern, indem es GPU-Ressourcen für viele Modelle bündelt und Aufgaben in feineren Zeitscheiben einplant, damit jeder Beschleuniger ausgelastet bleibt.

Alibaba Cloud beschreibt Aegaeon als Möglichkeit, gleichzeitige LLM-Workloads ohne Ressourcenverschwendung zu bedienen. Das System kombiniert eine aggressive Mehrmodellplanung mit Mechanismen, die Daten im Speicher vorhalten und einen Wechsel zwischen Modellen mit minimaler Verzögerung ermöglichen. Das Ergebnis sind dem Forschungsteam der Peking-Universität und von Alibaba Cloud zufolge ein höherer Durchsatz, kürzere Warteschlangen und weniger Chips, die für wenig genutzte Dienste bereitstehen.

Welches Problem soll Aegaeon lösen?

Moderne KI-Plattformen müssen eine stark ungleichmäßige Nachfrage bedienen. Eine kleine Gruppe beliebter Modelle zieht den Großteil der Inferenzanfragen an. Weniger populäre Modelle sind für Entwickler weiterhin wichtig, werden aber nur unregelmäßig aufgerufen. Alibaba Cloud hat gemessen, dass 17,7 Prozent der GPUs auf seinem Marktplatz für nur 1,35 Prozent der Anfragen reserviert waren. Sind Modelle fest dedizierten Beschleunigern zugeordnet, zahlt die Cloud für Leerlaufzeiten und häufige Kaltstarts, besonders bei schwankenden oder unvorhersehbaren Zugriffsmustern.

Von außen wirkt Inferenzbereitstellung einfach, doch im Inneren ist sie komplex. Ein großes Sprachmodell hält seine Gewichte und den Laufzeitstatus im GPU-Speicher. Während der Generierung verwaltet das System einen Key-Value-Cache, der Zwischenaktivierungen bereits erzeugter Tokens speichert. Das Laden von Modellgewichten von einem Datenträger oder über ein Netzwerk dauert lange. Auch das Aufwärmen des Key-Value-Caches braucht Zeit. Bei einem Wechsel der GPU von einem Modell zu einem anderen mussten bislang oft aufwendig Daten entladen und neu geladen werden. Dieser Aufwand erschwerte die gemeinsame Nutzung und führte dazu, dass die meisten Beschleuniger höchstens einem oder zwei Modellen vorbehalten waren. Aegaeon soll solche Wechsel deutlich effizienter verwalten, damit GPUs ohne große Einbußen zeitlich zwischen vielen Modellen aufgeteilt werden können.

So funktioniert das System

Aegaeon ist ein Serving-System für mehrere Modelle, das die GPU als gemeinsamen Ressourcenpool behandelt und mit sehr feiner Granularität entscheidet, welche Aufgaben ausgeführt werden. Statt auf Ebene der Anfragen oder Modellreplikate zu skalieren, trifft es Entscheidungen für jedes Token. Der Scheduler kann die Token-Generierung für verschiedene Nutzer und Modelle auf derselben GPU verschachteln und dabei wichtige Datenstrukturen im Speicher bereithalten. Ziel ist es, möglichst viele nützliche Berechnungen pro Sekunde auszuführen, ohne die Antwortzeit über ein eng gesetztes Limit hinaus zu erhöhen.

Automatische Skalierung auf Token-Ebene

Die zentrale Idee ist, die Kapazität auf Token-Ebene zu skalieren. Aegaeon kann also mit der Bearbeitung einer Anfrage für ein Modell beginnen und bei freien Kapazitäten opportunistisch Tokens für ein anderes Modell einplanen, und zwar innerhalb derselben Batches und Kernel-Aufrufe. Der Arbeit zufolge hielt Aegaeon zwei- bis zweieinhalbmal höhere Ankunftsraten von Anfragen aufrecht oder erzielte im Vergleich zu alternativen Pools, die pro GPU nur zwei oder drei Modelle multiplexen, den 1,5- bis neunfachen Goodput. Da das System auf Token-Ebene arbeitet, vermeidet es die langen Pausen beim Start neuer Replikate und kann schnell auf Spitzen bei einzelnen Modellen reagieren.

Wiederverwendung von Speicher und Abstimmung des KV-Caches

Aegaeon senkt den Aufwand, indem es Komponenten wiederverwendet, den Speicher gezielt verwaltet und den Key-Value-Cache zwischen Modellen detailliert synchronisiert. Nach Angaben der Forschenden sinkt dadurch der Aufwand für die automatische Skalierung gegenüber naiven Ansätzen um 97 Prozent. Mit einer intelligenteren Speicherverwaltung und Cache-Nutzung kann dieselbe GPU mehrere Modelle ausführbereit halten, ohne sie ständig neu laden zu müssen. So kann ein Beschleuniger bis zu sieben Modelle gleichzeitig unterstützen, während bei früheren Mehrmodell-Systemen typischerweise zwei oder drei möglich waren.

Gemessene Ergebnisse aus dem Produktions-Betatest

Alibaba Cloud zufolge wurde Aegaeon mehr als drei Monate lang auf dem eigenen Modellmarktplatz im Betatest erprobt. Der Betrieb umfasste Dutzende Modelle mit bis zu 72 Milliarden Parametern. In diesem Zeitraum sank die Zahl der GPUs, die für dieselbe Serviceauslastung benötigt wurden, laut Forschungsteam von 1.192 Nvidia-H20-Einheiten auf 213. Das entspricht einer Ressourceneinsparung von 82 Prozent. Außerdem verringerte das System den Latenzaufschlag beim Wechsel zwischen Modellen um 97 Prozent. Das ist hilfreich, wenn die Workloads im Tagesverlauf zwischen beliebten Modellen und solchen mit geringer Nachfrage wechseln.

Der Marktplatz ist ein aussagekräftiges Testumfeld, da dort reale gleichzeitige Anfragen, unterschiedliche Anfragegrößen und eine große Modellvielfalt zusammenkommen. Aegaeon hielt die Beschleuniger in diesem Umfeld stärker ausgelastet, verringerte die Leerlaufzeit bei selten genutzten Diensten und bewahrte durch die feinere Einplanung die Reaktionsfähigkeit bei stark nachgefragten Modellen. Die Kombination aus Planung auf Token-Ebene und sorgfältiger Speichernutzung scheint der Schlüssel zu mehr nutzbarer Rechenleistung pro GPU-Stunde zu sein.

Das Forschungsteam der Peking-Universität und von Alibaba Cloud argumentierte, die Branche lasse Geld liegen, weil GPUs Modellen mit sporadischer Nachfrage fest zugewiesen würden. Die Forschenden formulierten ihre Schlussfolgerung in der Arbeit direkt:

Aegaeon ist die erste Arbeit, die die übermäßigen Kosten des Betriebs gleichzeitiger LLM-Workloads auf dem Markt aufzeigt.

Diese Einschätzung deckt sich mit den Mustern auf Modellmarktplätzen. Anbieter wissen seit Langem, dass die geringe Nachfrage nach vielen Modellen Kapazitäten bindet und die Kosten für alle in die Höhe treibt. Aegaeons Ansatz zeigt, dass eine auf den Betrieb mehrerer Modelle abgestimmte Planung und Speicherverwaltung diese Verschwendung verringern kann.

Bedeutung für Cloud-Kunden und Entwickler

Für Kunden können weniger GPUs pro Durchsatzeinheit niedrigere Preise, großzügigere Kontingente und eine besser vorhersehbare Leistung bedeuten. Kann eine Cloud denselben Datenverkehr mit etwa einem Fünftel der Beschleuniger bedienen, wird Kapazität für Spitzenzeiten frei und Wartelisten für neue Bereitstellungen werden kürzer. Entwickler, die mehrere Modelle in einer Anwendung kombinieren, könnten außerdem seltener durch Kaltstarts und den Wechsel von Replikaten ausgebremst werden, wenn sich der Datenverkehr auf verschiedene Endpunkte verlagert.

Für Kunden gibt es praktische Fragen, die berücksichtigt werden müssen. Die gemeinsame Nutzung mehrerer Modelle muss eine ausreichende Isolation gewährleisten, damit die Workloads eines Mandanten weder die Nutzungserfahrung anderer beeinträchtigen noch Daten preisgeben. Der Scheduler muss Prioritäts- und Fairnessregeln einhalten, damit beliebte Modelle schnell reagieren und weniger gefragte Modelle trotzdem Fortschritte machen. Der Arbeit zufolge berücksichtigt Aegaeons Planung auf Token-Ebene die Anforderungen an die Servicequalität. Dennoch benötigen Cloud-Anbieter eine zuverlässige Überwachung und Drosselung, um die Latenz am Ende der Verteilung im Griff zu behalten, wenn sie die gemeinsame Ressourcennutzung auf größere Flotten ausweiten.

Nvidia, China und der Hintergrund zum KI-Chipmarkt

Aegaeon kommt zu einer Zeit, in der weltweit ein knappes Angebot an Hochleistungsbeschleunigern herrscht und weiterhin Exportbeschränkungen für fortschrittliche KI-Chips nach China gelten. Nvidia entwickelte den H20 für den chinesischen Markt, um diese Vorgaben einzuhalten. Viele chinesische Anbieter nutzen diesen Chip für Inferenz. Gleichzeitig investieren chinesische Entwickler wie Huawei und Cambricon in heimische Alternativen. Software, mit der jede GPU mehr Arbeit bewältigen kann, ist in jedem Markt wertvoll, besonders aber dort, wo der Zugang zu den fortschrittlichsten Chips eingeschränkt ist.

Nvidias Führung hat mitgeteilt, dass die kurzfristige Finanzprognose wegen politischer Beschränkungen kaum oder gar keine Umsätze mit fortschrittlichen Chips für China berücksichtigt. Vor diesem Hintergrund gewinnen die Ergebnisse von Alibaba Cloud zusätzlich an Bedeutung. Können große Anbieter ihre installierte Basis mithilfe von Software besser auslasten, können sie ihre Dienste auch dann weiter ausbauen, wenn das Angebot an Spitzenbeschleunigern begrenzt ist.

Wie Aegaeon sich von anderen Ansätzen unterscheidet

Bis vor Kurzem konnten die meisten Mehrmodell-Serving-Systeme nur zwei oder drei Modelle sicher auf einer GPU multiplexen, bevor der zusätzliche Aufwand den Nutzen überwog. Jedes weitere Modell verursachte mehr Kontextwechsel, mehr Cache-Fehlzugriffe und ein höheres Risiko für Leistungsschwankungen, die Latenzvorgaben verletzen können. Aegaeons Design zielt darauf ab, diese Wechselkosten zu senken und wichtige Datenstrukturen für mehrere Modelle im Speicher zu halten. Deshalb kann ein Beschleuniger unter den berichteten Bedingungen nun bis zu sieben Modelle unterstützen.

Dedizierte Instanzen eignen sich weiterhin für Endpunkte mit dem höchsten Durchsatzbedarf oder für Workloads mit strengen Isolationsanforderungen. Am anderen Ende des Spektrums kann serverlose Inferenz, bei der Modellreplikate bei Bedarf vollständig gestartet werden, bei Modellen mit wenig Datenverkehr kostengünstig sein, leidet aber unter längeren Startzeiten. Aegaeon verfolgt einen Mittelweg: Das System bündelt Kapazitäten und hält Modelle bereit, plant die Arbeit dann in kleinen Zeitscheiben ein und steigert so die Gesamtauslastung, ohne dafür große Latenzeinbußen in Kauf nehmen zu müssen.

Offene technische Fragen und nächste Schritte

Der Betatest lief auf dem Modellmarktplatz von Alibaba Cloud. Das ist ein umfangreiches Umfeld, deckt aber nicht die gesamte Service-Infrastruktur ab. Eine Ausweitung von Aegaeon auf weitere Regionen und unterschiedliche Produktlinien, etwa dedizierte Unternehmenskonten oder lokale Installationen, würde das Design unter anderen Rahmenbedingungen erproben. Eine weitere offene Frage ist, wie sich der Scheduler bei längeren Kontexten und bei multimodalen Modellen schlägt, die Sprache mit Bild und Audio kombinieren. Solche Szenarien stellen neue Anforderungen an Speicher- und Cache-Verwaltung.

Ein weiterer Forschungsansatz ist die gemeinsame Nutzung unterschiedlicher Beschleuniger und mehrerer Knoten. Könnte ein Scheduler nicht nur eine einzelne GPU, sondern eine Gruppe von GPUs über ein Netzwerk bündeln, ließen sich möglicherweise zusätzliche Effizienzgewinne erzielen, sofern der Aufwand für die Verbindung gering bleibt und die Speicherplatzierung vorhersehbar ist. Die bislang veröffentlichten Ergebnisse zeigen bereits große Vorteile bei der Bündelung auf einem einzelnen Gerät. Das ist ein bedeutender praktischer Fortschritt für heutige Inferenz-Workloads.

Kurzübersicht

• Aegaeon senkte den GPU-Bedarf für den Marktplatzdienst von Alibaba Cloud von 1.192 Nvidia-H20-Einheiten auf 213, eine Reduzierung um 82 Prozent.
• Während eines mehr als dreimonatigen Betatests bediente das System Dutzende Modelle mit bis zu 72 Milliarden Parametern.
• In den berichteten Tests unterstützte eine einzelne GPU bis zu sieben Modelle, verglichen mit zwei oder drei bei früheren Systemen.
• Die Planung auf Token-Ebene, die Wiederverwendung von Speicher und die Synchronisierung des Key-Value-Caches senkten den Aufwand für die automatische Skalierung um 97 Prozent.
• Experimente zeigten anhaltend zwei- bis zweieinhalbmal höhere Ankunftsraten oder einen 1,5- bis neunmal höheren Goodput als bei alternativen Systemen.
• Der Ansatz zielt auf das Problem der geringen Nachfrage nach vielen Modellen auf Marktplätzen, bei denen eine Minderheit der Anfragen einen großen Teil der GPUs bindet.
• Die Ergebnisse kommen zu einer Zeit, in der Exportbeschränkungen den Zugang zu fortschrittlichen KI-Chips in China begrenzen und heimische GPU-Projekte an Fahrt gewinnen.