Ein radikaler Wandel der Computerarchitektur
Chinesische Forschende haben einen neuartigen Analogrechenchip vorgestellt, der Aufgaben der künstlichen Intelligenz mit einem Bruchteil der Energie herkömmlicher digitaler Prozessoren bewältigt. Das ist ein wichtiger Meilenstein bei den Bemühungen, nachhaltigere KI-Hardware zu entwickeln. In einer diese Woche in der Fachzeitschrift Nature Communications veröffentlichten Studie zeigten Wissenschaftler der Peking-Universität, dass ihr resistiver Speicherchip mit wahlfreiem Zugriff Empfehlungssysteme anhand von Datensätzen trainieren kann, deren Umfang mit denen von Netflix und Yahoo vergleichbar ist. Dabei war er zwölfmal schneller als fortschrittliche digitale Prozessoren und verbrauchte nur ein Zweihundertstel der Energie.
Inhalt
Der Durchbruch bestätigt frühere theoretische Annahmen und führt die Technologie zugleich über einfache mathematische Vergleichstests hinaus in praktische Anwendungen. Der Erstautor Sun Zhong sagte, die Leistung verschiebe die Grenzen des Analogrechnens erneut. Der neue Chip bewältige komplexe Aufgaben und behalte dabei die inhärenten Geschwindigkeits- und Energievorteile analoger Berechnungen bei. Die Entwicklung kommt zu einem Zeitpunkt, an dem Rechenzentren weltweit mit dem stark steigenden Strombedarf durch das Training von KI-Modellen kämpfen. Einige Anlagen verbrauchen so viel Strom wie kleine Städte.
Die Forschung baut auf Arbeiten auf, über die erstmals im Oktober berichtet wurde. Damals teilte das Team mit, ein nach Einschätzung von Fachleuten seit einem Jahrhundert bestehendes Präzisionsproblem des Analogrechnens gelöst zu haben. Die Forschenden vermuteten seinerzeit, der Chip könne möglicherweise tausendmal höhere Verarbeitungsgeschwindigkeiten als führende digitale Einheiten wie die Grafikkarte Nvidia H100 erreichen und dabei hundertmal energieeffizienter sein. Die jüngste Veröffentlichung bestätigt Leistungssteigerungen unter realen Bedingungen, wenn auch in geringerem Umfang als zunächst theoretisch prognostiziert. Zugleich weist sie Fähigkeiten bei personalisierten Empfehlungen und der Bildverarbeitung nach.
Anders als herkömmliche Computer, die Informationen als Binärzahlen, also Nullen und Einsen, verarbeiten, arbeiten analoge Systeme mit kontinuierlichen physikalischen Signalen wie elektrischem Strom. Digitales Rechnen funktioniert wie ein herkömmlicher Lichtschalter mit nur zwei Stellungen, an oder aus. Analoges Rechnen ähnelt eher einem Dimmer, der Werte über einen kontinuierlichen Bereich anpasst. Dank dieses grundlegenden Unterschieds können Analogchips Berechnungen anhand physikalischer Eigenschaften statt mit Binärcode ausführen. So umgehen sie den energieintensiven Datentransfer zwischen Speicher und Recheneinheiten, der herkömmliche Prozessoren ausbremst.
Der Zeitpunkt dieser Entwicklung ist entscheidend, denn die Branche für künstliche Intelligenz steht vor einer Energiekrise. Das Training eines einzigen großen Sprachmodells kann Megawattstunden Strom verbrauchen. Rechenzentren weltweit nutzen bereits mehr Energie als manche Industrieländer. Herkömmliche digitale Prozessoren stoßen an grundlegende physikalische Grenzen, da die Hersteller sich der atomaren Größenordnung von Halbleiterbauteilen nähern. Für weitere Fortschritte werden daher zunehmend Innovationen bei der Architektur statt bei der Fertigung benötigt.
Analoge Systeme hatten jedoch in der Vergangenheit mit Präzisionsproblemen zu kämpfen. Während digitale Computer mithilfe schrittweiser Algorithmen exakte Ergebnisse erzielen, waren analoge Geräte anfällig für Signalstörungen und Rauschen und eigneten sich deshalb nicht für komplexe moderne Anwendungen. Diese Einschränkung ließ die Analogtechnik jahrzehntelang als historische Kuriosität erscheinen, obwohl sie eine lange Geschichte hat. Zu ihren frühen Beispielen zählt der Mechanismus von Antikythera, ein 2.000 Jahre alter griechischer astronomischer Rechner, der mit ineinandergreifenden Zahnrädern Himmelspositionen vorhersagte.
Die Präzisionshürde überwinden
Das Team der Peking-Universität begegnete dieser Einschränkung mit einer neuartigen Architektur aus zwei Schaltkreisen, die die Geschwindigkeit analoger Berechnungen mit der Genauigkeit digitaler Systeme verbindet. Der Chip nutzt resistive Speicherzellen mit wahlfreiem Zugriff, die Daten speichern, indem sie den elektrischen Widerstand zwischen Elektroden verändern. Durch die Anordnung dieser Zellen in zwei getrennten Schaltkreisen entwickelten die Forschenden ein System, das zunächst schnell Näherungslösungen berechnet und diese anschließend in mehreren Verarbeitungsschritten verfeinert. So erreicht es eine Genauigkeit, die mit digitalen Berechnungen im 32-Bit-Gleitkommaformat vergleichbar ist.
Präzision ist seit Langem der zentrale Engpass des Analogrechnens. Wie sich beim Analogrechnen zugleich hohe Präzision und Skalierbarkeit erreichen lassen, um seine inhärenten Vorteile für moderne Rechenaufgaben zu nutzen, ist ein seit einem Jahrhundert ungelöstes Problem, das die weltweite Wissenschaftsgemeinschaft beschäftigt.
Sun Zhong, Assistenzprofessor an der Universität, erklärte, der Ansatz verbessere die Präzision herkömmlicher analoger Berechnungen um fünf Größenordnungen, also ungefähr um das Hunderttausendfache. Der erste Schaltkreis liefert Ergebnisse mit einer Fehlerquote von etwa einem Prozent. Nach drei Verfeinerungsdurchläufen im zweiten Schaltkreis sinkt der Fehler auf ein Niveau, das mit dem von Standard-Digitalprozessoren vergleichbar ist. Das Team demonstrierte diese Fähigkeit, indem es Matrixinversionen mit reellwertigen Matrizen der Größe 16 mal 16 und einer Festkommapräzision von 24 Bit berechnete.
Die resistive Speichertechnologie mit wahlfreiem Zugriff im Zentrum dieser Innovation stellt eine deutliche Abkehr vom herkömmlichen Rechnen mit Transistoren dar. RRAM-Zellen funktionieren als Memristoren: elektrische Bauteile, die sich daran erinnern, wie viel Strom zuvor durch sie geflossen ist, indem sie ihren inneren Widerstand verändern. Dadurch kann der Chip Informationen am selben physischen Ort speichern und verarbeiten. Die Trennung zwischen Speicher und Prozessor entfällt, durch die herkömmliche Computer beim Hin- und Hertransport von Daten über Datenleitungen Energie verlieren.
Matrixoperationen bilden die mathematische Grundlage moderner künstlicher Intelligenz, des maschinellen Lernens und der drahtlosen Kommunikation. Beim Training neuronaler Netze oder bei der Signalverarbeitung für 6G-Netze müssen Computer Gleichungen mit riesigen Zahlenfeldern lösen. Digitale Prozessoren erledigen diese Aufgaben nacheinander und zerlegen die Berechnungen in lange Folgen binärer Operationen. Der Analogchip verarbeitet solche Matrizen parallel und rechnet direkt in den Speicherfeldern, ohne die Signale in Binärcode umzuwandeln.
Die Bedeutung der Lösung des Präzisionsproblems lässt sich kaum überschätzen. Analoges Rechnen ist älter als die digitale Technik. Zu den frühen Beispielen gehört ein sowjetischer Wasserintegrator aus dem Jahr 1936, der mithilfe von durch Röhren fließendem Wasser mathematische Gleichungen löste. Trotz solcher Innovationen führten Probleme mit Rauschen und Skalierbarkeit dazu, dass analoge Systeme mit der Reifung der Digitaltechnik verdrängt wurden. Der neue Chip lässt diese Konzepte mithilfe moderner resistiver Speichertechnologie wieder aufleben und könnte Architekturen zurückbringen, die vor Jahrzehnten aufgegeben wurden.
Von der mathematischen Theorie zu praktischen Anwendungen
Während die erste Ankündigung theoretische Möglichkeiten in den Mittelpunkt stellte, bestätigt die jüngste Veröffentlichung die Leistungsfähigkeit bei praxisnahen KI-Aufgaben, die den Anforderungen der Branche entsprechen. Der Chip bewältigte personalisierte Empfehlungssysteme mit Datensätzen, deren Umfang mit denen von Netflix und Yahoo vergleichbar ist, und ging damit über einfache mathematische Vergleichstests hinaus. Bei Tests zur Bildkompression rekonstruierte das System Bilddaten in einer Qualität, die der Berechnung mit voller digitaler Präzision nahezu entsprach, und halbierte zugleich den Speicherbedarf.
Diese Anwendungen gehören zu den datenintensiven Aufgaben, die derzeit weltweit die Ressourcen von Rechenzentren belasten. Empfehlungsalgorithmen treiben Streamingdienste, soziale Netzwerke und Online-Shops an. Sie verarbeiten Milliarden von Nutzerinteraktionen, um personalisierte Vorschläge zu erstellen. Bildkompression ist für alles von Videostreaming bis hin zur medizinischen Bildgebung wichtig. Werden Dateigrößen ohne Qualitätsverlust reduziert, sinken die Kosten für Bandbreite und Speicherplatz. Dass der Chip solche Aufgaben bei minimalem Energieverbrauch bewältigen kann, deutet darauf hin, dass er die Funktionsweise dieser Dienste verändern könnte.
Damit verschieben wir die Grenzen des Analogrechnens erneut.
Über Anwendungen für Verbraucher hinaus zeigte der Chip auch seine Fähigkeiten bei Tests für die drahtlose Kommunikation: Er erkannte Signale in massiven Mehrfacheingabe-Mehrfachausgabe-Systemen. Diese Technologie ist entscheidend für künftige 6G-Netze, in denen Basisstationen große Antennenfelder in Echtzeit verarbeiten müssen. Bei diesen Kommunikationsaufgaben erreichte das Gerät die Leistung digitaler Prozessoren und verbrauchte dabei rund hundertmal weniger Energie. Das deutet auf Einsatzmöglichkeiten in Umgebungen mit begrenzter Energieversorgung hin, in denen Akkulaufzeit oder Kühlleistung herkömmliche Hardware einschränken.
Künftige 6G-Funknetze müssen Basisstationen in die Lage versetzen, Hunderte Antennenelemente gleichzeitig zu steuern und riesige Mengen an Signaldaten in Echtzeit zu verarbeiten, damit die Verbindungen zu Mobilgeräten aufrechterhalten werden. Die Rechenanforderungen dieser Systeme übersteigen die Fähigkeiten heutiger digitaler Signalprozessoren, insbesondere hinsichtlich der Latenzvorgaben und des Energiehaushalts abgelegener Mobilfunkmasten. Der Analogchip kann drahtlose Kommunikationssignale mit einer Leistung erkennen, die mit der digitaler Prozessoren vergleichbar ist, und benötigt dafür nur wenig Energie. Das macht ihn besonders geeignet für Anwendungen in der Telekommunikation.
Die Energieeinsparungen fallen besonders ins Gewicht, wenn man den Umfang der modernen KI-Infrastruktur berücksichtigt. Das Training großer Sprachmodelle erfordert wochenlange Berechnungen auf Tausenden leistungsstarken Grafikkarten und verbraucht Megawattstunden Strom. Eine Verringerung des Energieverbrauchs um zwei Größenordnungen bei gleichbleibender oder höherer Verarbeitungsgeschwindigkeit könnte sowohl die Betriebskosten als auch die Umweltbelastung drastisch senken. Damit ließen sich wachsende Sorgen über den CO₂-Fußabdruck der Entwicklung künstlicher Intelligenz angehen.
Der globale Halbleiterkontext
Der Durchbruch kommt zu einem entscheidenden Zeitpunkt in der globalen Technologielandschaft: Exportbeschränkungen schränken Chinas Zugang zu fortschrittlichen Nvidia-GPUs und anderen leistungsstarken digitalen Prozessoren ein. Der Chip ersetzt zwar nicht unmittelbar universell einsetzbare Grafikkarten, bietet aber eine spezialisierte Alternative für bestimmte Rechenaufgaben, die bei KI-Training und Inferenz eine zentrale Rolle spielen. Branchenanalysten zufolge könnte dies die KI-Hardware verändern, indem der Chip eine energieeffiziente Option für matrixbasierte Berechnungen bietet, die den Kern neuronaler Netze bilden.
Der Vergleich mit der Nvidia H100, der Grafikkarte, mit der große Sprachmodelle wie ChatGPT trainiert werden, verdeutlicht das mögliche Veränderungspotenzial. Theoretischen Prognosen zufolge könnte der Chip bei bestimmten Matrixoperationen einen tausendmal höheren Durchsatz als diese digitalen Prozessoren erreichen und hundertmal energieeffizienter sein. Selbst die im Praxistest bestätigten Ergebnisse – eine zwölfmal höhere Geschwindigkeit und eine zweihundertmal bessere Energieeffizienz – stellen gegenüber der derzeit in Rechenzentren weltweit vorherrschenden Technik erhebliche Fortschritte dar.
Für die Herstellung kamen kommerzielle Foundry-Kapazitäten zum Einsatz. Die Produktion könnte daher theoretisch ausgeweitet werden, ohne exotische Materialien oder völlig neue Fertigungsanlagen zu benötigen. Damit unterscheidet sich die Forschung von Laborentwicklungen, die außerhalb kontrollierter Umgebungen nicht funktionieren. Die Chips wurden mit standardmäßigen Halbleiterfertigungsverfahren hergestellt. Sollte sich eine Nachfrage entwickeln, könnte die Produktion daher über bestehende Lieferketten hochgefahren werden, statt Milliarden in Infrastruktur investieren zu müssen.
James Millen, Forscher am King's College London, ordnete die Bedeutung von Matrixberechnungen für das KI-Training ein. Digitale Computer seien universell einsetzbare Maschinen, die alles berechnen könnten, aber nicht unbedingt alles effizient oder schnell. Auf bestimmte Aufgaben zugeschnittene Analogcomputer könnten diese speziellen Anwendungen mit enormer Geschwindigkeit und Effizienz bewältigen und so den gewaltigen Energiebedarf senken, der mit der zunehmenden Nutzung von KI einhergeht.
Technische Grenzen und Weiterentwicklung
Trotz beeindruckender Vergleichswerte räumen die Forschenden erhebliche Einschränkungen ein. Sun Zhong warnte, dass die Gewinne bei realen Anwendungen geringer ausfallen könnten als die theoretischen Höchstwerte. Der Chip ist ausschließlich auf Matrixberechnungen spezialisiert und beschleunigt daher nur jene Teile des KI-Trainings, bei denen diese konkreten mathematischen Operationen zum Einsatz kommen. Machen Matrixberechnungen den Großteil einer bestimmten Arbeitslast aus, ist der Geschwindigkeitsgewinn beträchtlich. Bei allgemeinen Rechenaufgaben, die verschiedene Operationen erfordern, bleiben die Vorteile jedoch begrenzt.
Das spricht dafür, dass die Zukunft eher hybriden Architekturen gehört als einem vollständigen Ersatz digitaler Prozessoren durch analoge. Künftige Grafikprozessoren könnten analoge Schaltkreise für bestimmte Teile von KI-Trainingsalgorithmen enthalten, insbesondere für Optimierungsverfahren zweiter Ordnung und Operationen der linearen Algebra. Für allgemeine Rechenaufgaben würden sie zugleich digitale Kerne behalten. Bis solche Lösungen als kommerzielle Produkte verfügbar sind, dürften noch Jahre vergehen. Die Forschung liefert jedoch grundlegende Technologien für diese Entwicklung.
Edge Computing ist ein weiteres vielversprechendes Anwendungsfeld. Autonome Fahrzeuge, Industrieroboter und Augmented-Reality-Headsets benötigen erhebliche Rechenleistung, unterliegen aber strengen Einschränkungen bei Akkulaufzeit und Wärmeentwicklung. Derzeitige Lösungen übertragen Daten zur Verarbeitung an Cloud-Server, was zu Verzögerungen und einer Abhängigkeit von der Verbindung führt. Analogchips, die komplexe KI-Inferenz lokal und ohne die Energienachteile digitaler Prozessoren ausführen können, könnten diesen Geräten einen autonomeren Betrieb ermöglichen und die Akkulaufzeit deutlich verlängern.
Auch die Skalierbarkeit ist eine Herausforderung. Digitale Prozessoren bewältigen beliebig große Probleme, indem sie diese in kleinere Teile zerlegen und nacheinander verarbeiten. Analoge Systeme benötigen hingegen physisch größere Schaltkreise, um größere Matrizen zu lösen. Der Bau von Chips, die Millionen mal Millionen Variablen verarbeiten können, wie sie in modernen großen Sprachmodellen vorkommen, würde erhebliche technische Fortschritte erfordern. Für Edge-Computing-Anwendungen, bei denen der Energieverbrauch entscheidend ist, könnten jedoch bereits kleinere Analogchips komplexe KI direkt auf Geräten ermöglichen, ohne auf Cloud-Verbindungen angewiesen zu sein.
Das Forschungsteam kündigt als nächste Ziele größere, vollständig integrierte Chips an, die komplexere Probleme schneller bewältigen können. Erfolge auf diesem Gebiet könnten die Entwicklung der 6G-Kommunikation beschleunigen, ein effizienteres Training von KI-Modellen ermöglichen und die Umweltbelastung durch Rechenzentren senken, die derzeit einen wachsenden Anteil der weltweiten Stromerzeugung verbrauchen. Da digitales Rechnen durch die Trennung von Speicher und Verarbeitung an physikalische Grenzen stößt, bieten analoge Alternativen einen Weg zu weiteren Leistungssteigerungen ohne einen entsprechenden Anstieg des Energieverbrauchs.
Das Wichtigste in Kürze
- Forschende der Peking-Universität haben einen analogen KI-Chip mit resistivem Speicher mit wahlfreiem Zugriff entwickelt. Bei praxisnahen Aufgaben wie Empfehlungen und Bildverarbeitung ist er zwölfmal schneller und zweihundertmal energieeffizienter als fortschrittliche digitale Prozessoren.
- Das Gerät löst das seit einem Jahrhundert bestehende Präzisionsproblem, das bislang verhindert hat, dass Analogrechner die Genauigkeit digitaler Systeme erreichen. Eine Architektur mit zwei Schaltkreisen verfeinert dabei Näherungsberechnungen, bis die Fehlerraten mit denen von 32-Bit-Gleitkommasystemen vergleichbar sind.
- Anders als digitale Prozessoren, die mit binären Nullen und Einsen arbeiten, verarbeitet der Chip kontinuierliche elektrische Signale und führt Matrixberechnungen direkt im Speicher aus. Dadurch entfällt der Datentransport, der bei herkömmlichen Computern den größten Teil des Energieverbrauchs verursacht.
- Die Technologie wurde mit kommerziellen Halbleiterverfahren hergestellt, was auf ein Potenzial für die Massenproduktion hindeutet. Die derzeitigen Ausführungen verarbeiten allerdings kleinere Matrizen als jene, die für das Training der größten KI-Modelle erforderlich sind.
- Zu den Anwendungsfeldern zählen personalisierte Empfehlungssysteme, Bildkompression, Signalverarbeitung für 6G-Mobilfunk und möglicherweise hybride Rechnerarchitekturen, die analoge Effizienz mit digitaler Flexibilität verbinden.
- Der Durchbruch erfolgt, während China mit Beschränkungen bei der Einfuhr fortschrittlicher Nvidia-GPUs konfrontiert ist. Der Chip bietet eine im Inland entwickelte Alternative für bestimmte KI-Aufgaben und könnte zugleich den Energieverbrauch von Rechenzentren weltweit senken.
