Nvidia steigert seinen Superchip Grace-Hopper mit schnellerem Speicher für KI
Nvidia verbessert Superchip Grace-Hopper mit schnellerem KI-Speicher
Nvidia CEO Jensen Huang präsentierte am Dienstag die nächste Version des kombinierten CPU- und GPU-Chips “GH200” Grace Hopper “Superchip”. Der Chip erhöht die Speicherkapazität auf 5 Terabyte pro Sekunde, um mit der zunehmenden Größe von KI-Modellen umzugehen.
Nvidia plant, im nächsten Jahr eine verbesserte Version dessen, was es als “Superchip” bezeichnet, zu verschicken. Der “Superchip” kombiniert CPU und GPU und verfügt über schnelleren Speicher, um mehr Daten in und aus der Schaltung des Chips zu bewegen. Nvidia CEO Jensen Huang gab die Ankündigung am Dienstag während seiner Keynote-Rede auf der SIGGRAPH Computergrafikmesse in Los Angeles bekannt.
Der GH200-Chip ist die nächste Version des Grace Hopper Combo-Chips, der bereits in seiner ersten Version in Computern von Dell und anderen Unternehmen erhältlich ist.
Außerdem: Nvidia enthüllt neue Art von Ethernet für KI, Grace Hopper ‘Superchip’ in Vollproduktion
Während der ursprüngliche Grace Hopper 96 Gigabyte HBM-Speicher für die Hopper-GPU enthält, enthält die neue Version 140 Gigabyte HBM3e, die nächste Version des High-Bandwidth-Memory-Standards. HBM3e erhöht die Datenrate, mit der die GPU mit 5 Terabyte (Billionen Bytes) pro Sekunde versorgt wird, im Vergleich zu 4 Terabyte beim originalen Grace Hopper.
- Es ist offiziell Amazon wird im Oktober einen zweiten Prime Day Sal...
- ESA-Satelliten erfassen das Ausmaß der Waldbrände in Europa
- Norwegen verhängt eine Geldstrafe von 1 Million Kronen pro Tag gege...
Der GH200 wird ein Jahr nach dem originalen Grace Hopper erscheinen, der laut Huang im Mai in Vollproduktion ist.
“Die Chips befinden sich in Produktion, wir werden sie Ende des Jahres oder so testen und bis Ende des zweiten Quartals [2024] in Produktion sein”, sagte er am Dienstag.
Der GH200 verfügt wie das Original über 72 ARM-basierte CPU-Kerne im Grace-Chip und 144 GPU-Kerne in der Hopper-GPU. Die beiden Chips sind über eine Hochgeschwindigkeits-Cache-kohärente Speicherschnittstelle, NVLink genannt, auf der Leiterplatte miteinander verbunden, die es der Hopper-GPU ermöglicht, auf den DRAM-Speicher der CPU zuzugreifen.
Huang erläuterte, wie der GH200 mit einem zweiten GH200 in einem Dual-Konfigurations-Server verbunden werden kann, um insgesamt 10 Terabyte HBM3e-Speicherbandbreite zu erreichen.
GH200 ist die nächste Version des Grace Hopper Superchips, der entwickelt wurde, um die Arbeit von KI-Programmen durch eine enge Kopplung von CPU und GPU zu teilen.
Die Verbesserung der Speichergeschwindigkeit von GPU-Teilen ist für Nvidia ziemlich üblich. Zum Beispiel wechselte die vorherige Generation von GPU – A100 “Ampere” – von HBM2 zu HBM2e.
HBM begann 2015 den vorherigen GPU-Speicherstandard GDDR zu ersetzen, angetrieben von den gestiegenen Speicheranforderungen von 4K-Displays für Videospielgrafiken. HBM ist eine “gestapelte” Speicherkonfiguration, bei der die einzelnen Speicher-Chips vertikal übereinander gestapelt sind und über ein “Through-Silicon-Via” miteinander verbunden sind, das durch jeden Chip zu einem “Mikro-Bump” verläuft, das zwischen jedem Chip auf der Oberfläche gelötet ist.
KI-Programme, insbesondere der generative KI-Typ wie ChatGPT, sind sehr speicherintensiv. Sie müssen eine enorme Anzahl von neuronalen Gewichten oder Parametern speichern, die Matrizen, die die Hauptfunktionseinheiten eines neuronalen Netzwerks darstellen. Diese Gewichte erhöhen sich mit jeder neuen Version eines generativen KI-Programms wie einem großen Sprachmodell und tendieren in Richtung einer Billion Parameter.
Außerdem: Nvidia fegt KI-Benchmarks, aber Intel bringt bedeutende Konkurrenz
Außerdem kündigte Nvidia während der Messe mehrere andere Produkte und Partnerschaften an.
AI Workbench ist ein Programm, das auf einer lokalen Workstation läuft und es einfach macht, neuronale Netzmodelle in containerisierter Form in die Cloud hochzuladen. AI Workbench meldet derzeit Benutzer für den frühen Zugriff an.
Neue Workstation-Konfigurationen für generative KI, von Dell, HP, Lenovo und anderen unter der Marke “RTX”, werden bis zu vier der “RTX 6000 Ada GPUs” des Unternehmens kombinieren, von denen jede 48 Gigabyte Speicher hat. Jede Desktop-Workstation kann bis zu 5.828 Billionen Gleitkommaoperationen pro Sekunde (TFLOPs) an KI-Leistung und 192 Gigabyte GPU-Speicher bereitstellen, so Nvidia.
Sie können die Wiederholung von Huangs voller Keynote auf der Nvidia-Website ansehen.
