AMD Instinct MI300C: Ein Custom-Epyc-Prozessor mit 128 GB HBM3 für Microsoft
Zur SC24/Ignite hat Microsoft Azure den ersten Zen-4-Prozessor mit HBM3 als Epyc an den Start gebracht. Dahinter verbirgt sich das zuletzt als Instinct MI300C bezeichnete Produkt: Schon 2023 hatte AMD diese Variante als Zukunftsoption erwähnt. Vorerst bleibt die Custom-Epyc-CPU der 4. Generation aber ziemlich exklusiv.
Noch am Sonntag, als AMDs Chef der Datacentersparte bei der Vorstellung des neuen schnellsten Supercomputers El Capitan zugegen war, sprach AMD ganz kurz von MI300C als mögliche Option. Dass sie nur zwei Tage später offiziell ist, wollte und durfte er dort vermutlich noch nicht verraten und erklärte lediglich „that you might hear something about down the road“ – eine Ankündigung in naher Zukunft wurde also bereits dort angedeutet.
Was ist Instinct MI300C?
MI300 (MI300X & MI300A (Details)) ist ein Beschleuniger für das High-Performance-Computing-Umfeld und insbesondere auch für das aktuell boomende Geschäft mit Künstlicher Intelligenz (AI). Dafür kommen nicht nur Anpassungen bei bereits bekannten Architekturen (CDNA) zum Einsatz; das Ganze wird auch in einem sogenannten 3,5D-Package verpackt. Dafür nutzt AMD das bekannte 2,5D-Chip-Design, wie es bereits seit Jahren in Form von Grafikchips mit direkt daneben liegendem HBM zugegen ist, setzt aber mit dem zusätzlichen 3D-Stacking nicht nur sprichwörtlich noch einen oben drauf, sodass das fertige Produkt auf 3,5D-Stacking setzt.
Die Basisplatte, wenn man es so sagen möchte, ist der I/O-Die. Vier davon liegen nebeneinander. Darauf wiederum sind entweder die eigentlichen GPU/XCD-Dies, oder eben CPU-Chips verbaut. In einem MI300A gibt es sechs XCDs und drei CCDs.
Tausche GPU- gegen CPU-Chiplets
Für einen MI300C werden die XCDs (GPU-Einheiten) nun gegen weitere CCD-Blöcke, wie es sie beim MI300A nur drei Mal mit jeweils acht Kernen gibt, getauscht. Aus 24 Zen-4-Kernen werden so insgesamt 96 Kerne. Der Rest bleibt nahezu identisch. Dazu zählt auch der 128 GByte große HBM3-Speicher auf dem Package. MI300C ist damit quasi ein Epyc-Prozessor mit HBM3.
In der Praxis mit effektiv 88 Kernen und ohne SMT
In der Praxis werden aus der Theorie jedoch leicht andere Parameter, die dem Einsatzzweck geschuldet sind. In Azure HBv5 VM nutzt Microsoft vier dieser Lösungen im Quartett. Pro CPU stehen dann aber nur noch 88 Kerne zur Verfügung, jeweils acht Kerne kümmern sich um das Betriebssystem und Management, damit untereinander alles reibungslos läuft. Auf einem Board sind dann vier dieser CPUs zugegen, die mit maximal 4 GHz takten – also 352 Kerne insgesamt.
Dass auch SMT deaktiviert wurde, hängt am Einsatzzweck im Bereich VM, aber auch dem Ziel der maximal möglichen Speicherbandbreite. Knapp 7 TByte pro Sekunde gibt es in dem Markt selten. Realisiert werden diese über maximal 400 bis 450 GByte HBM3, schreibt Azure, auch hier bleibt man unter dem theoretischen Maximum von 512 GByte.
Die grundlegenden technischen Daten umfassen:
- 6.9 TB/s of memory bandwidth (STREAM Triad) across 400-450 GB of RAM (HBM3)
- Up to 9 GB of memory per core (customer configurable)
- Up to 352 AMD EPYC “Zen4” CPU cores, 4 GHz peak frequencies (customer configurable)
- 2X total Infinity Fabric bandwidth among CPUs as any AMD EPYC™ server platform to date
- SMT disabled, single-tenant only design (1 VM per server)
- 800 Gb/s of NVIDIA Quantum-2 InfiniBand, balanced as 200 Gb/s per CPU SoC
- Azure VMSS Flex to scale MPI workloads to hundreds of thousands of HBM-powered CPU cores
- 160 Gbps of Azure Accelerated Networking via 2nd generation Azure Boost NIC
- 14 TB local NVMe SSD delivering up to 50 GB/s read and 30 GB/s write bandwidth
Vom Showfloor der SC24 in Atlanta wurde vermeldet, dass es diese Prozessoren von AMD aber nicht als generelle Lösung geben wird, erst einmal bleiben sie exklusiv Azure vorbehalten.
