HBM3 Gen2: Microns erster High Bandwidth Memory ist am schnellsten

Erst jetzt und damit deutlich später als Samsung und SK Hynix steigt Micron in den Markt mit High Bandwidth Memory (HBM) ein. Dafür legt der US-Konzern direkt beim Durchsatz die Messlatte nach oben. Microns „HBM3 Gen2“ bringt es auf 1,2 TB/s pro Speicherstapel mit 24 GByte Kapazität.

Erst vor einem Monat hatte Micron die Verfügbarkeit erster Musterchips seines HBM-Debüts und einen Produktionsstart im kommenden Jahr angekündigt. Jetzt erfolgt die offizielle Vorstellung mit Details zur Technik.

Micron startet direkt bei HBM3 2.0

Dass Microns erstes Produkt dieser auf hohen Durchsatz getrimmten DRAM-Variante mit übereinander gestapelten Dies zur Generation HBM3 gehören wird, war bekannt und zu erwarten. Doch hat Micron jetzt enthüllt, dass sein erster HBM3 gleich deutlich schneller ist als jener der Konkurrenz. Daher spricht Micron vom schnellsten HBM der Branche und nennt diesen „HBM3 Gen2“.

Bisher galt eine Transferrate von 6,4 GT/s pro Pin als Maximum für den HBM3-Standard. Daraus ergibt sich eine Übertragungsrate von bis zu 819 GByte/s für einen HBM3-Baustein. Sowohl Samsung als auch der HBM-Marktführer SK Hynix bieten HBM3 dieser Geschwindigkeitsklasse an.

	max. Durchsatz pro Pin	max. Durchsatz pro Stack	max. Kapazität pro Stack
HBM1	1 Gb/s	128 GB/s	1 GB
HBM2	2 Gb/s	256 GB/s	8 GB
HBM2E	3,6 Gb/s	461 GB/s	16 GB
HBM3	6,4 Gb/s	819 GB/s	24 GB
HBM3 Gen2	9,2 Gb/s	1.178 GB/s	36 GB

Micron kontert nun mit einer Erhöhung der Transferrate pro Pin auf 9,2 GT/s, was ein Plus von rund 44 Prozent bedeutet. Von 819 GB/s geht es pro Stapel (Stack) auf gerundete 1,2 TB/s hoch. Ebenso grob gerundet spricht Micron von einer Steigerung des Durchsatzes um bis zu 50 Prozent. Rein rechnerisch sollten es 1.177,6 GB/s sein.

SK Hynix will wiederum nächstes Jahr die Geschwindigkeit seines HBM3 erhöhen. Das Unternehmen spricht dabei von „HBM3E“ und will den Durchsatz auf bis zu 8 Gbit/s pro Pin respektive rund 1 TB/s pro Stack steigern. Micron bliebe damit noch immer ein Geschwindigkeitsvorteil.

Laut letzten Prognosen ist mit HBM4 ab dem Jahr 2026 zu rechnen. Dann soll der Durchsatz pro Stapel auf über 1,4 TB/s steigen.

Erstmals 24-Gigabit-Dies im Einsatz

In einem weiteren Punkt ist Micron der Konkurrenz einen Schritt voraus. Denn es kommen bereits DRAM-Dies aus Microns neuem 1β-Prozess zum Einsatz, die statt der üblichen 16 Gbit (2 GByte) je 24 Gbit (3 GByte) Speicherkapazität aufweisen. Somit kann Micron nun einen HBM3-Stapel mit 24 GByte Speichervolumen auf Basis von nur 8 DRAM-Dies statt der sonst nötigen 12 Dies realisieren. Später will Micron dann HBM3 mit 36 GByte anbieten, indem 12 Dies gestapelt werden. Allerdings sollen Muster der 36-GB-Version erst im ersten Quartal 2024 zur Verfügung stehen und werden demnach noch viel später in Serie gefertigt.

Höhere Energieeffizienz

Dank der höheren Geschwindigkeit sowie diversen Verbesserungen will Micron nach eigenen Angaben die Leistung pro Watt um den Faktor 2,5 gegenüber der vorherigen Generation gesteigert haben. Als Verbesserungen nennt Micron eine Verdoppelung der vertikalen Verbindungen (Through-Silicon Vias), eine massive Erhöhung der Metalldichte und ein energieeffizientes Datenpfaddesign.

The improved power efficiency is possible because of Micron advancements such as doubling of the through-silicon vias (TSVs) over competitive HBM3 offerings, thermal impedance reduction through a five-time increase in metal density, and an energy-efficient data path design.

Micron

TSMC baut es zusammen

Während die DRAM-Chips aus Microns eigenen Werken stammen, muss ein Partner das Stapeln in Serie übernehmen. Und so verkündet Micron, dass TSMC diesen Job übernehmen wird. 3D-Halbleiterprodukte nehmen einen immer größeren Stellenwert ein und so passt dazu die jüngste Meldung, dass TSMC noch einmal 2,9 Milliarden USD in eine neue Packaging-Fabrik für solche Produkte investieren wird.

Das KI-Zeitalter verlangt nach schnellem Speicher

Die Forschung an und mit Künstlicher Intelligenz (KI) verlangt nach hoher Rechenleistung. Ebenso groß ist der Bedarf an großem und schnellem Speicher, der auch mit HBM gedeckt werden soll. Supercomputer werden jetzt primär mit GPU-basierten Beschleunigern bestückt, die ihrerseits wiederum immer mehr mit HBM versehen sind.

Ein Beispiel ist AMDs „AI Accelerator“ MI300X, der gleich 192 GB HBM3 für Large Language Models bietet. Und Nvidias H100 NVL mit Doppel-GPU bringt es seinerseits auf 188 GB HBM3.

Welchen Hersteller und welche Produkte Micron künftig mit HBM versorgen wird, ist zwar noch nicht öffentlich bekannt. Allerdings entpuppt sich zumindest Nvidia als potenzieller Abnehmer:

We have a long history of collaborating with Micron across a wide range of products and are eager to be working with them on HBM3 Gen2 to supercharge AI innovation.

Ian Buck, Vice President of Hyperscale and HPC Computing at Nvidia