High Bandwidth Flash: SanDisk plant Riesenspeicher für KI-Beschleuniger

SanDisk wird nach der Abspaltung von Western Digital bald wieder eigenständig sein und hat große Zukunftspläne. Einer davon ist der High Bandwidth Flash (HBF), der GPUs mit viel mehr Speicher versorgen soll, als es mit dem bisherigen High Bandwidth Memory (HBM) möglich wäre.

HBF soll HBM ergänzen und ersetzen

Zunächst mag die Idee absurd anmuten, denn bekanntlich ist NAND-Flash erheblich langsamer als DRAM, wie er im HBM gestapelt wird. Dennoch erwägt SanDisk mit dem High Bandwidth Flash den (ergänzenden) Einsatz eines auf hohen Durchsatz getrimmten NAND-Flash, der den GPUs bei der Nutzung von AI-Modellen, dem sogenannten AI-Inferencing, mit viel Speicherplatz unter die Arme greifen soll.

Mindestens 8-Mal mehr Speicher als mit HBM

Zwar gibt es mit jeder neuen Generation von High Bandwidth Memory höhere Speicherkapazitäten, die etwa bei den KI-Beschleunigern von AMD und Nvidia bereits 192 GB erreichen. Doch mit dem High Bandwidth Flash (HBF) will SanDisk die 8- bis sogar 16-fache Speicherkapazität bei vergleichbaren Kosten ermöglichen.

In Grafiken werden zwei Szenarien veranschaulicht und einer herkömmlichen Lösung mit 8 HBM-Paketen und insgesamt 192 GB Speichervolumen gegenübergestellt. Einmal kann die GPU auf 6 HBF-Pakete und noch 2 HBM-Bausteine zugreifen – der High Bandwidth Flash ergänzt den schnellen HBM also, der in geringem Maße aber weiter besteht. Das gesamte Speichervolumen steigt auf 3.120 GB oder rund 3 TB. Im zweiten Szenario wird der HBM sogar komplett durch HBF ersetzt, sodass die GPU sogar auf 4.096 GB (4 TB) Speicher zugreifen kann. Dann passt sogar ein 1,8 Billionen Parameter schweres Frontier LLM mit 3,6 TB Speicherbedarf hinein.

1. 

Bild 1 von 2

In den Beispielen besitzt ein einzelnes HBM-Paket eine Speicherkapazität von 24 GB, während ein HBF-Package auf ganze 512 GB kommt – der großen Flächendichte von NAND-Flash sei dank.

High Bandwidth Flash im Schema

Ein Schema zeigt die gestapelten HBF-Dies über einem Logic-Die. Dieses HBF-Paket sitzt genau wie sonst der HBM auf einem Interposer neben der GPU oder CPU oder TPU, je nachdem wo der Speicher benötigt wird. Der HBF soll dabei die gleiche elektrische Schnittstelle mit „kleineren Protokolländerungen“ nutzen. Drop-in-kompatibel zu HBM wird HBF aber nicht sein.

Gleicher Durchsatz wie mit HBM?

Die große Frage bleibt, wie schnell kann der HBF arbeiten? Laut SanDisk soll er beim Durchsatz (Bandwidth) dem HBM ebenbürtig sein. Normaler NAND-Flash ist DRAM bei den Zugriffszeiten hoffnungslos unterlegen, nähert sich beim Durchsatz aber immer weiter an.

Eine weitere Grafik deutet an, das SanDisk beim HBF auf eine spezielle NAND-Architektur setzt, die für höhere Leistung in mehrere Bereiche mit mehr Datenleitungen und so schnellerem Zugriff aufgeteilt ist. Parallelen zum XL Flash kommen dabei in den Sinn. Letztlich könnte es ein solcher Hochleistungs-NAND aus der Gattung Storage Class Memory in den lukrativen Markt der KI-Beschleuniger schaffen, sofern der Plan aufgeht.

Noch kein Standard, aber schon eine Roadmap

Bis dahin muss die Idee aber erst einmal umgesetzt werden. Nach eigenen Angaben hat SanDisk die HBF-Architektur erst im vergangenen Jahr mit „Beiträgen von großen AI Playern“ entwickelt. Jetzt gelte es, einen technischen Beirat aus Partnern und Branchengrößen zu formen und einen offenen Standard auf den Weg zu bringen.

Wie viel der HBF mit dem bereits vor Jahren von japanischen Forschern formulierten Konzept (PDF-Datei) des High Bandwidth NAND (HBN) gemein hat, wird sich bald zeigen.

Auch wenn dies alles noch Zukunftsmusik ist, plant SanDisk bereits für die nachfolgenden Generationen mit mehr Speicherkapazität und Leistung in Form einer Roadmap.