News High Bandwidth Flash: SanDisk plant Riesenspeicher für KI-Beschleuniger

Klingt interessant. Anscheinend wandern immer mehr Komponenten hintern den Flaschenhals ( z.b pcie) so nah an die GPU, wie möglich. Mit HBF könnt man das Betriebssystem eigentlich auch direkt vorhalten, dann noch einen I/O Bereich samt Controller unterbringen und fertig ist der Raspberry Ki.
Nur wirds dann wieder schwieriger mit der Skalierung, würde ich schätzen.😉
 
Ich frage mich, wieviele Schreibzyklen der Flash aushält. Entweder habe ich es überlesen oder es steht nicht drin. Aber ein ganz interessanter Ansatz. Man könnte ja noch nen 2. "Ring" um die CPU herum bauen. 1. Ring HBM und 2. Ring HBF

Ich gehe mal davon aus, dass der Flash als SLC betrieben wird. Aber selbst dort wären 1.000.000 Zyklen viel zu wenig.
 
Na wenn man das so ließt, dann klappt bestimmt bei einigen KI Spezis das Messer in der Hose auf. Noch mehr Speicher für meine Modelle Sabber Das ist ein schöner warmer und feuchter Traum.
 
Das ist doch alles irrelevant solange Sandisk nicht mit Werten zur Speicherbandbreite rausrückt... für deren Beispiel mit 1,8T Parameter braucht das eine gigantische Menge an Bandbreite um brauchbare Performance zu erhalten.

Insbesondere bei Modellen, die hunderte oder tausende Token vorab für 'Reasoning' erzeugen ist Performance sehr wichtig, weil wer will schon zig Minuten warten bevor die Antwort überhaupt anfängt...
 
Das wird wohl eher ein Nischenprodukt für kleine Firmen die selbst Modelle trainieren aber keine 100 GPU's anschaffen wollen.

TB an Speicher sind schön und gut, aber wenn die GPU ständig warten muss? Wie groß ist der Vorteil gegenüber RAM zur Auslagerung

Wäre es "der Durchbruch" hätte SanDisk ein paar Vergleichszahlen geliefert.
 
so viele Milliarden, nur um mir personenbezogene Reklame zu zeigen?
Nöö, das glaube ich nicht.
Bald wird sich herausstellen, wer, warum und zu welchem Zweck das ganze Theater veranstaltet.
Ich glaube denen kein Wort, kein einziges Wort.
KI ist für mich so nuzlos wie ein Blinddarm.
Für den Rest der ehrlichen Menschheit, auch.
 
spannend, nachdem die Marke in letzter Zeit eher durch Probleme mit der Produktqualität auffiel...
 
S.Kara schrieb:
TB an Speicher sind schön und gut, aber wenn die GPU ständig warten muss? Wie groß ist der Vorteil gegenüber RAM zur Auslagerung
Anbindung zum RAM sind 128 GB/s. Für HBF haben sie ja vergleichbare Werte wie für HBM angegeben, also mehrere 1000 GB/s. Der Unterschied ist also riesig.

Bandbreite sehe ich auch nicht als unrealistisch an. Problematisch ist eher Latenz und Haltbarkeit.

Im Grunde setzen sie dort an wo Samsung und Kioxia mit XL-Flash und Z-NAND angefangen haben. SLC, deutlich kleinere Pages und Blöcke und die Die in viel mehr Planes unterteilt, auf die weitgehend Unabhängigkeit zugegriffen werden kann.
Damit sinkt die Datendichte extrem gegenüber normalen NAND-Flash, aber ist immer noch deutlich besser als DRAM.
 
ziko schrieb:
Ich glaube denen kein Wort, kein einziges Wort.
KI ist für mich so nuzlos wie ein Blinddarm.
Für den Rest der ehrlichen Menschheit, auch.

Hmmm.....
Ich glaube schon, dass man sie brauchen kann.
 

Anhänge

  • RDT_20250213_1306281772649962440392404.jpg
    RDT_20250213_1306281772649962440392404.jpg
    143,6 KB · Aufrufe: 52
  • Gefällt mir
Reaktionen: uberLemu
@-Ps-Y-cO- wer das gluabt, der hat auch deren Virus-Propaganda geglaubt.
Wir müssen uns endgültig, endgültig, von Gesagtem, Geschriebenem... verabschieden, alles unter Vorbehalt.
Es wird zuviel gelogen, mit Absicht und zum Ziel der Manipulation.
Die Pro-Intel Tests in fast allen Foren und Portalen, ist dir nicht aufgefallen?
Auch die Pro-Intel und Pro-Nvidia programmierten Benchmarks auch nicht?
Dir muss klar werden, wenn ein Portal schlecht über den Reinfall von Intel schreibt, gibts keine Gratis Testmuster das nächste Mal.
So einfach ist das.
Als Journalist, wenn du gegen den diktirten Mainstream schreibst, wird dein Artikel nicht veröffentlicht und du bekommst keine Kohle dafür.
Also hungern oder das Gleiche schreiben, Testresultate, Benchmarks oder Feindbild der Regierenden, wie der Mainstream.
So funktioniert es Heute.
Ansonsten, meinen Blutdruck und Herzfrequenz wird die Apple Watch niemals an Apple senden und dort zur Auswertung speichern, wiel ich so etwas niemals kaufen oder benutzen werde.
Hoffe, Du verstehst.
Generation 11110100100 eben.
Berechnungen und Statik haben wir mit Schublehre und Tabellen gemacht, die ganzen Brücken und Stützmaern von Damals stehen noch. Nemetschek Allplan Bridge hat uns nur geholfen, das Prinzip blieb gleich.
Mein Enkel studiert Ingenieurswissenschaften an der ETH Zürich, und sie berechnen Heute mit KI, WANN das Bauwerk einstürzt, ohne Instandhaltung.
Monitoring und Sperrung unmittelbar vor dem Kollaps des Bauwerks ist deren Aufgabe.
Challenge ist, die Zeitspanne zwischen Sperrung und Kollaps, so gering zu halten wie nur möglich.
Mit KI.
Schade.
Ah ja, das Software Monster Nemetschek Allplan, mit allen Modulen, braucht keine 10 Gbit/s LAN Adapter.
Sorry für OT.
 
bensen schrieb:
Anbindung zum RAM sind 128 GB/s. Für HBF haben sie ja vergleichbare Werte wie für HBM angegeben, also mehrere 1000 GB/s. Der Unterschied ist also riesig.
Die Unterschiede in der Bandbreite sind riesig ja, aber auch bei der Latenz.

Bandbreite: 0,1 TB/s RAM zu 5 TB/s HBM (50x)
Latenz: 10ns RAM zu 100 ms NAND (10.000x)

Dass NAND auf mehrere TB/s kommt glaube ich nicht, daher vermutlich die Lösungen mit HBM3+NAND. Aber selbst wenn, frage ich mich ob die Bandbreite die Latenz wettmachen kann.
 
S.Kara schrieb:
Bandbreite: 0,1 TB/s RAM zu 5 TB/s HBM (50x)
Latenz: 10ns RAM zu 100 ms NAND (10.000x)
Aber nicht GPU zum RAM der CPU. Wenn du über den PCIe Link musst, bist du nicht schneller als HBF.
 
@bensen Sicher? Kann ich mir kaum vorstellen dass die Latenz zwischen RAM und GPU so sehr viel größer ist als zwischen RAM und CPU. Bei 100ns würde ich ja noch mitgehen, aber der Faktor steigt sicherlich nicht um den Faktor zehntausend.
 
ziko schrieb:
KI ist für mich so nuzlos wie ein Blinddarm.
Für den Rest der ehrlichen Menschheit, auch.
Schau dir gerne mal das Video von Veritasium an
 
  • Gefällt mir
Reaktionen: ###Zaunpfahl### und -Ps-Y-cO-
Also ich hätte auch gerne einen Sprung von Gigabyte auf Terabyte für den Arbeitsspeicher von PCs und Grafikkarten ;)

Früher waren doch auch immer große Sprünge im Tausender Bereich möglich für uns Heimanwender...

Ich glaube der Haupttreiber für mehr Arbeitsspeicher war am Anfang das Betriebssystem Windows und später halt die Spiele. Das hatte sich alles eingependelt und auch dank des RAM geizes von Nvidia ist lange nicht mehr viel gesteigert worden. Auch weil es wohl wirklich wenig Sinn gemacht hätte für PCs.

Aber wenn man jetzt überlegt... Lokal laufende KI Modelle, mit Billionen von Parametern... Und das könnte jeder auf seinem PC laufen lassen... Das heißt Lokal und ohne Überwachung und Zensur...

Also für mich wäre das schon ein Grund, warum wir endlich mal eien Quantensprung in der Erhöhung von RAM im privaten PCs bekommen sollten...

Bei einer dann stattfindenden weltweiten gigantischen Massenproduktion müsste doch auch der Produktionspreis irgendwann soweit sinken, dass die Preise erwerbbar sind für uns Normalsterbliche.
 
Zurück
Oben