Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsHigh Bandwidth Flash: SanDisk plant Riesenspeicher für KI-Beschleuniger
SanDisk wird nach der Abspaltung von Western Digital bald wieder eigenständig sein und hat große Zukunftspläne. Einer davon ist der High Bandwidth Flash (HBF), der GPUs mit viel mehr Speicher versorgen soll, als es mit dem bisherigen High Bandwidth Memory (HBM) möglich wäre.
Klingt interessant. Anscheinend wandern immer mehr Komponenten hintern den Flaschenhals ( z.b pcie) so nah an die GPU, wie möglich. Mit HBF könnt man das Betriebssystem eigentlich auch direkt vorhalten, dann noch einen I/O Bereich samt Controller unterbringen und fertig ist der Raspberry Ki.
Nur wirds dann wieder schwieriger mit der Skalierung, würde ich schätzen.😉
Ich frage mich, wieviele Schreibzyklen der Flash aushält. Entweder habe ich es überlesen oder es steht nicht drin. Aber ein ganz interessanter Ansatz. Man könnte ja noch nen 2. "Ring" um die CPU herum bauen. 1. Ring HBM und 2. Ring HBF
Ich gehe mal davon aus, dass der Flash als SLC betrieben wird. Aber selbst dort wären 1.000.000 Zyklen viel zu wenig.
Na wenn man das so ließt, dann klappt bestimmt bei einigen KI Spezis das Messer in der Hose auf. Noch mehr Speicher für meine Modelle Sabber Das ist ein schöner warmer und feuchter Traum.
Das ist doch alles irrelevant solange Sandisk nicht mit Werten zur Speicherbandbreite rausrückt... für deren Beispiel mit 1,8T Parameter braucht das eine gigantische Menge an Bandbreite um brauchbare Performance zu erhalten.
Insbesondere bei Modellen, die hunderte oder tausende Token vorab für 'Reasoning' erzeugen ist Performance sehr wichtig, weil wer will schon zig Minuten warten bevor die Antwort überhaupt anfängt...
so viele Milliarden, nur um mir personenbezogene Reklame zu zeigen?
Nöö, das glaube ich nicht.
Bald wird sich herausstellen, wer, warum und zu welchem Zweck das ganze Theater veranstaltet.
Ich glaube denen kein Wort, kein einziges Wort.
KI ist für mich so nuzlos wie ein Blinddarm.
Für den Rest der ehrlichen Menschheit, auch.
Anbindung zum RAM sind 128 GB/s. Für HBF haben sie ja vergleichbare Werte wie für HBM angegeben, also mehrere 1000 GB/s. Der Unterschied ist also riesig.
Bandbreite sehe ich auch nicht als unrealistisch an. Problematisch ist eher Latenz und Haltbarkeit.
Im Grunde setzen sie dort an wo Samsung und Kioxia mit XL-Flash und Z-NAND angefangen haben. SLC, deutlich kleinere Pages und Blöcke und die Die in viel mehr Planes unterteilt, auf die weitgehend Unabhängigkeit zugegriffen werden kann.
Damit sinkt die Datendichte extrem gegenüber normalen NAND-Flash, aber ist immer noch deutlich besser als DRAM.
Anbindung zum RAM sind 128 GB/s. Für HBF haben sie ja vergleichbare Werte wie für HBM angegeben, also mehrere 1000 GB/s. Der Unterschied ist also riesig.
Die Unterschiede in der Bandbreite sind riesig ja, aber auch bei der Latenz.
Bandbreite: 0,1 TB/s RAM zu 5 TB/s HBM (50x)
Latenz: 10ns RAM zu 100 ms NAND (10.000x)
Dass NAND auf mehrere TB/s kommt glaube ich nicht, daher vermutlich die Lösungen mit HBM3+NAND. Aber selbst wenn, frage ich mich ob die Bandbreite die Latenz wettmachen kann.
@bensen Sicher? Kann ich mir kaum vorstellen dass die Latenz zwischen RAM und GPU so sehr viel größer ist als zwischen RAM und CPU. Bei 100ns würde ich ja noch mitgehen, aber der Faktor steigt sicherlich nicht um den Faktor zehntausend.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Also ich hätte auch gerne einen Sprung von Gigabyte auf Terabyte für den Arbeitsspeicher von PCs und Grafikkarten
Früher waren doch auch immer große Sprünge im Tausender Bereich möglich für uns Heimanwender...
Ich glaube der Haupttreiber für mehr Arbeitsspeicher war am Anfang das Betriebssystem Windows und später halt die Spiele. Das hatte sich alles eingependelt und auch dank des RAM geizes von Nvidia ist lange nicht mehr viel gesteigert worden. Auch weil es wohl wirklich wenig Sinn gemacht hätte für PCs.
Aber wenn man jetzt überlegt... Lokal laufende KI Modelle, mit Billionen von Parametern... Und das könnte jeder auf seinem PC laufen lassen... Das heißt Lokal und ohne Überwachung und Zensur...
Also für mich wäre das schon ein Grund, warum wir endlich mal eien Quantensprung in der Erhöhung von RAM im privaten PCs bekommen sollten...
Bei einer dann stattfindenden weltweiten gigantischen Massenproduktion müsste doch auch der Produktionspreis irgendwann soweit sinken, dass die Preise erwerbbar sind für uns Normalsterbliche.
