News Schneller Speicher für AI: 12-fach gestapelter HBM3E hat auch bei Samsung 36 GByte

[Volker]

Einen Tag nach Microns Ankündigung zur Serienfertigung von HBM3E schießt Samsung zurück: Der Wettlauf am HBM-Markt geht nun erst richtig los, denn bisher hielten sich die beiden Branchenriesen noch zurück und überließen SK Hynix weitestgehend das Feld. Doch auf der AI-Welle wollen (mit Nvidia) alle reiten und daran verdienen.

Zur News: Schneller Speicher für AI: 12-fach gestapelter HBM3E hat auch bei Samsung 36 GByte

 

[heroesgaming]

Ein Fahrt aufnehmender Konkurrenzkampf könnte die Preise drücken - vielleicht wird HBM dann irgendwann auch für Consumer-GPUs wieder interessant. Eine Bandbreite, die so hoch ist, dass jedes Limit in der Praxis ausgeschlossen ist, kann ja zumindest nicht schaden

 

[nciht]

Weiß nicht ob der Verbrauch insgesamt so viel ausmacht, aber falls ja, n bisschen Durchsatz für geringeren Verbrauch zu tauschen könnte hier tatsächlich King sein. Der Durchsatz ist bei Micron ja noch immer gut und in irgendwelchen AI-Farmen könnte der Verbrauch entscheidender sein.

 

[MalWiederIch]

Weiß nicht ob der Verbrauch insgesamt so viel ausmacht, aber falls ja, n bisschen Durchsatz für geringeren Verbrauch zu tauschen könnte hier tatsächlich King sein. Der Durchsatz ist bei Micron ja noch immer gut und in irgendwelchen AI-Farmen könnte der Verbrauch entscheidender sein.

Bei 50.000€ Kaufpreis pro H200 wird der geringe Verbrauch des Speichers garantiert nicht entscheidend sein.

 

[LamaMitHut]

@MalWiederIch

Dir ist schon klar wie viel Aufwand betreiben werden muss, um so einen Supercomputer zu kühlen?

 

[MalWiederIch]

@MalWiederIch

Dir ist schon klar wie viel Aufwand betreiben werden muss, um so einen Supercomputer zu kühlen?

Dir ist schon klar wie viel davon der HBM Speicher ausmacht? Habe nicht umsonst geschrieben:

wird der geringe Verbrauch des Speichers garantiert nicht entscheidend sein.

Die Abwärme des Chips selbst hat doch überhaupt nichts mit meiner Aussage zu tun

 

[LamaMitHut]

@MalWiederIch dann sag mal bitte, und rechne die alternative bezogen auf das ganze System dagegen.

 

[MalWiederIch]

@MalWiederIch dann sag mal bitte, und rechne die alternative bezogen auf das ganze System dagegen.

Auf Deutsch? Nochmal - der hauptsächliche Kühlaufwand bei einem Supercomputer liegt garantiert nicht am HBM-Speicher (der auch noch deutlich weniger verbraucht als GDDR Speicher), ansonsten kannst du uns das gerne vorrechnen - was eine irrsinnige Behauptung

 

[crustenscharbap]

Ein Fahrt aufnehmender Konkurrenzkampf könnte die Preise drücken - vielleicht wird HBM dann irgendwann auch für Consumer-GPUs wieder interessant. Eine Bandbreite, die so hoch ist, dass jedes Limit in der Praxis ausgeschlossen ist, kann ja zumindest nicht schaden

Überleg mal was für krasse APUs damit möglich wären. Derzeit limitiert ja Alles am lahmen DDR5 RAM der bei 35-48 GB/sek im Dual Channel liegt.
Selbst HBM2 (256GB/sek)ist weitaus flotter. A

Aber die Kapazitäten sind ja derzeit fürs Jahr 2024 komplett ausgebucht. Also ist HBM für die nächsten paar Jahre sehr unwahrscheinlich etwas für Consumer.

Problematisch ist die Kühlung von HBM schon. Der Speicher liegt sehr nahe am CPU Part und bekommt viel Wärme ab.

Auch anders gesehen: Ja so ein H200 brauch ca 700W. Davon sind einfsch mal zig im Supercomputer.

 

[LamaMitHut]

@MalWiederIch ach, schön das du mir lieber Worte in den Mund legst, anstatt richtig zu antworten. Ich habe nicht gesagt, dass der hauptsächliche Kühlaufwand am Speicher liegt.

Jedes zusätzliche Watt das darauf kommt bedeutet trotzdem einen Aufwand, so irrsinnig das in deinen Ohren klingen mag. ;-)

 

[Popey900]

Wo wird denn HBM zur Zeit eigesetzt ?
Wie teuer wären 16GB HBM2 oder HBM2E ?

Wäre das nicht ein super Ram in Enthusiast PC's ?

 

[eazen]

Ist der Wahnsinn wie gut HBM Speicher geworden ist, 10x bzw. 5x die Bandbreite im Vergleich zu HBM original, und eben HBM2 was das letzte HBM war was noch in Gaming GPUs benutzt wurde. Schade das es zu teuer für Gaming GPUs ist, es würde einige Probleme lösen.

 

[Nagilum99]

Bei 50.000€ Kaufpreis pro H200 wird der geringe Verbrauch des Speichers garantiert nicht entscheidend sein.

Du setzt also den Verkaufspreis gegen die Leistungsaufnahme? Was ist das denn für eine schräge Rechnung?
Der Preis ist völlig irrelevant. Wenn dein Thermisches Konzept mit ein paar Dutzend Watt pro HE (oder schlichtweg innerhalb eines Gehäuses) weniger deutlich besser aufgeht, ist es durchaus eine Überlegung auf etwas Bandbreite zu verzichten - die in der Region trotzdem sehr hoch bleibt.

Ergänzung (27. Februar 2024)

Wo wird denn HBM zur Zeit eigesetzt ?
Wie teuer wären 16GB HBM2 oder HBM2E ?

Wäre das nicht ein super Ram in Enthusiast PC's ?

1. Primär GPUs, genauer "Rechenbeschleuniger".
2. Keine Ahnung, Google?
3. Was sollen die PCs damit? Vielleicht schaust du dir noch mal die Konzepte von SD-RAM (DDR5 aktuell) und HBM an.
Auch wenn sich bis heute "mehr Bandbreite und mehr RAM sind immer besser" hält: Es ist pauschalisierter Blödsinn. Tests auf Computerbase zeigen das auch.

Ergänzung (27. Februar 2024)

Überleg mal was für krasse APUs damit möglich wären. Derzeit limitiert ja Alles am lahmen DDR5 RAM der bei 35-48 GB/sek im Dual Channel liegt.
Selbst HBM2 (256GB/sek)ist weitaus flotter. A

Ich glaube du hast das nicht besonders weit durchdacht. Wie "krass" sollen sie mit HBM alleine denn sein?
(Zaunpfähle: Powerlimit, CUs, Die-Fläche, Sockelgröße... Preis!)

Auch anders gesehen: Ja so ein H200 brauch ca 700W. Davon sind einfsch mal zig im Supercomputer.

Die dann aber auch wassergekühlt und klimaitisiert werden. Dezenter Unterschied.

 

[Matthias B. V.]

Überleg mal was für krasse APUs damit möglich wären. Derzeit limitiert ja Alles am lahmen DDR5 RAM der bei 35-48 GB/sek im Dual Channel liegt.
Selbst HBM2 (256GB/sek)ist weitaus flotter. A

Aber die Kapazitäten sind ja derzeit fürs Jahr 2024 komplett ausgebucht.

Das Problem ist ohnehin die komplexe und wenig flexible Fertigung und der Preis. Wie viele Consumer würden am Ende wirklich dafür bezahlen.

Aber ja mir wäre eine Mega-APU mit 3D-Cache und HBM auch lieb!

 

[Nagilum99]

Aber ja mir wäre eine Mega-APU mit 3D-Cache und HBM auch lieb!

Wozu soll man den Aufwand für 3D-Cache betreiben, wenn HBM verbaut wird?
Die beiden Optionen stehen idR. konträt zueinander.
Abgesehen davon, dass eine "Mega-APU" nicht nur teuer wäre sondern auch eine hohe TDP bräuchte.
Die MI300A ist z.B. so eine.

 

[ZerHaKKeR]

Kommt mir immer in Erinnerung bei HBM

 

[crustenscharbap]

Ich glaube du hast das nicht besonders weit durchdacht. Wie "krass" sollen sie mit HBM alleine denn sein?
(Zaunpfähle: Powerlimit, CUs, Die-Fläche, Sockelgröße... Preis!)

Ja genau. Wollte darauf jetzt auch nicht noch eingehen. Auch das Drum herum ist teuer. Nicht umsonst kann Intels N100 nur Single-Channel. Damit das Board samt APU unter 100€ und super kompakt bleibt. Gucke mal im Gegensatz wie fett die Threadripper sind.

Das Problem ist ohnehin die komplexe und wenig flexible Fertigung und der Preis. Wie viele Consumer würden am Ende wirklich dafür bezahlen.

Aber ja mir wäre eine Mega-APU mit 3D-Cache und HBM auch lieb!

Ich glaube nur eine Firma hat Consumer, die bereit sind das zuzahlen. Apple. Und die gehen ja in die Richtung mit deren M3 Ultra. 4800€ kostet deren PC mit RAM der 800GB/sek bietet. Laut Tests sind es eher um die 470GB/sek, was zwar sehr beeindruckend ist, aber noch etwa 1/3 vom HBM3e. Ich weiß nicht ob die HBM2E nutzen (die Geschwindigkeit passt ziemlich genau). Aber ich denke eher DDR5X 7000 in Octa (8) Channel. Ist billiger und ineffizienter. Aber sieht man, was dabei raus kommt. Etwa RTX 4070Ti Leistung mit 14600K Leistung bei ca 100W. Wenn die AMD-Gerüchte stimmen sollten, könnte deren künftige APU auch ähnliche Ergebnisse liefern. Allerdings wird das Board (APU wird sicher verlötet sein) sicher auch 2000€ kosten. Es wird schwer, denn eine RTX4070 und ein 7800X3D mit 32Gig DDR5+Board wird ca 1200-1500€ kosten. Die 100W weniger Stromverbrauch macht die 1000€ nicht wett.

Abgesehen davon, dass eine "Mega-APU" nicht nur teuer wäre sondern auch eine hohe TDP bräuchte.
Die MI300A ist z.B. so eine.

Wenns um den RAM geht, dann nicht. HBM braucht weniger Strom als DDR RAM. Aber klar, mit die ganzen GPU Cores sind wir schnell bei 200W. Die MI300A hat ja auch ultra viele CPU Cores.

 

[Nagilum99]

4800€ kostet deren PC mit RAM der 800GB/sek bietet. Laut Tests sind es eher um die 470GB/sek, was zwar sehr beeindruckend ist, aber noch etwa 1/3 vom HBM3e. Ich weiß nicht ob die HBM2E nutzen (die Geschwindigkeit passt ziemlich genau). Aber ich denke eher DDR5X 7000 in Octa (8) Channel

Die Specs sind ja bekannt: Es ist LPDDR - die Tests geben halt nur den Nettodurchsatz an, der liegt immer weit vom Theoretischen entfernt. Kannst du bei deiner CPU auch testen.

 

[Matthias B. V.]

Ich glaube nur eine Firma hat Consumer, die bereit sind das zuzahlen. Apple.

Ja sehe ich auch so - würde es mir zwar was kosten lassen aber die Masse zahlt dafür nicht.

Aber ich denke eher DDR5X 7000 in Octa (8)

Ja LPDDR5x als 128 / 256 Bit werden wird hier vermutlich zukünftig eher sehen als HBM

Channel. Ist billiger und ineffizienter. Aber sieht man, was dabei raus kommt. Etwa RTX 4070Ti Leistung mit 14600K Leistung bei ca 100W. Wenn die AMD-Gerüchte stimmen sollten, könnte deren künftige APU auch ähnliche Ergebnisse liefern.

Ja darauf hoffe ich dass es ein Trend wird. Aber wie oben gesagt vermutlich mit Cache und LPDDR5x

Allerdings wird das Board (APU wird sicher verlötet sein) sicher auch 2000€ kosten. Es wird schwer, denn eine RTX4070 und ein 7800X3D mit 32Gig DDR5+Board wird ca 1200-1500€ kosten. Die 100W weniger Stromverbrauch macht die 1000€ nicht wett.

Für Desktop nicht aber Notebook ist die Leistung / Fläche und Leistung / Watt relevanter…

Wenns um den RAM geht, dann nicht. HBM braucht weniger Strom als DDR RAM. Aber klar, mit die ganzen GPU Cores sind wir schnell bei 200W. Die MI300A hat ja auch ultra viele CPU Cores.

Man erhält halt dafür dann auch eine extrem leistungsfähige APU und kann sich die dGPU sparen. Und einige Anwendungen profitieren sicher noch extra vom gemeinsamen Speicher.