News Serienfertigung gestartet: Micron bestückt Nvidias H200 mit 144 GB HBM3E

MichaG

Redakteur
Teammitglied
Registriert
Juli 2010
Beiträge
13.387
Der globale KI-Boom sorgt für steigende Nachfrage nach besonders schnellem Arbeitsspeicher wie den High Bandwidth Memory (HBM). Micron ist erst neu in diesem Geschäft, will mit seinem jetzt in die Massenfertigung gebrachten HBM3E aber direkt die Konkurrenz ausstechen. Einen Großabnehmer hat Micron mit Nvidias H200 gefunden.

Zur News: Serienfertigung gestartet: Micron bestückt Nvidias H200 mit 144 GB HBM3E
 
  • Gefällt mir
Reaktionen: BrollyLSSJ, C4rp3di3m, SweetOhm und 3 andere
Weiß wer, ob die HBM3E Stacks untereinander kompatibel sind und nvidia mit demselben Design eine HBM202 mit 216GB nachschieben könnte?
 
HBM wird ja ohnehin genau wegen Serverhardware enorm gut abgenommen, von daher überrascht es nicht, dass Micron sich auch direkt einen Abnehmer hat sichern können.
 
Ist es denn nicht möglich einfach eine APU mit 32 GB HBM3 zu bauen? Ist der Speicher wirklich so teuer? Das wäre doch über krass. oder?
 
Ich bleibe übrigens dabei, dass es mal einen Billo-Ableger von aktueller HBM-Technik bräuchte. So, wie es aktuell aussieht, wird das eigentliche HBM nämlich vom Serverbereich vollends abgenommen --- entsprechend wird es nichts mit HBM im Consumersegment, solange eben ein Billo-Ableger fehlt.
crustenscharbap schrieb:
Ist es denn nicht möglich einfach eine APU mit 32 GB HBM3 zu bauen? Ist der Speicher wirklich so teuer?
Da hast du auch bereits deine Antwort: Ja, es ist so teuer, denn alles wird ohnehin weggekauft.
 
  • Gefällt mir
Reaktionen: C4rp3di3m
Bin gespannt ob wir HBM irgendwann wieder auf Consumer Karten sehen werden. Die Vega war schon cool damals, HBM war da aber zu unausgereift für Vorteile beim Gaming.
 
  • Gefällt mir
Reaktionen: C4rp3di3m und SweetOhm
@metoer auf den Vega Karten war HBM2, so wirklich unausgereift war es eigentlich nicht. Punktete da halt durch die hohe Bandbreite ohne so hohe Taktraten wie GDDR5 zu benötigen. HBM Speicher war/ist auch effizienter und platzsparender. Direkte Gamingvorteile nicht unbedingt, aber im Großen und Ganzen abgesehen vom Preis her aus meiner Sicht attraktiver ^^
(Die ersten Gaming-GPUs mit HBM Speicher waren die AMD Fury Karten)
 
  • Gefällt mir
Reaktionen: M11E, C4rp3di3m, stevefrogs und 5 andere
crustenscharbap schrieb:
Ist es denn nicht möglich einfach eine APU mit 32 GB HBM3 zu bauen? Ist der Speicher wirklich so teuer? Das wäre doch über krass. oder?
HBM ist nicht nur deutlich teurer, auch der Aufbau mit dem breiten Bus und mit Interposer ist deutlich aufwendiger in der Produktion.

Solange klassischer DDR und GDDR Speicher noch nicht am physikalischen limit ist wird es mit HBM nichts werden.
Ergänzung ()

@Zeitwächter
Naja ich hatte ne Vega 64 und da half der geringere Stromverbrauch des HBM nicht unbedingt weil dafür die GPU Strom ohne Ende gezogen hat, aber gut ohne HBM wäre es noch schlimmer gewesen. Aber war trotzdem toll das Ding.

Vega VII hat dann das volle Potential gezeigt, doppelter Speicher und doppelte Bandbreite, leider zu spät released, so hätte die Vega 64 ausschauen müssen.
 
Zuletzt bearbeitet:
Boah...
Mega am geizen alle mit HBM...
Und plötzlich geht es auf einmal.

144GB sind Overkill für den Normalen Gaming PC. Aber 24-32GB wären locker drin.

Aber geizen wir nur weiter. Kein Ding...
😡
 
  • Gefällt mir
Reaktionen: SweetOhm
CDLABSRadonP... schrieb:
Ich bleibe übrigens dabei, dass es mal einen Billo-Ableger von aktueller HBM-Technik bräuchte.

LPDDR ist HBM in der Hinsicht aehnlich, dass es die Chips platzsparend stapelt. Allerdings uebertraegt HBM mit viel mehr Leitungen. Das kostet (auf beiden Seiten), von daher wuerde ich das nicht im low-end-Bereich erwarten. Apple zeigt, dass man mit mehreren (WIMRE bis zu 8) LPDDR-Stapeln auf grosse Kapazitaeten und Bandbreiten kommt, aber die entsprechenden Produkte laesst sich Apple auch sehr teuer bezahlen.

Ansonsten: Da die Kosten bei HBM hoeher sind, sollte der Preis auch hoeher sein. Aber im Spiele-Grafikkartenbereich bringt das offenbar nicht genug Vorteile, dass die Leute den hoeheren Preis zu zahlen bereit waeren. Also kehrten AMD von ihren HBM-Ausfluegen wieder zu GDDR zurueck. Bei Prozessorgrafik sind die Leute offenbar auch nicht bereit, da besonders zu zahlen, jedenfalls sind die Preisabschlaege fuer die Intel F-Prozessoren gering, bzw. die AMD-APUs sind oft sogar billiger; wobei, gerade habe ich mir das bei den AM5-Prozessoren angeschaut, und der 8600G ist EUR30 teurer als der 7600, und der 8700G ist EUR40 teurer als der 7700X (der 7700 ist teurer als der X), offenbar sind die Leute doch bereit, ein bisschen dafuer zu zahlen.
 
metoer schrieb:
HBM war da aber zu unausgereift für Vorteile beim Gaming.
Ich bezweifle das es an HBM lag.
metoer schrieb:
Solange klassischer DDR und GDDR Speicher noch nicht am physikalischen limit ist wird es mit HBM nichts werden.
Genau das ist bei APUs aber der Fall. Die Dualchannel-DDR Speicheranbindung des Prozessors ist zu mager um damit auch noch eine leistungsfähige GPU zu füttern. Selbst Quad Channel DDR5 würde nicht ausreichen, und das sehe ich auf Consumersockeln noch lange nicht. Einzige Möglichkeit ist alles wieder zu verlöten, inklusive RAM. Wie es jetzt halt schon ewig auf dedizierten GPUs der Fall ist. Da hätte ich ehrlich gesagt lieber HBM neben der APU auf demselben Package.
 
  • Gefällt mir
Reaktionen: C4rp3di3m
-Ps-Y-cO- schrieb:
Aber geizen wir nur weiter. Kein Ding...
😡
Wegen der "ZuKuNfTsSiChErHeIt" und so...klar.

Eine RTX 3060 wäre heute auch pervers schnell mit 48GB VRAM, das würde ihr enorm viel bringen. 😂
 
  • Gefällt mir
Reaktionen: IgorGlock
metoer schrieb:
Die Vega war schon cool damals, HBM war da aber zu unausgereift für Vorteile beim Gaming.
Hauptsächlich war's auch damals schon zu teuer und die 8 GB HBM waren auch damals schon wenig.

(Insbesondere die RX Fury mit 4GB hatte zu kämpfen.)

crustenscharbap schrieb:
Ist es denn nicht möglich einfach eine APU mit 32 GB HBM3 zu bauen? Ist der Speicher wirklich so teuer?
Ja, der ist wirklich so teuer.
Außerem benötigst du dafür CoWoS Packaging, was eh schon auf die nächsten paar Jahre völlig überbucht ist.

Kein Hersteller der Welt wird HBM und Packaging Kapazitäten in eine low-margin APU stecken wenn die stattdessen eine Server-GPU bauen können, die schon vor dem Produktionsstart ausverkauft ist und tausende oder gar zehntausende USD Gewinn einfährt.

-Ps-Y-cO- schrieb:
144GB sind Overkill für den Normalen Gaming PC. Aber 24-32GB wären locker drin.
Klar, aber nicht für einen Preis den du zu bezahlen bereit wärst.
 
  • Gefällt mir
Reaktionen: stevefrogs, Kitsune-Senpai, ruthi91 und eine weitere Person
HBM kämpft wohl auch mit hohen Latenzen. Das passt zwar zu GPUs, die hohe Bandbreite wobei die Latenzen nicht ganz so kritisch sind, aber zu Prozessoren eher weniger. Das mit dem Preis wurde ja schon angesprochen.

Und dass VEGA HBM brauchte, um in den letzten Stufen überhaupt noch eine Leistungssteigerung zu bringen, sollte man auch genau so herum lesen. Die Architektur war von Anfang an zwar nicht schlecht, aber eben auch nicht "High-end-fähig".

Dennoch warte ich ebenfalls noch auf eine APU, die 2 oder 4 GB HBM "onboard" hat. Leider werden wir das wegen der vergleichsweise hohen Preise und der daraus resultierenden sowie die Preise noch weiter hochtreibenden geringen Stückzahl wohl auch nur im professionellen Umfeld sehen. Dort wird ja eher noch jeder beliebige Preis gezahlt, solange der "Usecase" stimmt.

Regards, Bigfoot29
 
Rickmer schrieb:
Klar, aber nicht für einen Preis den du zu bezahlen bereit wärst.
Das weißt du doch Garnicht??

Vega 56, Vega 56 Nano, Radeon VII
Fury habe ich ausgelassen
Aber unterm Strich alle GPUs gekauft mit HBM.

Ich wäre 100% bereit, mehr zu zahlen für eine GPU mit 24GB HBM* vs. 24GB GDDR*
 
  • Gefällt mir
Reaktionen: C4rp3di3m und SweetOhm
Wird HBM (1) gar nicht mehr prdouziert? Die Dinger waren in den ersten Iterationen doch schon brachial gut. Die sind ggf. günstiger und für Consumer geeignet.
 
-Ps-Y-cO- schrieb:
Ich wäre 100% bereit, mehr zu zahlen für eine GPU mit 24GB HBM* vs. 24GB GDDR*
Warum HBM an Konsumer verschenken, wenn man wohl 100% Marge im AI Sektor dafür bekommt?
 
  • Gefällt mir
Reaktionen: Bigfoot29, Kitsune-Senpai und bensen
-Ps-Y-cO- schrieb:
Ich wäre 100% bereit, mehr zu zahlen für eine GPU mit 24GB HBM* vs. 24GB GDDR*
Hmm... GDDR6 Spot Price ist ca. $3 für 8Gb, also $72 für 24GB. Möglicherweise etwas höher für RAM mit 16Gb Speicherdichte.

HBM Preise sind sehr schwer zu finden, wurden im letzten Jahr aber noch mit 5x dem von GDDR6 angegeben. Vermutlich ist HBM nur noch teurer geworden...

Wie dem auch sei, das wären ca. $360 für 24GB HBM.

Das sind umgerechnet also rund 330€ mehr auf dem BOM rein für HBM, eine unbekannte aber nicht insignifikante Summe für CoWoS Packaging und das Ganze wird dir mit guter Marge weitergegeben.

Was hälst du von 1000€ Aufpreis?
 
  • Gefällt mir
Reaktionen: Bigfoot29, ThirdLife, Schokolade und eine weitere Person
-Ps-Y-cO- schrieb:
Ich wäre 100% bereit, mehr zu zahlen für eine GPU mit 24GB HBM* vs. 24GB GDDR*
Ja gut, aber was bringt das dann am Ende? Das spielt doch lediglich dann eine Rolle, wenn der Grafikprozessor die Bandbreite auch benötigt und ansonsten gnadenlos limitiert ist. Ansonsten hast du einfach die exakt gleiche GPU mit einmal normalem und einmal vergoldetem 24GB VRAM.
 
  • Gefällt mir
Reaktionen: stevefrogs und bensen
Zurück
Oben