News GH200 Grace Hopper Superchip: Nvidia setzt als erster Anbieter auf HBM3e mit 5 TB/s

[SaschaHa]

Die 141 GB erscheinen mir rein von der Zahl her etwas merkwürdig. Man würde doch irgendetwas in der Form 2^x, 1,5*2^x oder (1,5^2)*2^x erwarten, also 64, 72, 96, 128, 144, 196, 256 oder ähnliches. Die 141 GB wirken fast wie ein Tippfehler, aber vermutlich sind 3 GB von ursprünglich 144 für andere Zwecke reserviert, oder es dient dem Yield. Interessante Produkte auf jeden Fall.

 

[paganini]

Und wir betteln bei Nivida um 16GB VRAM für die 4070.
Die Lederjacke lacht sich scheckig, nimmt uns aus, und mästet damit seinen Grace Hopper.

Einfach nicht kaufen und nicht aufregen. Oder AMD kaufen, ganz einfach 😊

 

[Ayo34]

Zusammenfassung:
Neuer Nvidia Chip 12x mehr Power als Intel bei gleichem Preis und fast halben Stromverbrauch bei Stable Fusion. Alternativ schafft man zu 1/10 Preis die gleiche Leistung bei 1/100 Stromkosten.
-> Super schnell und super effizient, Zukunft ist Nvidia!

 

[Conqi]

Das setzt voraus, dass du die tatsächlichen Stückkosten der Profikarten kennst, sonst geht deine Argumentation nicht auf.

Nvidia selbst hat die Kosten doch genannt, um ihren Vergleich zu Intel zu ziehen. Da kann man jetzt noch etwas für das Drumherum abziehen, aber ein GH200 scheint bei 30.000 Dollar oder etwas mehr zu landen. Das sollte zumindest grob passen nachdem für die H100 Vorgänger oftmals 40.000 Dollar genannt wurden.

Und für den Preis liefert NVidia einem dann halt auch Speicher. Die Enterprise-Kunden sind hier aber garantiert nicht besser dran als die Gaming-Karten was den Preis angeht.

 

[stefan92x]

Zusammenfassung:
Neuer Nvidia Chip 12x mehr Power als Intel

Ein GPU beschleunigten System mit einem nicht beschleunigten zu vergleichen ist aber auch weit hergeholt... da hätte man besser Posten Vecchio in das Vergleichssystem eingebaut, um einen Herstellervergleich zu bekommen

 

[Draco Nobilis]

Richtig wäre also eher der Schluss, dass Nvidia die "günstigen" (lol) Gaming-Produkte mit den Profi-Karten querfinanziert.

Aus Sicht NVIDIAs Marge ist das Vermutlich korrekt xD

soll in diesem Anwendungsbereich schneller sein als AMD und Intel CPUs

Für NVIDIA einfach günstiger mit mehr Marge.
Aber vermutlich kommt es einfach nicht groß auf die CPU an und NVIDIA macht es somit richtig.
Also spart sich einfach die hohen Kosten für Intel/AMD Server Plattform/CPU.

 

[dgschrei]

Wechselt man hingegen von ISO-Budget auf ISO-Leistung, reiche bei Nvidia ein Server-Regal mit 210 GH200, die 8 Millionen US-Dollar kosten, nur noch 260 KW verbrauchen

Also 260KW mag ja in Relation zur Leistung verdammt effizient sein, aber die Frage stellt sich trotzdem:

260kW Abwärme aus EINEM Rack.

Da würde mich jetzt echt interessieren wie die das im Rechenzentrum bei der Leistungsdichte überhaupt noch gekühlt kriegen ohne dass der komplette Schrank schmilzt (Oder der Wartungstechniker beim umpatchen Feuer fängt ). Das kann doch fast nur noch über Wasserkühlung auf Rackebene funktionieren.

 

[aklaa]

Ich sehe schon GDDR7 mit SK Hynix kommen Das nächste Jahr 2024 wird wieder spannend!
Die "Lederjacke" glänzt und wirkt bei Nvidia

 

[Grundgütiger]

@aklaa, was zocken betrifft wird 2024 tatsächlich spannend, neue Hardware gibts allerdings erst wieder 2025.

 

[SweetOhm]

Das nächste Jahr 2024 wird wieder spannend!

Auf alle Fälle !!
Wir haben mittlerweile ULTRA Enthusiast und SUPER Chip.
Fehlt nur noch KNORKE MoBo und HYPER RAM.

 

[Crassus88]

Und wir betteln bei Nivida um 16GB VRAM für die 4070.
Die Lederjacke lacht sich scheckig, nimmt uns aus, und mästet damit seinen Grace Hopper.

deswegen meide ich nvidia, wenn möglich.

 

[CDLABSRadonP...]

Ich dachte, TSMC hatte gerade für derartige Produkte (also Beschleuniger mit HBM) einen Riesenstau beim Packaging, der sich auf ~ 18 Monate belief? Gab's dazu irgendwelche Neuigkeiten?

Ja, diesen Rückstau gibt es und nein, keine Neuigkeiten.
Doch auch bei begrenzter Kapazität kann man ja neue Produkte vorstellen, die die alten Ersetzen.
Wenn PKW-Reifen knapp sind, können Autohersteller ja dennoch neue Fahrzeuge vorstellen. Dann werden die wenigen Reifen eben immerhin an neuen Karosserien genutzt.

 

[blubberbirne]

Und wir betteln bei Nivida um 16GB VRAM für die 4070.
Die Lederjacke lacht sich scheckig, nimmt uns aus, und mästet damit seinen Grace Hopper.

Wir sollten froh sein das Nvidia überhaupt noch Geld/Zeit in Gaming GPUs investiert.
Dieser Bereich macht bei nvidia nicht mehr soviel aus.
Unser Lederjackenfreund macht doch alles richtig in Moment. Klar sieht der Gamer das anders. Aber aus Wirtschaftlicher sicht muss man hier echt seinen Hut vor dieser Leistung ziehen.

 

[CDLABSRadonP...]

Ich sehe schon GDDR7 mit SK Hynix kommen Das nächste Jahr 2024 wird wieder spannend!

@aklaa, was zocken betrifft wird 2024 tatsächlich spannend, neue Hardware gibts allerdings erst wieder 2025.

1. Auch nächstes Jahr erscheinen neue CPUs, SSDs, Kühler und so weiter.
2. Was Grakas angeht: Neben Nvidia gibt es auch noch Intel mit Battlemage. Bei AMD weiß aktuell niemand, was sie bringen werden.
3. Was Grakas und Nvidia angeht: Nvidia wird höchstwahrscheinlich allein schon auf Basis der bisherigen Chips weitere Karten bringen.

 

[HaRdWar§FreSseR]

Dort schmeißt Nvidia mit dem Speicher um sich, was das Zeug hält und wir das Gesindel müssen uns mit 12 GB zufriedengeben, danke AMD. Man, muss sich das mal auf der Zunge vergehen lassen 5TB pro GPU saber.

 

[DefconDev]

Nvidia selbst hat die Kosten doch genannt, um ihren Vergleich zu Intel zu ziehen. Da kann man jetzt noch etwas für das Drumherum abziehen, aber ein GH200 scheint bei 30.000 Dollar oder etwas mehr zu landen. Das sollte zumindest grob passen nachdem für die H100 Vorgänger oftmals 40.000 Dollar genannt wurden.

Und für den Preis liefert NVidia einem dann halt auch Speicher. Die Enterprise-Kunden sind hier aber garantiert nicht besser dran als die Gaming-Karten was den Preis angeht.

NV hat für die Profi- und die Gamer-Karten Stückkosten genannt? Wo ist das zu lesen? Bezweifle ich.

 

[Coeckchen]

Hat man nicht inzwischen rausgefunden, dass Proteine falten nicht mehr das Gelbe vom Ei ist?

Wer hat das herausgefunden?

 

[nlr]

NV hat für die Profi- und die Gamer-Karten Stückkosten genannt? Wo ist das zu lesen? Bezweifle ich.

8 Millionen US-Dollar für einen Supercomputer mit 210 GH200, also grob 38.000 pro Stück.
Ziehste noch die Racks und Netzwerk von ab, hat man den ungefähren Preis.

 

[Conqi]

NV hat für die Profi- und die Gamer-Karten Stückkosten genannt? Wo ist das zu lesen? Bezweifle ich.

Mea culpa, aber hier im Forum wird selten auf die genaue Terminologie geachtet, da habe ich nicht in BWL-Begriffen gedacht. Ein GH200 wird aber in Entwicklung und Fertigung garantiert nicht das Zwanzigfache einer RTX 4080 kosten. Das sieht man ja auch an den immensen Gewinnen, die Nvidia in den letzten Jahren eingefahren hat, die zu einem immer größeren Teil aus dem Servergeschäft kommen.

Genaue Preise gibt es dazu aber nicht, das stimmt. Ich glaube auch nicht, dass bei Nvidia irgendein Bereich den anderen aktuell subventionieren muss.

 

[ghecko]

Wer hat das herausgefunden?

Google/Deepmind hat eine AI trainiert (Apha Fold2) die Proteinfaltungen so gut vorhersagen kann, das der Bruteforce-Ansatz von F@H energetisch absurd ist.