Notiz Nvidia H100: Hopper-Beschleunigerkarte mit 120 GB gesichtet

[MichaG]

Es gibt Hinweise auf eine weitere Variante des Rechenbeschleunigers H100 mit Hopper-GPU von Nvidia. Diese soll statt bisher 80 GB ganze 120 GB des schnellen Speichers HBM2e bieten. Vorerst bleibt dies aber nur ein Gerücht anhand eines Fotos vom Geräte-Manager.

Zur Notiz: Nvidia H100: Hopper-Beschleunigerkarte mit 120 GB gesichtet

 

[Moep89]

Wahnsinn wie extrem solche Karten sind. Das Bild wirkt ja schon absurd und unwirklich mit der Bestückung, aber wenn man sich dann vorstellt, dass da 700 Watt Abwärme auf so wenig Raum entstehen, dann wird es echt irre.

 

[Rickmer]

Ich habe auf dem Bild 29 'trio' Elemente für die Stromversorgung gezählt... die Platine geht echt kein Stück mehr kleiner zu machen. Lässt sich das überhaupt noch mit was anderem als Wasser kühlen?

 

[S.Kara]

Das wird bestimmt ebenfalls nur eine TDP von 350 Watt haben, was den Takt bei 50% mehr HBM2e nach unten drücken dürfte. Ansonsten wäre ein weiterer Stecker nötig.

Mit Ampere gab es aber auch schon 40 GB sowie 80 GB. Sind die 120 GB vielleicht nur ein Zwischenschritt und es kommt noch ein Modul mit 160 GB auf SXM?

 

[CB_KeinNameFrei]

Da ist also der ganze Speicher, den Nvidia auf den Gaming-Modellen eingespart hat! =P

 

[c2ash]

@Rickmer
In Öl oder andere nicht-leitende Flüssigkeiten eintauchen.

 

[Piranha771]

Wie viele Buck Converter wollen sie auf der Karte?

Nvidia: Ja.

 

[latiose88]

Wow bald hat man so viel gpu speicher wie bei Festplatten.

Beim Speicher kauf wird dann gefragt wollen sie den Speicher bei Festplatten oder bei gpu haben. Und manche dann so auf beides, damit ich überall Speichern kann. Die wo das dann für einen machen, ok kriegst du garkein Problem.

Dann noch ne fragte darf es noch so viel RAM Speicher sein, na gerne. 5 tb Festplatte, 5 tb gpu und 5 tb RAM jo was willst alles Speicher. Ja alles. OK, kannst ja machen.

 

[FR3DI]

Der Grafikprozessor selbst wuerde sich bei mir gut als Schluesselanhaenger machen. Dann habe Ich unterwegs nicht nur einen Hingucker, sondern auch noch einen Spiegel parat.

Sieht einfach nur nach einem Geilen stueck Technik aus.😍

Gruss Fred.

 

[the_pi_man]

Wer diese brachiale Rechenleitung wirklich braucht, leckt sich bestimmt schon die Finger...
In den Heim-PC werden es solche Boliden jedoch nicht schaffen.

 

[matze313]

Lässt sich das überhaupt noch mit was anderem als Wasser kühlen?

Dachte ich mir auch, aber es gibt ja Server-Chassis, bei denen alleine die Highspeed-Lüfter schon insg. 200+W verbraten nur um zu lüften. Und im Rechenzentrum ist die angesaugte Luft meistens klimatisiert auf 16-20°C. Wird dann halt ohrenbetäubend laut, aber das stört ja nicht bei solchen Lösungen.

Aber schon wahnsinn, wie dicht diese Module gepackt sind.

 

[violentviper]

Läuft darauf Crysis?

 

[MinaB.]

Keine Ahnung, ob das jemand liest, aber wozu braucht man so viel Speicher? Also für welche Programme?

LG Mina

 

[abcddcba]

aber wozu braucht man so viel Speicher? Also für welche Programme?

ich verstehe die Frage nicht so ganz? Was vermutest du denn wie gross Trainingsdaten und wie gross ML Modelle selbst im Bereich BigData so sind? Du willst das ganze nicht immer vom RAM in den VRAM und zurueck schaufeln. Und du willst in der Regel nicht auf der CPU trainieren. Also im Prinzip freust du die im Bereich ML ueber so viel VRAM wie moeglich

 

[matze313]

Also für welche Programme?

Wenn es dich interessiert, schau dir mal Machine Learning bzw. DeepLearning an, diese Anwendungen verputzen VRAM zum Frühstück. Zum Beispiel GPT-3, eine bekannte Textbasierte KI. Zum Ausführen reicht eine GPU mit 16-24GB VRAM.

Aber um die KI zu trainieren braucht man je nach Genauigkeit und Anzahl der Parameter ca. 350GB VRAM. Da gibt es nach Oben natürlich keine Grenzen, je mehr Parameter desto mehr VRAM wird benötigt.
Man bräuchte also immernoch mind. 3 von diesen GPUs, um die KI zu trainieren

 

[madmax2010]

Ich habe auf dem Bild 29 'trio' Elemente für die Stromversorgung gezählt... die Platine geht echt kein Stück mehr kleiner zu machen. Lässt sich das überhaupt noch mit was anderem als Wasser kühlen?

Luft. Da wird eine vergleichsweise kleine alu heatsinks drauf kommen und vorne im server wird halt mit sehr schnellen Lüftern sehr viel druck gemacht.
Das passt schon. Auch wenn 10 davon in einen Server sind.
Hinter dem Server kann man dann halt die Haare föhnen.
Man sollte halt wirklich die Luftzufuhr und Abfuhr im Griff haben.
Das dickste was ich bisher gesehen habe, waren knapp 4.5kw@4he und das nicht im Rechenzentrum mit kaltgang.

 

[andi_sco]

Lässt sich das überhaupt noch mit was anderem als Wasser kühlen?

Öl oder mit der Abwärme wird ein Kraftwerk betrieben😵‍💫

Schon krass, wo wir da gelandet sind

 

[PHuV]

Erstes Hopper System ist draußen:
https://www.heise.de/news/Supercomp...Systeme-in-den-weltweiten-Top-10-7339584.html

Nivida Hopper an der Green500-Spitze​

Immerhin gibt es das erste System mit Nvidias Hopper-GPUs (H100), ein kleines Lenovo ThinkSystem am amerikanischen Flatiron Institute mit 185 Intel-Platinum-Xeons auf Platz 405. Klein, aber fein: Es konnte in der Energieeffizienz gegenüber den Nvida-A100-Systemen noch eine deutliche Schippe drauflegen und so die AMD-Konkurrenz Instinct MI250X mit 65,09 GFlops/Watt knapp überholen. Somit steht Nvidia wieder an der Spitze der Green500-Liste.