Bericht Nvidia Hopper: H100 treibt KI-Supercomputer im ExaFLOPS-Zeitalter an

[nlr]

Benannt nach der Informatikerin Grace Hopper, ist Hopper Nvidias nächste GPU-Architektur, die neue Herausforderungen im Datacenter meistern soll. Eine neue Transformer Engine kann entsprechende Deep-Learning-Architekturen beschleunigen. H100 ist die erste Hopper-GPU, die ExaFLOPS-Leistung zum Standard machen soll.

Zum Bericht: Nvidia Hopper: H100 treibt KI-Supercomputer im ExaFLOPS-Zeitalter an

 

[DennisK.]

Wirklich unglaublich was mittlerweile machbar ist, spannend was mit so viel Rechenleistung bald möglich ist

 

[projectneo]

Ich hege mittlerweile die Vermutung dass die unrealistischen TDP Angabe zu den Consumerkarten für Hopper gedacht waren.

 

[Recharging]

Immer wieder und weiterhin verrückt, welche Kracher da nachgeschoben werden.
Technik von vor nicht mal 5 Jahren wirkt einfach schon komplett überholt bei solchen Angaben und noch viel verrückter, in weiteren 5 wird auch Hopper nur noch ein müdes Lächeln sein.

Spannende Zeiten!

 

[Dittsche]

sehr interessant zu lesen

 

[Rickmer]

Ich bin erstaunt, dass es hier noch Bilder (Renders?) von Karten mit Luftkühlung gibt... bei 700W hätte ich gedacht, dass das nurnoch mit Wasser geht.
Die Leistungsaufnahme von so einem Modul mit 8 Karten dürfte ja locker 6kW überschreiten, die restlichen Komponenten wollen schließlich auch Strom.

Ich würde sehr gerne mal Bilder von einem offenen DGX H100 sehen.

 

[Homoioteleuton]

Das geht schon noch mit Luft, wird dann halt nur sehr laut

 

[Porky Pig]

Wirklich beindruckend und auch auf welchen Feldern Nvidia gleichzeitig tätig und führend ist: Autonomes Fahren, Omniverse, Supercomputer...

 

[CDLABSRadonP...]

Ich bin erstaunt, dass es hier noch Bilder (Renders?) von Karten mit Luftkühlung gibt... bei 700W hätte ich gedacht, dass das nurnoch mit Wasser geht.
Die Leistungsaufnahme von so einem Modul mit 8 Karten dürfte ja locker 6kW überschreiten, die restlichen Komponenten wollen schließlich auch Strom.

Ich würde sehr gerne mal Bilder von einem offenen DGX H100 sehen.

Mit Luftkühlung (bzw eigentlich eher mit VaporChamber, denn mit Luft wird ja in jedem Fall gekühlt) geht das, weil die Chipgröße wahrscheinlich wieder enorm sein und auf Lautstärke gepfiffen wird.
Mit Heatpipes ginge das aber auch sicherlich aus dem gleichen Grund.

Besonders blöde daran, dass (im "Referenzdesign") nicht mit Flüssigkühlung gearbeitet wird ist halt der Umstand, dass die Abwärme ungenutzt verpufft. Das bringt immer ein großes Gefühl von Verschwendung mit sich.

 

[[wege]mini]

Mit Luftkühlung

"Luft" ist immer auch relativ

Es ist auf jeden Fall einfacher, mit kalter "Luft" als mit kaltem Wasser zu kühlen. Das Wasser, kann nicht weniger als 0 Grad Celsius.

Wir streiten jetzt nicht, über 1-10 Grad, die durch Druck ermöglicht werden.

Das Exaflop Zeitalter beginnt für jedermann demnächst. Das erfreut mich.

Die Zukunft wird für das Wohl der Menschen gestaltet, nicht für den eigenen Geldbeutel.

mfg

 

[konkretor]

Hier mal noch etwas information am Rande. Wer waren den diese Persönlichkeiten

 

[[wege]mini]

@konkretor

Bildung ist immer geil. Wer hat das gesungen?

And this is not the time to wonder
And this is not the time to cry
And this is not the time to sleep while we fight
And this is not the time to die
And this is not the time to wonder
'Cause this is just a time to fear
Don't worry about the meaning don't worry 'bout the world
It's the question how to see clear

mfg

 

[Spawn182]

Die im Artikel genannten TFLOPS beziehen sich auf die Tensor Leistung und nicht die Vector Leistung, dass nur am Rande.

Bin gespannt ob bei der Vector Leistung auch wieder 25% Steigerung drin sind, wie beim letzten Sprung oder ob da langsam die Grenzen erreicht sind. Zumal ja auch geschaut werden muss, was da durch Clockspeed oder weitere Kerne dazu kommt und was die Architektur bringt.

Wird auch spannend ob die neuen DPX Instruktionen ihren Weg zu Lovelace finden und damit CUDA nochmal mächtiger wird.

 

[konkretor]

Fury in the Slaughterhouse
Ein schöner Klassiker
Ich ziehe aber persönlich lieber dieses Lied vor

https://de.m.wikipedia.org/wiki/Die_Gedanken_sind_frei

Sorry für offtoptic

 

[Recharging]

Sorry für offtoptic

In Zeiten wie diesen, kann man Menschlichkeit gar nicht oft genug teilen und wertschätzen.
Ist daher auch letztens bei einem Benefiz-Konzert für die Ukraine angestimmt worden. 👍

 

[[wege]mini]

Ich ziehe aber persönlich lieber dieses Lied vor

Auch das, habe ich viel zu häufig gesungen. (ich mag eigentlich keine Kunst)

Es bleibet dabei, die Gedanken sind frei. ← Dafür habe ich gekämpft und dafür würde ich sterben.

Weiter machen.

mfg

 

[Ayo34]

Ich bin erstaunt, dass es hier noch Bilder (Renders?) von Karten mit Luftkühlung gibt... bei 700W hätte ich gedacht, dass das nurnoch mit Wasser geht.

In Rechenzentren ist es ja meistens klimatisiert und dann gibt es ja ganz andere Belüftungssysteme. Natürlich deutlich lauter, aber da können auch noch ganz andere Wattzahlen gekühlt werden.

 

[Dittsche]

die eigentliche News ist, dass Hopper immer noch ein (riesiger) monolithischer Chip ist.

 

[Skysnake]

@nlr mal ne Frage zu dem (Super)Pod der mittela NVSwirch verbunden ist.

Ist das dann eine große SNMP Maschine? Also so wie die SGI Kisten früher? Mir ist das aus der Präsentation leider nicht klar geworden. Wenn! Ja, dann wäre das ein richtig großes Ding. Ich habe aber irgendwie das Gefühl, das man da eher in die Richtung von PGAS geht. Aber wie gesagt völlig unklar leider...

Könnt ihr da noch ein paar Infos sammeln?


Und btw gab es etwas in Zusammenhang mit dem Bright Clustermanager?

 

[OR4LIFE]

Die letzten paar Jahre geht die Entwicklung so extrem schnell! Das ist schon gigantisch
Damals zur Zeit von der 8800 gtx zur nächsten gen, waren die Sprünge eher so mäh aber jetzt ist es einfach nur der Wahnsinn!
Gefühlt bekommt man alle zwei Generationen einfach die doppelte Leistung. Jetzt nur noch am stromhunger basteln