Bericht Nvidia Hopper: H100 treibt KI-Supercomputer im ExaFLOPS-Zeitalter an

[BAR86]

Nicht in diesem Zusammenhang. In diesem Zusammenhang ist die Leistung TFlop/Watt (relative Kennzahl).
Und diese hat sich eben massiv verbessert. Das NVidia trotzdem 700 Watt TDP (absolute Kennzahl) erlaubt hat mit der gesteigerten Effizienz des Chips an sich nichts zu tun.

Deswegen ist die Aussage im Text absolut richtig, die Effizienz wurde massiv gesteigert. Der Vergleich relativ zu absoluter Kennzahl ist hier halt nicht angemessen.

Niemand sagt, dass sich die Effizienz nicht gebessert hat.
Jemand hat behauptet, die Effizienz hat mit dem Verbrauch nichts zu tun, was nunmal nicht stimmt

 

[Skysnake]

Wie verhalten sich eigentlich "traditionelle" FLOPS (LINPACK) zu KI-FLOPS? Also ist ein ExaFLOP-System in beiden Kategorien so Leistungsfähig, oder nur für KI?
Ergänzung (Heute um 11:27 Uhr)

Das eine hat mit dem anderen nichts zu tun

 

[Colindo]

Wie verhalten sich eigentlich "traditionelle" FLOPS (LINPACK) zu KI-FLOPS? Also ist ein ExaFLOP-System in beiden Kategorien so Leistungsfähig, oder nur für KI?

Die verschiedenen Formate bedeuten erstmal, dass du die FLOPS nur in dem Format nutzen kannst. Wenn du eine Berechnung hast, die 64-bit-Zahlen benutzt, bringen dir die 8-bit-FLOPS nichts, egal wie hoch die sind.
Außerdem musst du die Rechenart unterscheiden. Bisherhige FLOPS wurden für Vektorrechnungen genannt, die "KI-FLOPS" sind für Matrizenrechnungen. Das bringt dir nur dann etwas, wenn du auch mit Matrizen rechnest.

 

[Jenergy]

Bin ehrlich gesagt nicht ganz so drin in der Materie, aber kann es schon sein, FP64 "lediglich" 60 TFLOPS hat ?
Alle anderen Ergebnisse halbieren sich bei Verdoppelung.
Und was ist der Unterschied zwischen FP16 und TF32 ?

H100	vs. A100
FP8	4.000 TFLOPS	6x
FP16	2.000 TFLOPS	3x
TF32	1.000 TFLOPS	3x
FP64	60 TFLOPS	3x

MfG Föhn.

Das liegt daran, dass hier zwei Dinge miteinander vermischt wurden. Die 60 TFLOPS beziehen sich auf echte FP64-Operationen (ohne Tensor Cores), während bei "FP8" und "FP16" eigentlich FP auf den Tensor Cores gemeint ist. Dabei handelt es sich im Grunde um eine Kombination aus Matrix-Multiplikation (TF) und herkömmlicher Addition (FP).

Schaut man sich die "echte" FP-Leistung an, ergeben die Zahlen wieder Sinn

Quelle: https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/

 

[Colindo]

@Jenergy Du hast aber nicht richtig hingeschaut. FP64 Tensor Core sind 60 TFLOPS, also ist die Tabelle aus dem Artikel in sich konsistent. Der große Abfall liegt darin, dass die Tensor Cores für FP64 eben nicht ausgebaut wurden. Deswegen läuft das so langsam.

 

[Fritz]

Das kann man jetzt ja nicht so stehen lassen

Als Bsp.
Der Tesla FSD Chip hat ne TDP von 2x36w und ist bis Level 5 gedacht (laut Tesla)...
https://en.wikichip.org/wiki/tesla_(car_company)/fsd_chip

Nvidia Drive PX Pegasus hat Level 5 (laut Nvidia) bei einer TDP von 500w...
https://wccftech.com/nvidia-unveils...ps-post-volta-next-generation-dgpus-500w-tdp/

Ist vllt auch der Grund warum Automotive die letzten Jahre so bei Nvidia stagniert bzw sogar zurück geht (was es nicht tun sollte wenn man führend ist)
https://www.3dcenter.org/news/die-nvidia-geschaeftsergebnisse-im-dritten-quartal-2021 (siehe Auto Zahlen)

Bei Nvidia würde ich im Automotive Bereich nicht zu viel FSD rein interpretieren. Das ist wahrscheinlich das meiste für Infotainment Systeme drinn. Bei den ganzen FSD boards von Pegasus, Xavier bis zu Atlan wird man erst Orin und Atlan im realen Einsatz sehen, der Rest wurde halt mehr zum Entwickeln/Forschen verwendet, bis halt auf Tesla, welche mal Nvidia Hardware hatte.
Tesla baut schon mal bei allen neuen Autos ihre ganze Hardware rein und hofft, dass die mal in Zukunft funktionieren wird, die anderen Autohersteller sind da garantiert defensiver aufstellt und testen/verifizieren das Zeugs mal durch und erst wenn sie es als gut empfinden wirds eingebaut. Kostet ja ziemlich, wenn man die ganze FSD Ausstattung mal reinmacht, aber sowieso nicht benützen kann. z.B. Mercedes wird erst 2024 Orin haben, wurde aber schon 2019 angekündigt.
Ich vermute mal, dass die Automotive Sparte erst so ab 2024 langsam raufgeht, erst dann werden grössere Mengen verkauft.

 

[ReactivateMe347]

Das eine hat mit dem anderen nichts zu tun

Dann ergibt es auch keinen Sinn, bei KI-Beschleunigern von "Exa-Scale" zu reden. Erst recht nicht, wenn es 8Bit-FP vs. 32 oder gar 64bit FP sind. Dann ist auch kein Wunder, woher "auf einmal" der "große Sprung" kommt.

(auch @Colindo )

 

[Skysnake]

Große Zahlen sind halt besser und mit den reduced precision Formaten ist das halt billiger zu erreichen....

Die Tera, Peta und jetzt Exa-Scale bezog sich eigentlich rein auf FP64. Weil der Fortschritt aber ziemlich stagniert hat in den letzten Jahren und insbesondere NVIDIA das AI Pferd extrem geritten hat sind die anderen Formate jetzt auch in Bezug auf Exascale im Gespräch, wobei das wie gesagt nichts mit dem ursprünglichen Kontext zu tun hat.

 

[freekymachine]

Hardware-Porno

ach liest sich das schön
Naja mal sehn ob überhaupt was für uns Gamer abfällt - als wenn ich irgendwo mal überhaupt eine 3080 in freier Wildbahn beobachten konnte... weder irgendein Freund oder Bekannter..

 

[ichnunwieder]

wenn er zuvor vorhandene mehrere Bildschirme ersetzt.

"4K kann je nach (Arbeits)szenario sehr sinnvoll sein"
war als Ironie gedacht 😊. bei mir (55" TV) ersetzt er einen 1K monitor, auch das finde ich durchaus sehr sinnvoll, nicht nur zum arbeiten, sondern auch für gaming, z.: Flugsimulation, da wünscht man sich für die vielen instrumente sehr wohl super fein aufgelöstes 4K. size matters manchmal doch, resolution auch.