News Nvidia H100 NVL: Doppel-GPU mit 188 GB HBM3 für Large Language Models

[Cameron]

Nicht auszumalen, welche Bildauflösung mit 188 GB VRAM möglich wäre - in annehmbar kurzen Renderzeiten. Meine 24 GB sind bei 2048 Pixeln komplett voll in Stable Diffusion.

 

[HaRdWar§FreSseR]

Einfach nur Wahnsinn, was Nvidia hier wieder abliefert, leider konkurrenzlos in diesem Bereich.

Diese Rechenleistung (Batchsize 126) ist nicht in Worte zufassen, auf dem Papier stark sowie im Einsatz.

Nvidia ist in einer ganz andere Liga unterwegs und wenn es so weiter geht, kommt niemand ansatzweise an sie ran.

 

[stefan92x]

Gibt es da eigentlich auch Konkurrenz auf dem Markt? Von AMD oder anderen Karten?

Ja gibt es, wobei das hier halt echt ein Brett ist, was in dieser Form von niemand anderem erreicht wird. Es gibt aber auch Unterschiede in der Auslegung, während AMDs MI200 für solche KI-Aufgaben hoffnungslos unterlegen ist, gewinnen sie hingegen im klassischen High Performance Computing, weil sie viel mehr Fokus auf Berechnungen mit hoher Präzision gelegt haben. Ein direktes 1:1 Konkurrenzprodukt gibt es daher nicht.

Wenn man aber noch viel mehr Performance braucht als das hier, dann wirft man halt eine Wafer-Scale Engine von Cerebras auf das Problem, dagegen ist auch Hopper nur Spielzeug.

 

[eastcoast_pete]

Was ein Trumm, und (ich nehme Mal an) "Preis auf Anfrage"! Wär aber uU interessant, wenn man fraktionell Rechenzeit bei NVIDIA oder AWS buchen kann.
Technologisch würde mich auch noch interessieren, wie die Beschleuniger a. Gekühlt werden und b. ob und wie die Teile mit den Sapphire Rapids Xeons zusammen verpackt werden. Da gab's doch mal was, oder? Allerdings hatte dann NVIDIA wohl auch die Geduld verloren bzw sich anders aufgestellt. Oder bring ich da was durcheinander?

 

[HaRdWar§FreSseR]

Wenn man aber noch viel mehr Performance braucht als das hier, dann wirft man halt eine Wafer-Scale Engine von Cerebras auf das Problem, dagegen ist auch Hopper nur Spielzeug.

Stimmt, aber du musst auch erwähnen, der verbraucht 20 Kilowatt.

 

[eastcoast_pete]

DRAM ist derzeitig spottbillig (die Lager sind alle voll), da dürfte Nvidia für die 188 GB nicht all zu viel löhnen.
Wie viele Schichten übereinander verwendet HBM3?

Wär auch interessant zu wissen, wo das HBM3 dafür gefertigt wird.

 

[HaRdWar§FreSseR]

Teile mit den Sapphire Rapids Xeons zusammen verpackt werden. Da gab's doch mal was, oder? Allerdings hatte dann NVIDIA wohl auch die Geduld verloren bzw sich anders aufgestellt. Oder bring ich da was durcheinander?

NVIDIA möchte die höheren Single-Thread-Funktionen nutzen, die Intels Golden Cove-Architektur-Chip zu bieten hat.

Ergänzung (21. März 2023)

Wär auch interessant zu wissen, wo das HBM3 dafür gefertigt wird.

SK Hynix!

 

[icemanspirit]

Wenn man aber noch viel mehr Performance braucht als das hier, dann wirft man halt eine Wafer-Scale Engine von Cerebras auf das Problem, dagegen ist auch Hopper nur Spielzeug.

Nicht so wirklich ehrlich gesagt. Die Waferscale-Engine ist großteils falsch designt für moderne neuronale Netzwerke, und hat eine viel zu geringe off-Chip Bandbreite um zwischen verschiedenen Waferscale-Engines zu kommunizieren. Als solches trainiert man die modernsten Modelle nicht auf Waferscale-Engines, und sie haben bisher auch keine großen Deployments außerhalb von vereinzelten Käufen gesehen.

Wenn man mehr Performance braucht als das hier wird man sich eine (oder mehrere) DGX kaufen. Oder halt einfach Rechenzeit in der Cloud, weil so gut wie kein einzelner Nutzer/Forscher eine DGX ökonomisch ausgelastet kriegt aber eventuell in der Spitze dann doch eine DGX, oder mehr braucht.

Ergänzung (21. März 2023)

Technologisch würde mich auch noch interessieren, wie die Beschleuniger a. Gekühlt werden

Passiv - es sind Serverkarten in welchen die starken Lüfter von vorne (mit gewisser Lautstärke) die Luftmasse durchdrücken.

b. ob und wie die Teile mit den Sapphire Rapids Xeons zusammen verpackt werden. Da gab's doch mal was, oder? Allerdings hatte dann NVIDIA wohl auch die Geduld verloren bzw sich anders aufgestellt. Oder bring ich da was durcheinander?

Da verwechselst Du was. Sapphire Rapids sind in den DGX Servern die Standardprozessoren. DGX Server kaufst Du in einer Standardkonfiguration wo immer 2 Sapphire Rapids Xeons verbaut sind. Das hat jedoch nichts mit den hiesig präsentierten Karten zu tun. Jene sind in der Theorie einzeln zu kaufen, wirst Du jedoch in der Praxis in vorkonfigurierten Servern kaufen in welchen Intel, AMD, oder Ampere CPUs verbaut sein werden. Je nach Serverlieferant, und nach Kundenwünschen halt...

 

[Wichipingui]

zum Spielen sicher nicht geeignet, schade....
Gibet schon Preise der Karten?

Eine RTX 4080 hat so viele Leistung dass, man zum Spielen in 4K mit Ultra Settings nicht mehr braucht. Wer würde noch mehr bezahlen als heutigen Preise? Es gibt kein Consumer Markt dafür...

 

[latiose88]

Also ich hoffe das diese GPU um einiges schneller und auch bei der Bildqulität einiges mehr Einstellung beim Videoumwandeln aufzeigt und damit auch insgesammt sich um einiges steigert.Nur bezweifle ich sehr das sich da was ändern wird beim H264 und H265 so ist.

 

[Coeckchen]

Eine RTX 4080 hat so viele Leistung dass, man zum Spielen in 4K mit Ultra Settings nicht mehr braucht. Wer würde noch mehr bezahlen als heutigen Preise? Es gibt kein Consumer Markt dafür...

Ich liebe solche Pauschalaussagen....

4K 120hz braucht die Doppelte Rechenleistung wie 4k 60hz.
Und ja, 120hz sind schon nen spürbarer Mehrwert gegenüber 60hz xP
Wobei man bei 4k auch oft mit der auflösung runtergehen kann ohne großartig qualitative abstriche machen zu müssen. Bei 32:9 Monitoren sieht das aber wieder anders aus.
Und wenn ich z.b. X4 anschaue dann hab ich die Wahl zwischen SSAA 4x bei low settings oder Treppchenbildung bei High settings mit ner 6900XT. Eine 4080 wär mir hier eig auch schon fast zu Langsam für die 5120x1440 @120hz.

Naja, Luxusprobleme halt . Ich glaube egal welche Karte ich kaufe, ich bekomm am Schluss alles an die Kotzgrenze und könnte noch was schnelleres gebrauchen.
Auf der anderen Seite wär Hopper wohl genau das richtige für die nächsten 2 Jahre, aber da fehlt mir dann doch das Kleingeld xP

 

[Mimir]

@Coeckchen​

Du kannst aber mit DLSS3 auf Knopfdruck 4x so viele FPS erzeugen und das in 4K ohne nennenswerten Qualitätsverlust.

Wenn man das mit berücksichtigt, stellt es kaum eine Hürde dar, ein 4K 120 Hz Display auszulasten. Es erscheint teils sogar lächerlich niedrig. Man umgeht dabei sogar noch mögliche CPU Limits (Frame Generation)

Und genau darum gehts am Ende doch. 4K 120 Hz braucht dank AI nicht unbedingt doppelte Rechenleistung, sondern es geht sogar auch mit halber Rechenleistung.
Aus tatsächlich berechneten 1080p mit 60 FPS werden Dank Upscaling und FG mal eben 4K 120 FPS.

Auch Pathtracing wird dank AI schon heute flüssig spielbar.

Genau das ist dieser Punkt wo gerade ein Umbruch stattfindet. Man hat nun genug Rechenleistung für AI, um genau damit die Notwendigkeit von mehr Rechenleistung zu relativieren.

Du kannst natürlich warten, bis alles nativ, ohne AI funktioniert und wartest dafür dann nochmal 4-5 Jahre für vielleicht ein 10% besseres Ergebnis..
Perfekt ist es sicherlich nicht, aber gut genug, damit die Vorteile die Nachteile überkompensieren.

 

[xexex]

Was ein Trumm, und (ich nehme Mal an) "Preis auf Anfrage"! Wär aber uU interessant, wenn man fraktionell Rechenzeit bei NVIDIA oder AWS buchen kann.

Wirst du sicherlich hier buchen können.

Today, Microsoft is introducing the ND H100 v5 VM which enables on-demand in sizes ranging from eight to thousands of NVIDIA H100 GPUs interconnected by NVIDIA Quantum-2 InfiniBand networking. Customers will see significantly faster performance for AI models over our last generation ND A100 v4 VMs with innovative technologies like:

8x NVIDIA H100 Tensor Core GPUs interconnected via next gen NVSwitch and NVLink 4.0
400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand per GPU with 3.2Tb/s per VM in a non-blocking fat-tree network
NVSwitch and NVLink 4.0 with 3.6TB/s bisectional bandwidth between 8 local GPUs within each VM
4th Gen Intel Xeon Scalable processors
PCIE Gen5 host to GPU interconnect with 64GB/s bandwidth per GPU
16 Channels of 4800MHz DDR5 DIMMs

https://azure.microsoft.com/en-us/b...tual-machine-to-help-customers-accelerate-ai/

 

[Coeckchen]

Du kannst aber mit DLSS3 auf Knopfdruck 4x so viele FPS erzeugen und das in 4K ohne nennenswerten Qualitätsverlust.

Dazu braucht man aber ne Nvidia Karte und das Spiel muss es unterstützen...sonst hast du natürlichc Recht. In meinem Beispiel mit X4 Foundations wird nur FSR 1.0 unterstützt und als AA (das man bei den Kanten echt braucht) ist SSAA 4x das einzig praktikable was man einstellen kann. Und das bedeutet leider dass intern das ganze mit 4x mehr Pixeln berechnet werden muss als der Bildschirm anzeigt^^

Und ich bezweifleauch mittlerweile dass gescheites AI upscaling nachgereicht wird. Ein Nachfolger ist auch nicht in Sicht. Also brauche ich zumindest für den Titel einfach mehr Rohleistung. Und anderen wird's wohl ähnlich ergehen, vllt hier und da mit anderen Titeln.

Was mich halt auch stört ist die NVidia Marktdominanz und ihre properitären Systeme. Dazu die speicherkrüppel...aber das Thema wurde hier schon genug durchgekaut. Ich hoffe dass FSR sich durchsetzt ähnlich wie freesync. Heute kräht auch keine Sau mehr nach Gsync modul^^

 

[andi_sco]

es gab schon HBM Consumer Karten für sehr viel weniger Geld

Ja, leider war es doch irgendwie zu teuer.
Der Kühler gehört zu einer GeForce 4 MX😁

 

[MORPEUS]

188 GB VRAM und HMB3 in einem Satz machen mich irgendwie geil.

 

[Replay86]

188GB VRAM dann in 20 Jahren für die Gaming-Karten.
Vielleicht hat schon die nächste Generation von Nvidia also RTX 50er 48GB.

 

[wahli]

Das Titelbild sieht eher wie ein schräg von unten fotografiertes Gebäude aus

 

[daRocket]

Laut NVIDIA ist "NVIDIA AI Enterprise" bei der SXM nicht inbegriffen, sondern bei der PCIe Steckkarte. Das müsste im Artikel in der Tabelle gedreht werden. Die SXM erhält NVIDIA AI Enterprise nur als Add-On. Genau wie die NVL Karte.

 

[Alpha.Male]

Was für ein fettes Biest (auf allen Ebenen) .
Und:7,8 TB/s Speicherbandbreite ...alter Falter.

Da dürfte beim Preis wohl alle Nieren der Familie bei "drauf gehen"