News Deutsches Exascale-System Jupiter: 23.752 GH200 ergeben Europas schnellsten Supercomputer

[manchae]

Immer wieder schön gute Nachrichten zu hören wo wir als Industriestandort vertreten sind

 

[HansHubert]

Wie kann man sich denn den Zusammenbau eines Supercomputers vorstellen? Werden hier die Nodes so weit es geht automatisiert bestückt, oder muss da 23000 mal Hand angelegt werden?

 

[Volker]

Bei Nvidia gabs mal ein kleines Video zu dem HGX-H100-System.
Viel ist bei den Nodes automatisiert, aber so einiges dann auch Handarbeit noch.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[cunhell]

Vor den Optimierungen war er sogar #1.

Da der Rechner erst nur auf dem Papier steht, da er erst 2024 aufgebaut wird, ist das nur eine erste Einschätzung der Performance. Solange hier noch kein Linpack gelaufen ist, steht der noch nirgends in der Liste. Und bis der wirklich vernünftig läuft, geht selbst nach der Inbetriebnahme noch einige Zeit ins Land.

Über die Einsortierung in der Top500 reden wir also erst, wenn er den nötigen Benchmark erfolgreich absolviert hat. Das muss erst mal fehlerfrei funktionieren.

Cunhell

 

[andi_sco]

was für eine brachiale leistung

Wenn man bedenkt, das bei der Cray 1 von 80 MFLOPS und 115 kW für den Rechner und 115 kW für die Kühlung gedacht war: ja

Ergänzung (14. November 2023)

Zumal du für Fernwärme etwas höhere Temperaturen (meistens 100-140°C) brauchst, als du die von sonen Systemen bekommen wirst.

Mhh, zumindest in Ismaning waren es 80°C: 70°C aus dem Boden und die letzten 10 K wurden zugeheizt

 

[Epistolarius]

Da der Rechner erst nur auf dem Papier steht, da er erst 2024 aufgebaut wird, ist das nur eine erste Einschätzung der Performance. Solange hier noch kein Linpack gelaufen ist, steht der noch nirgends in der Liste. Und bis der wirklich vernünftig läuft, geht selbst nach der Inbetriebnahme noch einige Zeit ins Land.

Über die Einsortierung in der Top500 reden wir also erst, wenn er den nötigen Benchmark erfolgreich absolviert hat. Das muss erst mal fehlerfrei funktionieren.

Exakt. Etwas merkwürdig wie hier einige Beiträge und auch der Artikel von der Performance schreiben, als wäre der schon gebaut und (bald) auf der Liste. Das wird noch einige Zeit dauern.

 

[Krik]

Was ist denn ein EU-Technology Enabling Module? Ist das ein Buzzword für "was immer wir hier haben wollen"?

 

[knoxxi]

Wenn man bedenkt, das bei der Cray 1 von 80 MFLOPS und 115 kW für den Rechner und 115 kW für die Kühlung gedacht war: ja

Und dieser selbst von einer Apple Watch geschlagen wird. Mit etwas besserer Energieeffizienz als Cray 1.

 

[SKu]

Mich würden ja mal die Kosten pro Node interessieren.

Was kostet ein DGX H100 mit 8 GPUs von Nvidia? 300.000€?

Wenn ich das richtig verstanden habe, sind auf einem Node 4 GH200 GPUs + 4 Hopper CPUs und pro Blade werden 2 Nodes genutzt,.

Bei 23.752 GPUs wären das ja 5.938 Nodes in 2.969 Blades.

Da würde man ja schnell im Milliardenbereich landen, ist das relaistisch?

 

[cbuser01]

@SKu

Die komplette Hardware von JUPITER kostet 273 Millionen.

Nvidia gibt Mengenrabatt. ;-)

 

[Master1989]

Mhh, zumindest in Ismaning waren es 80°C: 70°C aus dem Boden und die letzten 10 K wurden zugeheizt

Durchaus möglich. Ist ja von vielen Faktoren abhängig, mit welcher Vorlauftemperatur man so ein netz betreibt.
Selbst In einer Stadt (Duisburg, Düsseldorf, Berlin, etc) sind ja auch verschiedene Abschnitte mit ubterschiedlichen Temperaturen und etc.
Aba ein Campus kann auch gerne mal 10MW benötigen.

 

[Skysnake]

Wie kann man sich denn den Zusammenbau eines Supercomputers vorstellen? Werden hier die Nodes so weit es geht automatisiert bestückt, oder muss da 23000 mal Hand angelegt werden?

Naja, die nodes werden wahrscheinlich aufnehme Fertigungsband gebaut. Ob wirklich Roboter oder doch noch Menschen, da zu geringe Stückzahl weiß ich nicht. Man muss die Nodes dann aber noch ins Rack wuchten und verkabeln. Das ist immer Handarbeit.

Bei Cray werden dann fertige Racks versendet. Die müssen dann "nur" noch positioniert werden und mit Strom und Wasser versorgt werden. Zudem dann halt noch die Verkabelung zwischen den Racks. Atos bzw jetzt Eviden werden das ziemlich identisch machen.

Die HDD von Storagebüchsen baut man aber erst vor Ort ein. Da muss man also hunderte bis tausende HDD auspacken und in die Slots schieben. Da ist man also ne Weile beschäftigt.

Nach dem Aufbau an sich geht die Arbeit aber erst so richtig los. Man muss das Software Environment aufsetzen und die Knoten schütteln. Man hat immer so ca 1% kaputte dimms und ai 0.1% an nodes mit CPU Problemen usw.

Sprich man muss da bei ner nicht geringen Anzahl an Knoten Hand anlegen. Dann werden nen paar IB Links auch zicken machen.

Naja und man muss die Regelungstechnik der Kühlung konfigurieren, damit nichts schwingt usw.

Sprich nen Arscc voll Arbeit auch nachdem der Rechner steht. An sich ist der eigentliche Aufbau der kleinere Arbeitsanteil.

Was ist denn ein EU-Technology Enabling Module? Ist das ein Buzzword für "was immer wir hier haben wollen"?

Damit ist ein Ergebnis der EPI also European Processor Initiative gemeint.

Da würde man ja schnell im Milliardenbereich landen, ist das relaistisch?

Nö. Man bezahlt da Projektpreise die sehr große Rabatte im Vergleich zu den Listenpreisen haben. So 30-95% Rabatt sind da wirklich gängige Größen.

Teilweise werden Projekte auch strategisch gesehen. Sprich die Anbieter gehen da Plus Minus Null raus. Teils ist einem auch klar das ein Anbieter Geld auf den Tisch legt um ein Projekt zu bekommen.