News Deutsches Exascale-System Jupiter: 23.752 GH200 ergeben Europas schnellsten Supercomputer

[Ayo34]

Anyway, So wie ich die Liste der Top 500 verstehe ist der Computer ja nicht nur die "Nummer 1 in Europa" sondern auch gleich die Nummer 2 weltweit, was ich jetzt doch als die herausragendere Leistung sehen würde.

Der Punkt kommt mir auch viel zu knapp. Bei Nr.1 in Europa habe ich erst mal wieder an einen etwas größeren PC gedacht. Die Nr.2 weltweit ist hingegen ein ganz anderes Kaliber, gerade wenn man bedenkt was die USA und China normal für Schritte machen.

Kann man nur begrüßen, dass wir auch auf eine solche Leistung zurückgreifen können.

 

[Weyoun]

"nur" 18,2 MW Abwärme. Da kann man eine Kleinstadt mit Fernwärme versorgen, was hoffentlich auch getan wird.

 

[Ayo34]

Für die Leistung ist es ein "nur", gerade wenn man es auch mit älteren Systemen vergleicht und in Relation setzt.

 

[Gravlens]

Wenn die Identifizierung anhand der MAC stattfindet (das tut es i.d.R.), genügt es eine beliebige MAC eines deiner Geräte zu klonen und schon denkt der Router er hätte ein bekanntes Gerät vor sich. Die Funktion ist mehr Schein als sein.

Das Beispiel bezog sich auf das WLAN des Nachbarn, da weiß man in der Regel noch nicht mal von welcher Person das genau ist geschweige denn welche Geräte^^

 

[Master1989]

"nur" 18,2 MW Abwärme. Da kann man eine Kleinstadt mit Fernwärme versorgen, was hoffentlich auch getan wird.

Naja, Jülich ist zu weit weg von größeren Städten in NRW.
Zumal du für Fernwärme etwas höhere Temperaturen (meistens 100-140°C) brauchst, als du die von sonen Systemen bekommen wirst. Da müsste man schon eine Anlage im Großwärmepumpe bauen.

 

[Ozmog]

Leider braucht die volle Liste einen Login, sonst würde ich den tatsächlichen Platz nachschauen.

Prüf das nochmal, ich kann die Liste Aufrufen ohne Login.

Juwels hat deutlich mehr als 9,9 Pflops, war wohl veralteter Stand ohne Boostermodule, und ist aktuell auf dem 13 Platz.

Edit: Ein Link
Top500 Liste

 

[Grummelbart]

Was macht man mit so einen Ding?

 

[Skysnake]

Leider braucht die volle Liste einen Login, sonst würde ich den tatsächlichen Platz nachschauen

Nein braucht man nicht...

Ein absolut goldener Deal für Nvidia. Ein komplettes Exascale-System ohne Intel und AMD.

Naja, das die SiPearl als Compute Teil daneben stellen ist schon eine gewisse Schmach für NVIDIA. An sich hätten Sie ja ne CPU direkt mit im Module. Zudem könnten Sie auch reine CPU Module anbieten. Die will man aber wohl nicht.

In meinen Augen wird das ein interessanter Ritt. Mal schauen ob das Teil wirklich fliegt, oder ob HLRS und LRZ deutlichen Zulauf bekommen genau wie Lumi. Ich habe da leider kein so gutes Gefühl.

Die Nr.2 weltweit ist hingegen ein ganz anderes Kaliber, gerade wenn man bedenkt was die USA und China normal für Schritte machen.

China submitted keine Werte mehr. Ansonsten wären wohl 2-3.Exascale Systeme von denen auf der Liste. Wahrscheinlich sogar auf Platz 1....

"nur" 18,2 MW Abwärme. Da kann man eine Kleinstadt mit Fernwärme versorgen, was hoffentlich auch getan wird.

Nein, wird es nicht. Jülich ist in der Pampa. Da ist erst mal nichts.

@Redaktion
Seid ihr euch mit dem OS sicher? Ich kenne nur Parastation MPi. Wäre mir neu, das die auch nen OS Derivat anbieten. Aber man lernt ja nie aus.

 

[Robert.]

Wär spannend, ob nicht sogar jemand hier auf CB bei diesem System mitarbeitet.
Erfahrungsberichte etc. fänd ich schon spannend

 

[input_iterator]

Was macht man mit so einen Ding?

Es kommt auf die Fachbereiche drauf an. In Hannover lassen wir z.B. Kontinuumsmechanik und Klimatologie Anwendung drüber laufen. Das sind dann in erster Linie Anwendungen in der Ingenieur und den Geowissenschaften, die Entwicklung neuer Medics, sowie Materialwissenschaft Das schließt dann noch die Forschung von Algorithmen und Anwendungen, sowie verschiedene Informatikdienste die angeboten werden mit zusammen.

 

[Trelor]

Nein, wird es nicht. Jülich ist in der Pampa. Da ist erst mal nichts.

In Jülich ist erstmal Jülich und das FZJ, die Bundeswehr, Gebäude der RWTH und FH Aachen, ...
Da steht schon einiges an Bürogebäuden (es pendeln ja auch einige nach Jülich) und auch ein paar Wohngebäude rum, was man heizen kann.
Ein Fernwärmenetz gibt es an sich auch (Weißweiler und KWK aus Garzweiler), da dürfte die Vorlauftemperatur eher das Problem sein.

 

[Skysnake]

Wär spannend, ob nicht sogar jemand hier auf CB bei diesem System mitarbeitet.
Erfahrungsberichte etc. fänd ich schon spannend

Gibt bestimmt jemanden. Die Welt ist verdammt klein.

Ich selbst habe leider noch nie in Jülich arbeiten können, aber auf ein oder zwei Dutzend anderen Systemen aller möglichen Größen. Top 20 war auch schon dabei 😁

 

[cbuser01]

Naja, das die SiPearl als Compute Teil daneben stellen ist schon eine gewisse Schmach für NVIDIA. An sich hätten Sie ja ne CPU direkt mit im Module. Zudem könnten Sie auch reine CPU Module anbieten. Die will man aber wohl nicht.

In meinen Augen wird das ein interessanter Ritt. Mal schauen ob das Teil wirklich fliegt, oder ob HLRS und LRZ deutlichen Zulauf bekommen genau wie Lumi. Ich habe da leider kein so gutes Gefühl.

Wird Nvidia einen Dreck interessieren. JUPITER ist ja nur einer von vielen. Und die GH200 hat man ja trotzdem als CPU-GPU-Modul platziert. Sonst wären es ja reine H100/H200 gewesen.

Hier wird mit Sicherheit eine politische Einflussnahme bei der Ausschreibung stattgefunden haben, damit es wenigstens einen "Design-Win" für die EPI gibt. 🤡 Hier werden wieder vornehmlich die Franzosen mit EU-Geldern gepampert, weil man privatwirtschaftlich seit Jahrzehnten den Anschluss verloren hat. Ist wie bei den gemeinsamen Rüstungsprojekten in Europa ja auch. Frankreich entscheidet, Deutschland bezahlt. 🤡

Und am Ende findet die Wertschöpfung der Fertigung ja trotzdem bei TSMC statt.🤡

 

[Karre]

In Jülich ist erstmal Jülich und das FZJ, die Bundeswehr, Gebäude der RWTH und FH Aachen, ...
Da steht schon einiges an Bürogebäuden (es pendeln ja auch einige nach Jülich) und auch ein paar Wohngebäude rum, was man heizen kann.
Ein Fernwärmenetz gibt es an sich auch (Weißweiler und KWK aus Garzweiler), da dürfte die Vorlauftemperatur eher das Problem sein.

Ich vermute, das das System eh mit Heißwasser gekühlt wird (60 Grad). Wär schon gut, die Wärme über Wärmetauscher für Heizung und Energie zu verwenden …

 

[Dr. MaRV]

Das Beispiel bezog sich auf das WLAN des Nachbarn, da weiß man in der Regel noch nicht mal von welcher Person das genau ist geschweige denn welche Geräte^^

Ob dein WLAN, oder das deines Nachbarn. Dem Angreifer ist es egal, für ihn sind beides fremde Netzwerke in die er möchte. Eine MAC ausspähen ist kein Kunststück, dazu bedarf auch keinem Zugriff auf das fremde WLAN. Es bleibt ein Alibi-Sicherheitsfeature.

 

[Muntermacher]

"nur" 18,2 MW Abwärme. Da kann man eine Kleinstadt mit Fernwärme versorgen, was hoffentlich auch getan wird.

Im nahegelegenem Tagebau soll ein Naherholunhsgebiet entstehen.,da könnte man dir Abwärme nutzen. Dauer leider nur, alleine das Fluten des Lochs dauert Jahre.

 

[Weyoun]

Naja, Jülich ist zu weit weg von größeren Städten in NRW.
Zumal du für Fernwärme etwas höhere Temperaturen (meistens 100-140°C) brauchst, als du die von sonen Systemen bekommen wirst. Da müsste man schon eine Anlage im Großwärmepumpe bauen.

Stimmt, muss ja kein "klassisches Fernwärmenetz" sein. Es reicht eine Art Blockheizkraftwerk mit mehreren riesigen Wärmepumpen im MW-Bereich. Einen Nachteil hätte das aber. Man kann damit nur kurze Strecken zurücklegen, weil das Wasser sonst schnell wieder kalt ist. Wenn dann gleichzeitig die Einwohnerdichte niedrig ist, lohnt sich das kaum. Höchstens für das Technologiezentrum und möglicherweise der Campus der FH Jülich. Ob die aber 18 MW wirklich benötigen? Das schlimmste, was man machen kann: Die Abwärme in die Atmosphäre oder den nächsten Fluss leiten.

Ergänzung (14. November 2023)

Nein, wird es nicht. Jülich ist in der Pampa. Da ist erst mal nichts.

Siehe weiter oben...

Ergänzung (14. November 2023)

Inwiefern? Wollen die einen "beheizten Baggersee" draus machen? Das wäre auch Energieverschwendung. Oder soll da eine Art "Spaßbad" entstehen, das im Winter viel Energie benötigt?

 

[Gravlens]

@Dr. MaRV

Spoiler

@Dr. MaRV Auf Software und ob es damit möglich ist oder nicht werde ich aus verständlichen Gründen nicht näher darauf eingehen, klar 100% Sicherheit gibt es nie.^^

Aber wenn man das Passwort zum WLAN durch so einen Computer bekommen könnte und bereits hat, ergibt es keinen Sinn dann den umständlicheren Weg zu gehen wie du ihn angedeutet hast, aus Gründen auf die ich auch nicht darauf näher eingehen werde.^^

Es wird auch immer wieder mal versucht auf mein WLAN zuzugreifen, das sieht man ja anhand der Blocklist.^^

 

[Volker]

Artikel-Update: Im Nachgang der Ankündigung hat das Forschungszentrum Jülich weitere technische Details zum Supercomputer veröffentlicht. Wie bereits bekannt wird das komplette System in Modulen aufgebaut. Herzstück sind zum einen das Cluster-Modul mit den Prozessoren sowie das Booster-Module mit den Nvidia-Chips. Ohne die Storage-Module und das passende Interconnect geht aber auch nichts. Die in der nachfolgenden Darstellung in Blau eingefärbten Module sind gesetzt, die drei anderen optional für eine spätere Erweiterung geplant.

[Bilder: Zum Betrachten bitte den Artikel aufrufen.]​

Das Booster-Modul ist das mit Abstand größte, rund 6.000 Nodes werden hier mit dem Grace Hopper Superchip bestückt (Nvidia nannte eine Zahl von 23.752 Stück). Es ist auch das leistungsfähigste und soll die 1 ExaFLOP/s (FP64, HPL) garantieren, mit geringerer Genauigkeit wie FP8 liegt der Wert noch viel höher. Diese über 20.000 GPUs stecken als „Quad-Pack“ in einem warmwassergekühlten BullSequana XH3000.

[Bilder: Zum Betrachten bitte den Artikel aufrufen.]​

Ebenfalls in Nodes dieser Serie, rund 1.300 an der Zahl, stecken die Rhea1-CPUs. Die CPUs auf Basis der Arm-Architektur nutzen HBM2e als sehr schnellen, naheliegenden Speicher, zusätzlich sind 512 GByte DDR5 pro Node, optional auch die doppelte Menge von 1 TByte verbaut. Umfangreiche technische Details zur CPU sind noch Mangelware, vor zwei Jahren gab es erste Informationen: 64 Kerne nach Arm-V1-Architektur, HBM2e, PCIe 5.0 und mehr. Damals war aber auch noch Intel als GPU-Lieferant geplant für ein europäisches Exascale-System, nun ist bekanntlich aber erstmal Nvidia am Zug. Wie es final also um die CPUs bestellt ist, werden die kommenden Monate offenbaren.

Beim Interconnect kommen bewährte Mellanox-Technologien wie InfiniBand und DragonFly+ zum Einsatz – das Unternehmen gehört seit einigen Jahren ebenfalls zu Nvidia. Der Umfang des Interconnects ist gewaltig um keine Flaschenhälse zu produzieren und Leistung auf der Strecke zu lassen.

At the core of the system, the InfiniBand NDR network connects 25 DragonFly+ groups in the Booster module, as well as 2 extra groups in total for the Cluster module, storage, and administrative infrastructure. The network is fully connected, with more than 11000 400 Gb/s global links connecting all groups with each other.

Inside each group connectivity is maximized, with a full fat-tree topology. In it, leaf and spine switches use dense 400 Gb/s links; leaf switches rely on split ports to connect to 4 HCAs per node on the Booster module (1 HCA per node on the Cluster module), each with 200 Gb/s.

In total, the network comprises almost 51000 links and 102000 logical ports, with 25400 end points and 867 high radix switches, and has still spare ports for future expansions, for example for further computing modules.

Der Kern des Massenspeicher-Moduls basiert auf 40 IBM Elastic Storage Server 3500. Es fasst 29 PetaByte Flash-Speicher, 21 PB davon werden zur Verfügung stehen. 3TB/s werden beim Lesen und 2 TB/s beim Schreiben anvisiert. Ergänzt wird dies durch ein 300 PB großes, aber nicht so performantes Storage Module und ein 700 PB fassendes Archiv.

Am Ende muss das gesamte System auch noch verwaltet werden. Dafür kommt natürlich eine Spezialanfertigung zum Einsatz, eine Mischung aus Software von Atos, ParTec und dem Forschungszentrum und seiner langen Erfahrung in dem Bereich. Über mehr als 20 Login-Nodes wird dann via SSH Zugang zum System respektive den jeweiligen Modulen gewährt, eine Inegration in bestehende Umgebungen erfolgt ebenfalls.

 

[FrozenPie]

@Volker

Herzstück sind natürlich Cluster-Modul mit den Prozessoren sowie das Booster-Module mit den Nvidia-Chips.

Irgendwas passt an diesem Satz nicht wirklich. Artikel? Einzahl/Mehrzahl? Englisch oder Deutsch?