News HLRN-IV-System: Berliner Supercomputer Lise setzt auf Cascade Lake AP

[Onkel Föhn]

Die Beiträge hier sind wieder herrlich.
Die Planung eines solchen Supercomputers dauert "etwas".
Als das geplant wurde gabs grade die ersten Gerüchte über Ryzen.

Der SuperMUC-NG hat daher auchnoch Intel.
Daher hier mal etwas Lektüre für die ganz schlauen:
https://media.ccc.de/v/35c3-9703-supermuc-ng#t=700

Die ersten Epyc Superrechner sind ja noch/schon in Planung und CB hat berichtet.

edit:
Wobei ichs auch unschön finde, dass daher Intel verbaut ist :/
Da wäre mehr Leistung für weniger Geld drinne gewesen,

Du meinst sicherlich den hier :

https://www.computerbase.de/2019-05/frontiert-supercomputer-amd-cray/

https://www.golem.de/news/frontier-...it-schnellsten-supercomputer-1905-141089.html

MfG, Föhn.

 

[saintsimon]

Es wäre wirklich schön und begrüßenswert, würde dieser Thread nicht zu einer sinnlosen AMD vs. Intel Diskussion ausarten.
...

Darum geht es gar nicht. Es wird aus der Rechten und der Dunning-Kruger-Ecke (welche sich ja nicht auschließen) nach jedem Strohalm gegriffen, von dem diese meinen, daß es belegen würde, daß "die da oben", "die Elite", "der Staat", "das links-grün versiffte Deutschland" einfach "nichts können".
Und wenn man glaubt ,dazu AMD vs. Intel (Amerikaner auch noch!) nutzen zu können dann, eben das. Der gehässige und der höhnische Tonfall verrät die Intention und den Charakter
Gleich am Anfang kam auch der dumme Kommentar zur Namensgebung als "politisch Korrekt".

 

[cbtestarossa]

Und was soll man dann eigentlich posten?
Etwas wie "Wahnsinn" oder "Irre" wie toll das alles ist?

Die wenigsten hier werden jemals mit so einem Supercomputer Kontakt haben.
Im Prinzip ist es zwar interessant dass so etwas existiert aber für Otto ist das nicht viel mehr als
"Sack Reis in China umgefallen"

Und was man damit macht ist meist eh klar.
Wissenschaftliche Berechnungen.

 

[Discovery_1]

Bei der Auswahl einer solchen Hardware-Konfugiration wird sicherlich als erstes berücksichtigt, welche für das (schon lange) geplante Einsatzgebiet am besten geeignet ist. Dann kommt wohl erst die Effizienz und zum Schluß der Preis. Bei uns Privatpersonen wohl eher andersrum oder irre ich mich da?

 

[SVΞN]

Und was soll man dann eigentlich posten?Etwas wie "Wahnsinn" oder "Irre" wie toll das alles ist?

Ich denke, die Specs des Systems sind doch bekannt und sehr interessant und über die lässt sich doch vortrefflich diskutieren.

Natürlich darf auch die Frage gestellt werden ob ein Epyc aus der 7002er Serie nicht besser gepasst hätte.

AMD und Intel dürfen durchaus in eine solche Diskussion und einen solchen Thread mit einfließen, nicht aber die immer gleichen Verschwörungstheorien, die wir [selbst wenn was dran sein sollte] nun mittlerweile oft genug gehört haben.

Niemand sagt, dass man einen solchen Thread nicht zum Anlass nehmen darf um [auf Grundlage des Artikels] über die Vorteile von AMD oder Intel zu diskutieren.

Die meisten die in diese Kerbe schlagen, diskutieren aber nicht, sondern schmeißen mit wirren Verschwörungstheorien um sich.

Sowas ist Offtopic und wird entsprechend aus dem Thread entfernt.

 

[cbtestarossa]

Da wir weder die Vorlaufszeiten noch die genauen Beweggründe kennen warum Intel vs. AMD können wir auch nur darüber philosiophieren "was wäre wenn".

Ansonsten sehe ich hier wenig Potential.

p.s.
Man könnte sowieso mal gewisse Dinge linear auflisten.
zb.
Geschichte des Microprozessors
Geschichte der Supercomputer
Geschichter der Betriebssysteme

Das fände ich auch interessant und man könnte auch Exoten miteinbeziehen.
Und man könnte sehen wie sich Leistung, Anforderungen, Einsatzgebiet etc. so entwickelte.

 

[olfbc]

Der "politisch korrekte" Name Lise Meitner ist nicht aus Wissenschaftsfreundlichkeit gewählt, sondern ein subtiler Hinweis für angewandte Verschwörungstheoretiker das auf dieser Inteufelsmaschine Kernspaltungsversuche simuliert werden, die zum Untergang - dem Untergang führen werden...

Warum wurde nicht am Black Friday bestellt?
Warum keine x86 Prozessoren aus China?
Gibt es Beweise, dass Russland keine Prozessoren bauen kann?
Warum dürfen dort nur Mainstream Wissenschaftler arbeiten?
Ist die Zahl 100.016 der Kerne eine versteckte Botschaft?
Verschweigt uns die Lügenpresse den Inhalt?
Die Primfaktoren der Zahl 100.016 sind 2, 7, 19, 47.
Am 2. 7. 1947 war der Roswell Zwischenfall - Zufall?
All diese Fragen sollten eindeutig geklärt werden.
Dies sind nur einige der Fakten über die der mündige Bürger nachdenken sollte!

Wünsche ein verrücktes Wochenende!

 

[0screamer0]

Drückt der Aluhut ?

 

[LamaMitHut]

Früher war alles Besser - Opi Modus an...

Früher waren Supercomputer reine Science Fiction Maschinen.

Als man nicht mal auf die Idee kam Computer müssten überhaupt gekühlt werden, waren die Supercomputer schon mit Wasser gekühlt.
Man träumte von CPUs die 5 MHz Marke knacken da gingen die Supercomputer in Richtung GHz.
So viel RAM konnte man sich nicht mal an einem Fleck vorstellen.
GaAs war wie Vibranium.

Jetzt?

Wer hat das meiste Geld, um die meisten Serverracks vollzukaufen? In Teilbereichen sind die Komponenten nicht mal das Neueste vom Neuesten sondern schon leicht angestaubt und die eine oder andere Generation hinter der Technik die ein Enthusiast unter den Schreibtisch stellen kann.

Ich will, dass Supercomputer wieder so aufregend wird wie früher. Her mit Spintronik, exotisch mit Laser auf knapp über 0 Kelvin gekühlt und jeder Knoten mindestens 1 Mio mal schneller als jeder Rechner den man selbst nutzt. Oder Biocomputer mit Neuronen, unappetitlicherweise gewonnen aus Rattenhirnen die aber ungeahnte Geschwindigkeit entwickeln.

Sorry für den flapsigen Tonfall, aber hast du in den letzten Jahren hinterm Mond gelebt? Zur Zeit wird intensiv an Quantencomputern gearbeitet!

Und warum sollte man heute hundertemillionen für ein exotisches System ausgeben, welches am Ende der Planungsphase schon von "konventionellen" Lösungen überholt wurde? Ergibt wenig Sinn.

 

[cbtestarossa]

Naja reine Quantencomputer werden herkömmliche Supercomputer wahrscheinlich nicht überflüssig werden lassen.
Zumindest nicht in naher Zukunft.
KI ist dann ein weiteres Gebiet.
Könnte auch sein dass man irgendwann alles vereint.
Naja und hoffentlich tun die Dinger dann auch nur das was man will und erheben sich nicht über den Menschen.

 

[Hopsekäse]

Das ganze ist viel mehr ein politisches Problem als alles andere, weil es sich um eine öffentlich finanzierte Einrichtung handelt.

Mit Intel-Knebel-Verträgen hat das nichts zu tun. Das sind öffentliche Ausschreibungen und da steht nicht drin, dass es gefälligst Intel zu sein hat.
Das hat auch nichts damit zu tun, dass die Mitarbeiter an solchen Instituten ja so unfähig und unwillig sind, die neueste aber andersartige Technologie zu verwenden. Ganz im Gegenteil. Gerade die Wissenschaftler dort freuen sich über andere Technologien und haben die auch oft "in klein" zum Testen und Forschen da.

Die Hauptprobleme sind mMn die Notwendigkeit und Art der Ausschreibung sowie die politischen Vorgaben.

Der Vertrag dafür wurde im März 2018 geschlossen. Davor lief die Ausschreibung. Die Systemanbieter haben also in H2 2017 ihre Systeme konzipiert und für diese Ausschreibung eingereicht.
Ab Juni 2017 gab es AMDs lange nicht so gute erste Generation Epyc und keiner wusste, ob die Nächste etwas taugt oder ob und wie sich das HPC-Ökosystem von AMD entwickelt. Außerdem haben auch die Systemanbieter eine gewisse Trägheit. Entsprechend wenig ist AMD in solchen Systemen vertreten. Zu diesem Zeitpunkt war Intel nicht nur die gewohnte und sichere Wahl, sondern vernünftig betrachtet die Bessere. Und selbst wenn nicht... ich kenne nicht alle Einreichungen auf die Ausschreibung, aber es würde mich arg überraschen, wenn damals überhaupt ein Anbieter auf die Idee gekommen wäre, da ein AMD-System einzureichen.

Nun wäre das durchaus 2020 mit der Verfügbarkeit von Epyc Rome nicht mehr unbedingt der Fall. Aber die Möglichkeit dann einfach etwas Anderes hinzustellen hatte man leider nicht, da man effektiv zwei Systeme als ein System gekauft hat, weil man die aus politischen Gründen dann in zwei verschiedenen Bundesländern aufstellen kann... Warum man das dann als ein System beschaffen muss, bleibt mir schleierhaft. Als kombiniertes System werden sie eh nicht benutzt.
Die Flexibilität zweier getrennter Anschaffungen hätte angesichts der Verzögerungen des Berliner-Teils, wegen der der Vertrag für das bisherige Cray-System verlängert werden musste, sicherlich nicht geschadet. Warum hört man also jetzt Anfang 2020 davon, dass in Berlin Hardware an den Start geht, die schon nicht mehr so richtig taufrisch wirkt? Weil die aus einem Anschaffungsvertrag kommt, der Anfang 2018 geschlossen wurde und zeitlich unmittelbar erstmal nur die Installation eines anderen Systems an einem anderen Standort gebracht hat.

Bzgl. der hier auch kritisierten Innovation des Systems ist die öffentliche Ausschreibung leider auch nicht besonders hilfreich. "Das ist cooles neues Zeug, das wollen unsere Wissenschaftler" gibt's nicht. Es gibt nichtmal "Wir halten aus fachlicher Sicht dies und das für sinnvoll". Das muss alles sehr neutral ablaufen. Aber völlig planlos alles offen lassen, darf man auch nicht. Also wird ein Anforderungsprofil erstellt, das auf der bisherigen Nutzung durch die Nutzer/Kunden beruht und damit als Leistungsindikator ausgeschrieben. Das führt ein Stück weit quasi automatisch dazu, dass das neue System von der Art her sehr ähnlich, bloß schneller/größer wird.
Ich würde nicht sagen, dass der Ansatz prinzipiell schlecht ist, aber er fördert halt eher gerade nicht den Einsatz besonders neuer, innovativer Technologien. Wirtschaftlich ist das durchaus vernünftig. Man hat ja bereits Kunden, die für ihre Aufgaben zu einem kommen. Warum sollte man dann etwas potentiell ganz anderes anbieten, was diese Kunden vielleicht nicht wollen, nur um dann darauf angewiesen zu sein, neue Kunden für dasselbe wirtschaftliche Ergebnis ranzuschaffen.

Insgesamt ist ein in Deutschland öffentlich finanziertes System leider der falsche Ort um sich innovative State-of-the-Art-Hardware zu erhoffen.

Mein persönliches "Highlight" an dem System ist ja das Omni-Path-1 Interconnect. Das wird noch supported aber nicht mehr wirklich weiterentwickelt und der Nachfolger wurde zeitgleich von Intel gestrichen. Das war ca. Mitte 2019. Jetzt wird 2020 ein System ausgebaut/erstmals auf den eigentlich angedachten Stand gebracht,das ein Interconnect haben wird, das schon ca. ein Jahr davor quasi tot war.

 

[Ozmog]

Zur Zeit wird intensiv an Quantencomputern gearbeitet!

Die sind aber noch weit davon entfernt, praktischen Nutzen zu erzielen. Zudem sind sie wahrscheinlich nicht für alle Probleme eine Lösung.
Bisher sind Quantencomputer noch zu ungenau und werden bisher auf sehr spezielle Operationen angesetzt, wo sie gerade phantastische Leistung erzielen, aber immer noch wenigstens Statistisch überprüfbar sind, ob sie einigermaßen richtig liegen. Bei den speziellen Operationen müssten Supercomputer sonst viele Jahrzehnte dran rechnen, und genau da liegt dann auch der Knackpunkt: Die Überprüfbarkeit, ob das Berechnete überhaupt korrekt ist. Wenn sie quasi nur statistisch überprüfen können, in wie weit die Berechnungen korrekt sind, muss man von einer gewissen Abweichung ausgehen.
Potential haben Quantencomputer bei stark parallelen Berechnungen, könnten damit Supercomputer locker in die Tasche stecken, wenn sie dann irgendwann präzise genug sind. Dazu müssen sie noch beweisen, für welche Operationen sie wieviel Leistungsschub bringen. Es wird sicher noch Jahrzehnte dauern, bis Quantencomputer als Supercomputer eingesetzt werden, ohne dabei selbst das Forschungsobjekt zu sein. Es ist Interessant, aber für die Praxis noch nicht wirklich spannend.

 

[Piktogramm]

Ok, das klingt logisch. Gibt es dann auf einem Hauptsystem ein Os welches alle Instanzen zusammenfügt?

Kommt drauf an wie du das meinst.
Die Server bleiben alle Instanzen für sich. Es gibt kein System welches direkten Zugriff auf alle CPUs hat[1]. So ein Großrechner ist an sich eine Sammlung aus Servern, die mit dicken Netzwerkanbindungen untereinander Daten austauschen. Wobei es beim Netzwerk dann allerhand Auswahl gibt (Omnipath, FibreChannel, Ethernet, InfiniBand, ...) und die Möglichkeiten die Netzwerkstruktur aufzubauen auch vielfältig sind.
Das macht das Schreiben von Anwendungen dann auch kompliziert, da oft nicht alle Server gleich schnell und mit den selben Latenzen angebunden sind. Es kann durchaus sein, dass da mal Gruppen a 4-20 Servern sehr schnell miteinander kommunizieren können, zur nächsten gruppe aber schon allerhand Latenzen/Bandbreitenbeschränkungen in Kauf nehmen müssen. An der Stelle muss man sich dann fragen, baut man sein Programm so, dass es damit klar kommt, oder beschränkt man sich auf einen Subcluster mit konstanten Latenzen.

[1] Plan9 als experimentelles Betriebssystem sollte oder kann CPU über Netzwerk freigeben. Bin mir aber nicht sicher. In freier Wildbahn kommt Plan9 aber nicht vor.

Merkwürdig: Finde erstaunlich dass man so viele Knoten hat mit nur 4GB RAM / Core.
Nice: Aber das Speicherinterface ist schon fett mit 12 Kanälen.
Fehlende Angaben: Da steht gar nix über Storage. Wäre mal interessant zu wissen wie das Verhältnis aus (NVMe) SSDs und HDDs ist.

Der lokale Storage solcher Systeme ist mitunter erschreckend klein (und langsam). Irgendwo in der Nähe wird dafür ein potentes NAS[2] stehen und heutzutage wird das Ding NVME-over-Fabrics anbieten können. Als Dateisystem ist glaub Lustre gerade ganz angesagt. Das ist nochmal eine Welt für sich.

[2] NAS im Sinne von, da stehen einige 19" Schränke voller Netzwerk- und Speichereinschübe + ein paar dicke Server fürs Verwalten.

Edit: Das es da noch den Kosmos von RDMA (remote direct memory access).

 

[LamaMitHut]

Die sind aber noch weit davon entfernt, praktischen Nutzen zu erzielen. Zudem sind sie wahrscheinlich nicht für alle Probleme eine Lösung.
Bisher sind Quantencomputer noch zu ungenau und werden bisher auf sehr spezielle Operationen angesetzt, wo sie gerade phantastische Leistung erzielen, aber immer noch wenigstens Statistisch überprüfbar sind, ob sie einigermaßen richtig liegen. Bei den speziellen Operationen müssten Supercomputer sonst viele Jahrzehnte dran rechnen, und genau da liegt dann auch der Knackpunkt: Die Überprüfbarkeit, ob das Berechnete überhaupt korrekt ist. Wenn sie quasi nur statistisch überprüfen können, in wie weit die Berechnungen korrekt sind, muss man von einer gewissen Abweichung ausgehen.
Potential haben Quantencomputer bei stark parallelen Berechnungen, könnten damit Supercomputer locker in die Tasche stecken, wenn sie dann irgendwann präzise genug sind. Dazu müssen sie noch beweisen, für welche Operationen sie wieviel Leistungsschub bringen. Es wird sicher noch Jahrzehnte dauern, bis Quantencomputer als Supercomputer eingesetzt werden, ohne dabei selbst das Forschungsobjekt zu sein. Es ist Interessant, aber für die Praxis noch nicht wirklich spannend.

Hab nichts anderes behauptet. Du hast mit allem recht, aber genau dies ist doch dieser tolle Science-Fiction stuff, den er sich wünscht.

 

[P220]

Für die Forschung genutzt... was für Berechnungen werden damit eigentlich ~genau~ mit durchgeführt, was braucht solche astronomischen Leistungen? Mag das Jemand mal kurz Erläutern?

 

[BoeserBrot]

@P220 Ich habe letztes Jahr auf dem HLRN-III molekulardynamische Simulationen im Fach der Materialwissenschaften durchgeführt. Das Ganze lief mit jeweils 24 Threads auf 300 Nodes, also insgesamt 7200 Threads. Die Parallelisierung wird dabei durch die räumliche Aufteilung der Simulation erreicht.

 

[P220]

Mh. Versuche ich mich gerade darin einzulesen, aber kann da immer noch nicht so recht entnehmen was genau berechnet wird. Molekular-dynamische Simulation - ich kann mir in etwa was vorstellen, aber wie lange das dauert und wo wir wirklich einen Nutzen davon ziehen? Bei dem Aufwand müssten wir ja in der Medizin eigentlich schon längst weiter sein.

Warum haben wir immer noch Antidepressiva wo die Wirkung nahe am Placebo und im gleichen Verhältnis mit Nebenwirkungen steht? Umso mehr ich mich einlese um so mehr kommen mir Ideen für die Optimierung von Designerdrogen oder Nanomedizin. Selbiges für Krebs, HIV etc. - Gut hierbei kann ich mir wiederum vorstellen das Ergebnisse bewusst zurück gehalten werden, ähnlich des Fortschritts in der Mikrotechnologie auf dem Markt.

Wir sind dabei KIs zu entwickeln die mehr auf die Kette kriegen als jedes Menschliche Gehirn, gleichzeitig steht die Forschung bei genau diesem wiederum angeblich noch so weit am Anfang. Widerspricht sich alles irgendwo... vor allem wenn wir doch die Möglichkeiten von Nutzung diverser zig Supercomputer-Netzwerken haben...

Bei anderen Bereichen wiederum fehlt mir das ins öffentliche gestellte Wissen. Wer nutzt diese Computer? Welche Firmen für welchen Bereich? NASA? Natürlich fällt mir als Laie auch schwer die Dimension dieser Berechnungen in den verschiedenen Anwendungen vorzustellen, aber läuft alles einfach kontinuierlich weiter ohne Ergebnisse oder haben wir irgendwo mal ein Ziel erreicht? - Wo haben wir mal speziell eine Sache, einen Durchbruch den wir explizit von welchen bestimmten Berechnungen durch diese Supercomputer erreicht?

Hat Jemand mal ein konkretes Beispiel was wir durch so einen erreicht haben?
Wirkt für mich eher wie "Theorie" wo wir in 20 Jahren mal was von haben oder schlicht "Spielzeug".

 

[kokiman]

Und was soll man dann eigentlich posten?
Etwas wie "Wahnsinn" oder "Irre" wie toll das alles ist?

Die wenigsten hier werden jemals mit so einem Supercomputer Kontakt haben.
Im Prinzip ist es zwar interessant dass so etwas existiert aber für Otto ist das nicht viel mehr als
"Sack Reis in China umgefallen"

Und was man damit macht ist meist eh klar.
Wissenschaftliche Berechnungen.

Was man halt in einem IT Forum so postet, sich über die utopischen Corezahlen zu freuen, sich Fragen ob Crysis darauf läuft.. usw. Irgendwie gibt es diesen Spaß aber nicht mehr, jeder wirkt irgendwie total passiv aggressiv. Seite 1 des Threads hat mich schon ziemlich verwundert, wurde doch sofort Politik und die Brandwars in den Raum geworfen, als gäbe es eine spezielle Gruppe hier denen es wichtiger ist, dass ihre "Seite" gewinnt anstatt sich an Threads sinnvoll zu beteiligen. Ich fänd es ziemlich cool, wenn die Moderation da mal ein bisschen eingreifen könnte um DIskussionen wieder (auch zukünftig) in die richtige Richtung zu lenken.

 

[Krautmaster]

Je nach Anwendungsfall kann der CL-AP durchaus schneller sein. Man nehme zB. diverse AVX Szenarien.

Auch weiß keiner hier wie die Skalierung bei Supercomputern aussieht, oder etwa doch?

Möglich dass die Infrastruktur drum herum einfach über 2200 CPU die leicht bessere Skalierung aufweist, dann kann der einzelne CPU durchaus langsamer sein, über viele Hinweg aber mehr bei rumkommt.

Schon lustig wie sich viele anmaßen hier den besseren Supercomputer hinstellen zu können indem man einfach Epyc verwendet. Keiner weiß was schon da steht, wie die SW aussieht, wie das drumrum aussieht, welche Preise abgerufen werden usw... Also ja, viele hier haben wohl einfach keine Ahnung von dem Auswahlprozess. Mich eingeschlossen. Deswegen halte ich bei so Äußerungen den Ball flach.

Edit. Die Flop Angaben werden vermutlich einfach von der HW hochgerechnet und sagen wenig über die Performance von Zenario X auf diesem SC aus. Die wird man genau dafür trimmen, je nach dem was man damit rechnen will. Sei es Latenz, Homogenität, Ram.

 

[Hayda Ministral]

Bei dem Aufwand müssten wir ja in der Medizin eigentlich schon längst weiter sein.

(Auch) Dank dem Aufwand sind wir in der Medizin schon längst weiter. Nämlich da wo wir sind.