Diskussion eines Simulations-Rechners

[BreeZrX]

Hier mal die 2 aktuellen Konfigurationen. Nach weiterer Recherche und vor allem der Problematik mit dem Speicherbandbreitenlimit scheint mir die Epyc-Konfiguration irgendwie doch die sinnvollere Variante zu sein.
Es geht zwar vor allem um Meshing und einige wenige Zeitschritte anrechnen, aber

Epyc Workstation (1 Sockel)

Threadripper Workstation

Gibt es hier Verbesserungsvorschläge?

Ich habe zwar auch eine 2 Sockel Konfiguration erstellt mit nem Epyc 7302, aber es scheint dazu kein Mainboard lieferbar zu sein.

 

[madzzzn]

Finde die Zusammenstellung schon sehr gut. Auch was die Kühlung angeht!

 

[Deathangel008]

@BreeZrX:
bitte kein Straight Power 11 für nen Threadripper. das teil hat auf 12V2, an der die CPU hängt, 20A, das entspricht 240W. der 3960X schluckt aber bis zu 280W. bei nem einzelnen 7402P mit 180W stellt das natürlich kein problem dar. dennoch würde ich bei dem budget wohl highend in form des AX850 kaufen.

bei dem server-MB musst du für ordentlich airflow am VRM-kühler sorgen! die normale gehäusebelüftung wird da nicht reichen und vom CPU-kühler kommt da auch nichts vorbei.

 

[BreeZrX]

Für den Luftstrom am VRM-Kühler hatte ich die zusätzlichen Noctua Lüfter eingeplant, um das Gehäuse maximal mit Lüftern zu bestücken. Oder muss ich da was anderes nutzen? Vorschläge?

Bezüglich des Netzteils werde ich dann umsteigen.

 

[Deathangel008]

@BreeZrX:
die frontlüfter sind ein ganzes stück von dem kühler entfernt und von einem zielgerichteten luftstrom kann da keine rede sein. die oben montierten lüfter sind näher dran, aber für die bietet der kühler kaum angriffsfläche.

da musst du nen leistungsstarken(!) lüfter direkt vor den kühler packen, und das sollte kein 140er sein bei dem der großteil der bewegten luft am kühler vorbeigeht.

bei entsprechenden servern sitzt mWn üblicherweise ne batterie von kleinen (80mm?) lüftern direkt vor dem MB die für ordentlich airflow sorgen. anders funktionieren solche "passiven" CPU-kühler auch nicht. genau für solche teile ist der sockel auch um 90° im vergleich zu dem sTRX4-brett aus der zweiten liste gedreht.

 

[BreeZrX]

Nabend,

nachdem sich lange Zeit nichts getan hat stehe ich jetzt vor der Entscheidung für die eine oder andere Konfiguration.
Hauptsächlich geht es um den Prozessor.
AMD Threadripper 3960X (24C/48T) vs AMD Threadripper Pro 3955X (16C/32T).
Preislich liegen ca. 1800€ dazwischen, die der TR Pro mehr kostet.
Anwendungsbereich ist CFD und FEM.

Was mich da jetzt überlegen lässt ist die Sache, dass laut cfd-online ab ca. 16 Kernen das Speicherbandbreitenlimit erreicht wird bei nem 3960X. Sind hierbei wirklich 16 Kerne gemeint oder 16 Threads?
Wären es 16 Kerne würde ich behaupten macht es keinen Sinn einen 16 Kern TR Pro zu nehmen, um mehr Speicherbandbreite zu haben. Sind damit 16 Threads gemeint und der TR Pro hätte ja 32 Threads dann wäre das natürlich der Punkt um den TR Pro zu kaufen.

Kann da jemand was zu sagen?
Bin mittlerweile echt blind was die Auswahl angeht.

 

[Kampfkeks94]

@BreeZrX Habe die Antwort erst jetzt gelesen
Hyperthreading hat in wissenschaftlichen Berechnung keinen Geschwindigkeitsvorteil und kann ggf. sogar ausgeschaltet werden.
Es geht also ab 16 Threads in die Bandbreitensättigung, der 3955X hätte vermutliche keine Geschwindigkeitsvorteile.

Vielleicht kann man auch mal zu Intel schielen, der Xeon Gold 5220R hat immerhin Hexa-Channel-Memory.

 

[Müs Lee]

@BreeZrX Wahrscheinlich 16 worker threads = 16 Kerne, deswegen ja der Skalierungstest. Warum erwägst du keinen Epyc? Die Preise sind vergleichbar und da OpenFOAM bekanntermaßen stark auf RAM-Durchsatz abfährt, wäre es doch eine Alternative. Optional kann man auf die neuen Zen3-Epycs oder TR warten und alle Vorteile der neuen Architektur mitnehmen, falls die Anschaffung warten kann. SMT ist für diese Art von Anwendungen und Kernanzahl desöfteren hinderlich und wird gerne abgeschaltet, wie @Kampfkeks94 anmerkte.

Es geht also ab 16 Threads in die Bandbreitensättigung, der 3955X hätte vermutliche keine Geschwindigkeitsvorteile.

Das sehe ich anders, der 3955X würde aufgrund des höheren Speicherdurchsatzes sicher schneller in OpenFOAM sein als ein Pendant mit Quadchannel. Andererseits sollte man die anderen Anwendungen ebenfalls betrachten und gewichten/priorisieren. Wenn bspw. das FEM-Programm der Wahl weniger sensibel ggü. Bandbreite reagiert und oft gebraucht wird, könnte man letztlich doch für 24 Kerne und Quadchannel entscheiden. In Summe kommt die Wahl bei beiden Programmen stark auf den spezifischen Fall, Solver und Lösungsalgorithmus an (explizit/implizit, Anzahl an Variablen pro Berechnungsdomain etc) an. @BreeZrX stöbere mal ein wenig im CFD-Forum, dort gibt es allgemeine Hinweise zur Skalierung. So ist bspw. GAMG einer der effizientesten Algorithmen und skaliert bis runter auf 10.000 Elemente pro Domain sehr gut, wenn ich mich recht entsinne. Wenn allerdings ein Solver à la viscoelasticFluidFoam gebraucht wird, hat man schnell >50 Variablen pro Knoten und dann ist der Speicherdurchsatz quasi egal, weil ein Zeitschritt einfach ewig braucht. Siehe auch https://www.researchgate.net/public...scoelastic_Solver_on_High_Performance_Systems