Diskussion eines Simulations-Rechners

[BreeZrX]

Nabend zusammen,

ich würde gerne meine geplante Zusammenstellung eines Simulations-Rechners zur Diskussion und Optimierung stellen.
Genutzt werden soll hauptsächlich OpenFOAM und COMSOL Multiphysics und das möglichst performant.
Alternativen zum Selbstbau wären natürlich Rechner von Systemherstellern (Dell etc.), aber der Premium-Support wird nicht benötigt und es soll möglichst viel Leistung für das Geld rauskommen.

Nachfolgend aber erstmal der übliche Fragebogen:

1. Möchtest du mit dem PC spielen?

Nein

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

CAD / CFD / Multiphysics mit der Software OpenFOAM / COMSOL Multiphysics

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

RGB irrelevant, kein Overclocking geplant, gerne kein Schreihals

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

2 Monitore, WQHD Auflösung, 60 Hz

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

Nein

6. Wie viel Geld bist du bereit auszugeben?

ca. 5000€

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

Zeitnah

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

Selbstbau


Nachfolgend nun meine erste Konfiguration:

CPU: AMD Threadripper 3970X, 32x 3,7GHz

Kühlung: AiO WaKü Enermax Liqtech TR4 II 360

Mainboard mit ECC-RAM-Unterstützung: ASUS Strip TRX40-E Gaming

RAM: 8x 16 GB ECC-RAM

GPU: Nvidia Quadro RTX 4000

Netzteil: 1000W BeQuiet Dark Power Pro 11

Gehäuse: BeQuiet Dark Base 900

SSD (OS + Betrieb): 1TB m.2 NVMe-SSD Samsung 970 Pro

HDD (Datenarchiv): 8TB HDD Seagate EXOS


Mir macht bisher am meisten noch die AiO-Wakü und das Gehäuse zu schaffen bezüglich der CPU-Temps.
Jemand eine Einschätzung dazu?

Ich bedanke mich schon mal für eure Kommentare

 

[adAstra]

OpenFOAM bietet ja Unterstützung für CUDA bzw. OpenCL. Vielleicht käme eine Titan RTX statt der überteuerten Quadro infrage? Inklusive academic discount gibt es die für knapp 2000 Euro:

https://www.nvidia.com/en-us/deep-learning-ai/products/titan-rtx/?activetab=available-from-3

Das Ding ist zwar auch nicht billig, dafür aber eben kraftvoll Alternativ wartest Du auf die neuen Ampere-Karten.

 

[Deathangel008]

auch die günstigeren sTRX4-bretter unterstützen unbuffered ECC-RAM.

das gehäuse wäre nicht gerade meine erste wahl, da würde ich eher was in richtung Define 7 (XL) oder, für mehr airflow, Meshify S2 nehmen.

die gewählte graka macht auf mich nen ziemlich schreihalsigen eindruck. apropos graka, sollen zukünftig weitere karten verbaut werden oder warum ein 1000W-NT? so oder so würde ich in dem preisbereich nicht mehr zum alten DPP11 greifen, sondern zum Corsair AX.

die sehr teure 970 Pro wurde bestimmt bewusst gewählt? ich hab keine ahnung von den verwendeten programmen und weiß nicht wie viel da auf die SSD geschrieben wird.

 

[xexex]

OpenFOAM bietet ja Unterstützung für CUDA bzw. OpenCL. Vielleicht käme eine Titan RTX statt der überteuerten Quadro infrage?

Der Empfehlung sollte man mit Vorsicht folgen, da man bei der Titan mit Einschränkungen im professionellen Betrieb rechnen muss.

https://techgage.com/article/quick-...-performance-boosting-385-12-titan-xp-driver/

Grundsätzlich ist die Quadro RTX4000 zwar langsamer, wenn mit dem Rechner aber nicht gespielt werden soll, würde ich immer zu der professionellen Variante mit entsprechenden Quadro Treibern raten.

 

[Paradox.13te]

Als Netzteil wie schon oben erwähnt worden ist das Corsair oder ein Seasonic aus der Prime Serie.

Wenn ich mir den Houdini Benchmark anschaue würde ich eine Optane einbauen weiß aber nicht ob deine Software davon profitieren würde.
Zu OpenFOAM fand ich folgendes IMDT FOR CONTAINERS. Eventuell ist da die eine oder andere Information drinnen die brauchbar ist.

Gruss

 

[Kampfkeks94]

OpenFoam ist in der Regel bandbreitenlimitiert, laut einem Thread hier sollte man maximal 3 Kerne pro Memory Channel nutzen. Daher werfe mal Epyc Rome in den Raum, aufgrund der 8 Memory Channel könnten 24 Kerne bereits das Optimum darstellen. Der 7F72 mit 24 Kernen, 192MB L3$ und 3,2 GHz Base, und 3,7 Turbo könnte genau das richtige sein.

https://geizhals.de/?cat=WL-1669470
Das ist bestimmt nicht "die Lösung", aber ein Denkanstoß allemal.

Anmerkung für die obige Konfiguration:
Threadripper hat 4 Memory Channel, deshalb würde ich auch nur 4 Module verbauen, außerdem auch mit 3200 MHz.

edit: Oder auf Threadripper PRO warten und schauen, was die OEMs daraus machen.

 

[adAstra]

Der Empfehlung sollte man mit Vorsicht folgen, da man bei der Titan mit Einschränkungen im professionellen Betrieb rechnen muss.

Bei OpenFOAM gibt es keine künstlichen Treiberrestriktionen vonseiten der Hersteller. Spätestens seit der Titan V - die explizit als Prosumer- und Produktivitätskarte vermarktet wurde - sehe ich hier keine Probleme mehr, dein Link ist bereits drei Jahre alt und bezieht sich auf die als Gaming-Karte vermarktete Titan Xp.

 

[Tolotos]

Zum Thema Kühlung habe ich mich nach viel Internet-Recherche für ein ähnliches System für den Noctua NH-U14S TR4-SP3 aus der Empfehlung von @Kampfkeks94 entschieden. Dazu aber noch den 2. Lüfter bestellen.
Das sollte das System genauso gut kühlen, aber wartungsärmer sein.
Ich kenne deine Software leider auch nicht, aber das Epyc-System schaut gut aus, falls es eher auf Speicherbandbreite als auf max. Single-Thread-Performance ankommt.

Ach ja, zum Thema Grafikkarte: das ist ganz abhängig von deinem Anwendungsmix. Die RTX4000 ist als Profi-Karte schon sehr gut und im Zweifel würde ich auch zur Quadro greifen. Wenn du aber genau weißt, das es nur auf die Rohleistung ankommt und eine Geforce unterstützt wird, dann kann man auch über 1-2x RTX2080 nachdenken.

 

[BreeZrX]

Moin,
vielen Dank für den ganzen Input.
@KuestenNebel Ich schau mir die RTX Titan mal an, wäre dann aber doch deutlich über dem geplanten Budget.

@Deathangel008 Bei dem Gehäuse war ich mir bisher auch noch nicht sicher, hatte das BeQuiet jetzt erstmal nur als ersten Ansatz. Bezüglich der günstigen Boards mit unbuffered ECC, ja können die, aber ich hatte extra nach einem Board geschaut, welches laut Herstellerangaben auch mit 8 Riegeln ECC RAM klar kommt und diese Angabe habe ich nur bei ASUS gefunden

Hier dann auch direkt die Frage an @Kampfkeks94 was passiert denn wenn der TR nur 4 Speicherkanäle hat, ich aber 8 Riegel betreibe? Dürfte nach meinem Verständnis eigentlich kein Problem darstellen, wenn es vom Mainboardhersteller mit Vollbestückung getestet wurde. Hier geht es letztlich darum, möglichst viel RAM im System vorhalten zu können und das war bei der rausgesuchten Konfiguration 128GB ECC. Bezüglich der Kerne pro Speicherkanal steht in der Antwort ja auch, dass mehr möglich ist, wenn man nicht pro Kern Lizenzgebühr zahlen muss. Aber trotzdem ein aufschlussreicher Punkt.

Auch der Punkt mit Threadripper Pro ist interessant, allerdings ist zumindest der Lenovo P620 ja bisher nur angekündigt und anhand der Specs die man dort so auswählen kann wird das sicherlich auch nicht billig. Bei Dell hatte ich einen ähnlichen Rechner konfiguriert, dort nur mit nem Intel Xeon Platinum 8160. Da bin ich aber auch knapp 1000€ über dem Budget und ich hätte jetzt vermutet, dass mein Selbstbau-Lösung leistungsmäßig stärker wäre.

Als Netzteil werde ich dann eins von Corsair AX nehmen, und mit der Epyc Rome Plattform beschäftige ich mich mal.

Und ich stehe grad etwas aufm Schlauch bezüglich des ECC-RAMS. Dieser ist ja unbufferd, macht das irgendwelche Unterschiede bezüglich der Funktionalität vom ECC-RAM? Für Server gibt es dann ja reg.ECC?

 

[Kampfkeks94]

Du kannst den Threadripper problemlos mit 8 Module betreiben. Ich würde dennoch auf 4 Module je 32 GB wechseln. Weniger Module, weniger kann kaputt gehen. Und du könntest theoretisch später noch (günstiger) aufrüsten. Auch kostet ein 32GB Modul ein bisschen weniger als zwei 16GB Module.

Dieses Modul ist eines der wenigen 32GB unbuffered ECC Module, müsste also kompatibel sein.
https://geizhals.de/samsung-dimm-32gb-m391a4g43mb1-ctd-a2057207.html?hloc=at&hloc=de

Leider gibt es keine unbuffered 3200MHz ECC Module mit 32 GB, und mit 16 GB nur eins:
https://geizhals.de/kingston-server-premier-rdimm-16gb-ksm32ed8-16me-a2315464.html?hloc=at&hloc=de

Zu beachten, gilt für Epyc und Threadripper:
Mit mehr belegten Steckplätzen geht die offiziell unterstütze Taktrate zurück:
https://www.guru3d.com/articles-pages/amd-ryzen-threadripper-3970x-review,2.html#:~:text=For the memory itself it,the box at 3200 MHz.
(letzte Tabelle auf der Seite).

Somit wären 8 Module a 16GB mit 3200Mhz technisch gesehen eine Übertaktung, in der Praxis stellt das hingegen eher kein Problem dar.

Bzgl. buffered- vs. unbuffered: unbuffered wird direkt vom memory controller der CPU angesprochen, bei buffered ist ein weiterer Chip zwischen memory controller und RAM-Bausteinen eingebaut. Dieser Chip entlastet den memory controller, so kann mehr RAM mit schnellerem Takt angesprochen werden, allerdings geht das etwas auf Kosten der Latenz.

Allgemeines zum RAM: Egal wie viel du nutzt, achte auf eine gute Kühlung der Module, die werden recht warm!



AMD hat speziell für CFD den Epyc Rome 7532 vorgestellt, der ist allerdings nirgends zu bekommen und wahrscheinlich auf recht teuer (~3600$).

AMD bietet mit den neuen Renoir-APUs mit Notebooksegment sehr viel Power zu eine günstigen Preis, vielleicht lässt das auf gute Preise von Systemen mit Threadripper PRO schließen, noch würde ich die Hoffnung nicht aufgeben


Hinweis zum verwendeten Betriebssystem: AMD Epyc benötigt Windows 10 for Workstation oder Windows 10 Enterprise.
Am Besten fährst du aber wohl mit Linux.

 

[BreeZrX]

Mahlzeit,
ich würde auch gerne lieber 4x 32GB nutzen und so die Möglichkeit zur günstigen Aufrüstung behalten, allerdings habe ich in den Listen der Mainboard-Hersteller keine gefunden, die das offiziell unterstützen. Wie gesagt habe ich bei ASUS nur eine Angabe von 8x 16GB als unterstützt gefunden. Zu 4x 32GB geschweige denn 8x 32GB habe ich nicht gefunden, wäre also Risiko.
Oder hat dazu jemand was gefunden?

Ich werde mich heute Abend nochmal mit der Konfiguration auseinandersetzen und dann poste ich nochmal eine aktualisierte Version.
Bezüglich des Betriebssystems werden wir wohl auf Windows 10 gehen (wegen COMSOL) und darin dann über die Linux Shell OpenFOAM nutzen.

 

[Deathangel008]

@BreeZrX:
bezüglich RAM nur ein grundsätzlicher gedanke: die bretter werden mit support für 256GB beworben und das geht bei 8 slots ja nur mit 32GB-riegeln.

 

[BreeZrX]

Ja das macht allerdings Sinn Aber auf der Herstellerliste sind hierbei nur non-ECC Riegel aufgelistet, weswegen ich da skeptisch bin

 

[KarlsruheArgus]

Diese Listen dienen nur als Anhaltspunkt und erheben nie einen Anspruch auf Vollständigkeit.

 

[BreeZrX]

Hallo zusammen,

nach etwas Recherche tendiere ich nun auch eher zum System mit einer Epyc-CPU.
Hier nachfolgend meine Konfiguration mit der Bitte um Optimierung.

CPU: AMD Epyc 7502P (Der AMD Epyc 7F72 aus der Config von Kampfkeks habe ich nicht genommen, da Tray keine Garantie bietet und es keine Boxed Version zu kaufen gibt. Oder ist das Quatsch und ich kann ruhigen Gewissens die Tray Variante wählen? Ich habe zudem 32 anstatt 24 Kerne ausgewählt, da 256GB = 8GB pro Kern wären, was laut COMSOL sinnvoll ist)
CPU-Kühler: Noctua NH-U14S + zusätzlicher NF-A15P Lüfter
Mainboard: Asrock Rack RomeD8-2T
RAM: 8x 32GB Crucial RDIMM ECC 3200 MHz (4x 32GB macht wegen den 8 Speicherkanälen dann kein Sinn und ein eventuell benötigter Umbau von 128 GB auf 256 GB würde den Austausch aller 8 16GB Riegel bedingen)
SSD: ADATA XPG SX8200 Pro
Daten HDD: Seagate Exos E 8TB
Netzteil: Corsair HX750W
Gehäuse: Fractal Define 7

Jetzt fehlt aber noch die Grafikkarte. Laut Webseite von COMSOL wird dort die GPU mit möglichst viel RAM dann nur für die Darstellung der Modelle benötigt, nicht zum Rechnen.
OpenFOAM kann wohl mit Plug-Ins auch mit GPU rechnen, das wird bei uns aber Stand jetzt nicht eingesetzt und später eine anständige GPU nachzurüsten, falls es doch benötigt wird, stell kein Problem dar.
Ich tendiere daher eigentlich zu einer RX580 von Sapphire aufgrund der 8GB RAM bei geringem Kaufpreis (ca. 170€). Quadros haben erst ab einem deutlichen höheren Preis 8GB RAM.

 

[Deathangel008]

@BreeZrX:
SSD würde ich die 970 Evo (oder Pro wenn sehr viel am stück geschrieben wird) nehmen.

der Epyc 7502P taktet deutlich niedriger als der 3970X. die VRM-kühlung auf dem gewählten MB scheint mir ein maß an airflow vorauszusetzen das man in nem normalen gehäuse nicht (ansatzweise) hat.

NT ginge mit nem Ion+ 760P spürbar günstiger.

 

[Kampfkeks94]

Hier ein aktueller Test zu dem Mainboard:
https://www.servethehome.com/asrock-rack-romed8-2t-review-an-atx-amd-epyc-platform/
In den Kommentaren scheint es wohl ein Problem mit der Lüftersteuerung zu geben, das noch nicht behoben ist, im Moment scheint alles auf 100% zu laufen.

Zu den VRMs: Da ist ein dedizierter Lüfter Pflicht! Und auch je ein Lüfter pro RAM Bank links und rechts! Sonst wird das unter anhaltender Dauerlast zu warm.

Edit: COMSOL Multiphysics läuft auch unter Linux, nur die Dateiformate, die genutzt werden können, sind betriebssystemabhängig. Falls nichts gegen Linux spricht, würde ich Linux nutzen.

Edit2: Hier Gedanken zu Epyc in einer Workstation

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[BreeZrX]

Danke für das Video! Das bringt mich ehrlich gesagt eher zum Threadripper System zurück, oder es muss auf Threadripper Pro gewartet werden.

 

[Kampfkeks94]

Hier noch Benchmarks von OpenFoam:
1x 3960X (24 Kerne, 4 Speicherkanäle) : läuft bei etwa ~8 Kernen in die Bandbreitensättigung: ~100 Sekunden:
https://www.cfd-online.com/Forums/h...enchmarks-various-hardware-12.html#post751962

2x Epyc Rome 7302 (2x 16 Kerne, 16 Speicherkanäle): länger schnell: ~ 30 Sekunden
https://www.cfd-online.com/Forums/h...enchmarks-various-hardware-11.html#post747857

Bei OpenFoam ist Bandbreite sehr wichtig -> mindestens auf Threadripper Pro (und die 8 Memorychannel! ) warten.

Epyc als Workstation ist halt Fummelei, lohnt sich aber letztendlich 🤷‍♂️

 

[BreeZrX]

Was genau meinst du mit Fummelei bei Epyc als Workstation?