workstation / HEDT-Plattorm Konfiguration

[Heimchen]

Liebe Gemeinde,

Ich soll für meine Arbeit (Uni) eine Workstation zusammenbauen. Der Zweck: wir wollen große-riesige Imagedaten(mengen), teils mehrere hundert Gb, mit einer stream processing framework Software namens "Bifrost" prozessieren.

der Code ist wohl so geschrieben, dass ausschließlich die CPU beansprucht wird - Graka/CUDA wohl nicht.

Mir wurde folgendes empfohlen: eine CPU mit ordentlich Cores, 128GB RAM und mind. 10TB storage.

Hab da an den AMD Threadripper 7970X gedacht, aber bin mir bei den restlichen Komponenten noch nicht ganz sicher - soll ja ein ausgewogenes System werden - Ersuche also für Mainboard/RAM/Netzteil, Kühlung, storage um Rat.

Bin für jegliche Hilfe, Anregung oder Meinung dankbar

sonst evtl noch erwähnenswert:

- baue auf der Arbeit regelmäßig "normale High End PCs" zusammen, ist also an sich kein Neuland - hab mich aber noch nie mit HEDT-Plattformen beschäftigt.

- für alles, was über die Fähigkeiten des TR 7970X hinausgeht, nutzen wir unser Uni-high Performance Computing Cluster, wollen aber nicht alles auslagern, sondern halt nur das, was die Workstation nicht schafft.

LG, Jonas

 

[Fujiyama]

Was solls den Kosten?
Wenn ihr keine Scherereien und Zeit reinstecken wollt dann könnte man sich auch ne passende Workstation konfigurieren:
https://www.lenovo.com/de/de/configurator/cto/index.html?bundleId=30HHCTO1WWDE3

 

[TorenAltair]

Bist Du für die Wartung der Maschine(n) zuständig oder ist es nur eine zwischenzeitliche Aufgabe?
Welches Betriebssystem soll drauf laufen?
Ist RAID nötig?
Gibt es ein Budget?
Muss das Netzteil redundant sein?
Wird AVX in einer bestimmten Variante genutzt?

 

[Heimchen]

vielen Dank für die Antworten!
gute Fragen

@Fujiyama , Zeit stecke ich gern rein, allein aus Neugier. Bisher hatte ich immer die Erfahrung, wenn man selbst Hand anlegt, ist das System besser - da perfekt zugeschnitten - und dazu auch noch günstiger.
An besonderen Garantien & Wartungen etc. sind wir nicht interessiert, da alle Daten anderso geschützt gespeichert sind, der Rechner soll also nur rechnen.

@TorenAltair
ich versuche die Fragen mal so gut ich kann abzuarbeiten:
-System soll auf Win10/11 laufen (oder gibt es wirklich gute Gründe dagegen ?)
-RAID ist nicht nötig
-beim Budget hab ich vorerst einfach mal 5-6.000 angemeldet - falls günstiger, logischerweise kein Problem und solang es nicht deutlich darüber hinausgeht, ebenfalls nicht.
- Redundanz bei Netzteilen ist mir bisher kein Begriff (versuch mir das grad herzuleiten)
Falls es um Datensicherung u.ä. geht - Daten sind per se auf einem NAS-System. Der Rechner soll neben "standard PC Aufgaben" hauptsächlich in der Lage sein mit Hilfe der Multicore-Sofware Bifrost, Aufgaben zu erledigen bei dem ein normales System aufgrund der Menge an Daten schlapp machen würde, bzw. es Jahre dauern würde.
- von AVX weiß ich auch nicht viel, das kann ich aus dem Stehgreif nicht beantworten - da muss ich mich vorher ersteinmal erkundigen
liebe Grüße, Jonas

 

[TorenAltair]

Die Software gibt ja meist das Betriebssystem in solchen Bereichen vor.
Redundante Netzteile sind zwei Stück, sprich die Frage grundsätzlich: Darf die Kiste ausfallen, wenn ja wie lange und wer kümmert sich drum.
AVX ist eine Befehlssatzerweiterung. Da ich die Software nicht kenne, wird AVX, und falls ja, in welcher Variante genutzt. Das spielt z.B. bei der CPU-Wahl eine Rolle.

 

[Heimchen]

vielen Dank für den Input,

• in diesem Fall sind redundante Netzteile nicht Notwendig - der Rechner ist nur ein ganz kleiner (wenn auch wichtiger Teil) unseres Projektes. Selbst wenn er längere Zeit nicht nutzbar wäre, können wir jederzeit auf das Uni-cluster zugreifen.
• Um das System werde hautptsächlich ich und ein Doktorand sich kümmern. Und falls es um Probleme geht die ich nicht lösen kann, gibt es genügend versierte Kollegen, die gern helfen.
• was AVX und Betriebssystem betrifft - die Infos muss ich erst noch Einholen und würde sie anschließend Nachreichen

LG

 

[Heimchen]

Nachtrag: Die Software wird supported vom Betriebssysstem "*nix" ( nixOS ?, höre ich zum ersten mal)
ansonsten läuft sie auch auf CentOS 7 (ebenfall noch nie von gehört)
ob AVX benötigt wird kann ich nicht 100% beantworten, allerdings haben wir entschieden, das wir so oder so eine CPU wollen die AVX 512 in jedem Fall unterstützt.

 

[TorenAltair]

*nix heißt Unixoide / Linux und CentOS ist eine Linux-Distribution. Damit auf jeden Fall nicht unter Windows.
AVX-Unterstützung ist per se nicht das Problem. Die Performance ist es. Wird aber dann wohl auf jeden Fall bei Threadripper bleiben können.
Ggf. würde ich mir überlegen mehr RAM zu nehmen.

 

[whats4]

wieso ist das budget immer der heisse brei, um den die katze alle denkbaren wege beschleicht?
ist doch für nix, der thread, wenns keine zahl gibt.

 

[Heimchen]

@whats4 , das Budget ist um die 5-6000€ angesetzt
wenn es aber gute Gründe gibt, die ein teureres System rechtfertigen, dann lässt sich das auch realsisieren.

@TorenAltair ,

mehr RAM ist ein guter Punkt, 128Gb wurde mir auch als Mindestanforderung genannt, dann sollte ich deiner Empfehlung folgen, um wieviel RAM sprechen wir hier ? 256Gb ?


LG

 

[TorenAltair]

Oder 192 GB mit 48er Modulen. Je nachdem was im Budget übrig ist. Müsstest Du eben mal ausrechnen jetzt.

@whats4 Budget stand doch im Post vom Freitag.

 

[dms]

der Code ist wohl so geschrieben, dass ausschließlich die CPU beansprucht wird - Graka/CUDA wohl nicht.

... würde wirklich schauen ob ne GPU nicht eine passene Option dazu sein kann

https://ledatelescope.github.io/bifrost/intro.html

A stream processing framework, created to ease the development of high-throughput processing CPU/GPU pipelines.

.... uU da einfach nochmal Zeit in Sucharbeit investieren

https://github.com/ledatelescope/bifrost

See also the Bifrost tutorial notebooks, which can be runon Google Colab or any Jupyter environment where Bifrost is installed(and a GPU is available).

 

[Heimchen]

@dms ist ein guter Einwand,
ich vermute die software scheint relativ vielfältig zu sein, und wir nutzen sie auf eine Weise, wo GPU´s keinerlei Funktion haben - hatten extra mit jemandem gesprochen, der an der software mitgecoded hat und dessen Worte waren, quote: "no GPU requirements. I may have disabled GPU inference"

 

[gymfan]

Mir wurde folgendes empfohlen: eine CPU mit ordentlich Cores, 128GB RAM und mind. 10TB storage.

Hat niemand bei euch die SW (ist ja OpenSource, wenn ich da richtig sehe) und eine ansatzweise gut ausgestatteten Rechner (also Ryzen9 7950X+64GB Ram und nicht zu kleine SSDs)? Was sind schon nur "ordentlich Cores". Skaliert das mit euren Bildgrößen UND eurem Storage mit beliebiger Kernzahl?

Ich würde das System mal auf so einem Rechner aufsetzen und mit ein paar Beispielbildern evaluieren, wo dieser PC sofort an seine Grenzen läuft (CPU, Ram, Storage).

teils mehrere hundert Gb

Worauf bezieht sich das und auf welchen erwarteten Zeitbereich? Einzelne, große Bilder, viele mittlgroße oder besser: mit welchen Datenraten wird da gerechnet, sowohl lesend wie auch schreibend (irgendwo sollten die Ergebnisse wieder gespeichert werden).

-RAID ist nicht nötig

Ok, die Datenraten sind also nicht so hoch, sprich auch der TR rechnet lange an den einzelnen Bildern? Einzel-SSDs brechen extrem gerne in der Schreibrate ein, wenn da mehr wie nur ien paar GB am Stückmgeschrieben werden.

-beim Budget hab ich vorerst einfach mal 5-6.000 angemeldet - falls günstiger, logischerweise kein Problem und solang es nicht deutlich darüber hinausgeht, ebenfalls nicht.

Grob überschlagen komme ich da sehr schnell bei raus, wenn die 10GB++ als lokale SSDs verfügbar sein sollen.

Und falls meine Annahme (TR rechnet sich an einzelnen, "kleinen" Bilder zu tode) nicht stimmen sollte, dann wollte ich persönlich diese nicht von einem per 10 GBase-T angebundenen NAS (am Besten mit wenigen HDDs bestück) laden müssen. Sonst kann man sich die 2500€ für die CPU gleich schenken.

Der Rechner soll neben "standard PC Aufgaben" hauptsächlich in der Lage sein mit Hilfe der Multicore-Sofware Bifrost, Aufgaben zu erledigen bei dem ein normales System aufgrund der Menge an Daten schlapp machen würde, bzw. es Jahre dauern würde.

Kein lokales RAID, doppelt so viele Kerne wie ein 7950X aber der TR soll plötzlich zehnmal so schnell sein? Mag ja stimmen, erschließt sich mir aus den Angaben aber bisher nicht.

Aber gut:
TR 7970X = 2530€ (ohne Kühllösung, die 350W dauerhaft wegkühlen muss)
Board (TRX50): 750€
Netzteil: ca. 150€ (geraten, mag auch tuerer sein)
128 GB Ram: 4*32GB DDR5 ab ca. 370€ oder 600€ mit ECC
2*8TB NVMe SSD: 1500€
Bei passendem Mainboard könnte man auch 3*4TB SSD einbauen und auf 700-900€ kommen.

Ergibt dann für die "Billigvariante" 4500€ (plus Gehäuse, Grafikkarte, Kühlung und Kleinkram), also wohl eher 5-5,5k, oder ganz schnell auch bei 7k€.

 

[Heimchen]

Hi, sorry für die späte Antwort, war ein paar Tage im Urlaub.

Wir haben tatsächlich die Software mal Testweise auf einen standard PC gespielt und ein mit nem runterskalierten Datenset getestet. Glücklicherweise lief das Einwandfrei und wir konnten in etwa abschätzen was für eine Leistung wir für ein ganzes Datenset (nicht runterskaliert, ca. 200Gb) brauchen.
um das ganze kurz zu halten, und weil ich nicht alle Werte und Parameter im Kopf habe:

Es läuft auf den TR 7960X oder TR 7970X hinaus (die Entscheidung treff ich nicht)
gekühlt von nem Noctua NH-U14S TR5-SP6
auf einem GIGABYTE TRX50 AERO D
für den lokalen Speicher, der für die Berechnung gedacht ist reichen 2x 4TB NVMe + eine 12TB HDD damit man nicht dauernd Daten auf das NAS transferieren muss.
zusätzlich kommt noch irgend eine standard NVIDIA Karte rein
und ein Netzteil was entsprechend Power hat.

Ich häng mich allerdings noch ein wenig am Arbeitsspeicher auf - 4x32GB reichen, aber mit ECC oder ohne ?
Hab ein bisschen recherchiert, aber mehr Fragen als Antworten bekommen (kenn mich in dem Bereich Null aus)

Gibt es da eine eventuell eine klare Empfehlung ?
gern auch mit einem konkreten Beispiel

LG

 

[TorenAltair]

Spielt es bei den Datensätzen eine Rolle, wenn ein Bit gekippt ist oder nicht. Entsprechend ECC oder nicht. Beispiel: Wenn ich mir ein JPG-Bild anschaue, ist es egal, ob da ein Pixel eine andere Farbe hat. Habe ich eine ausführbare Datei ist ein gekipptes Bit schlecht.

 

[Heimchen]

ah vielen Dank, so ähnlich habe ich mir das vorgestellt. In dem Fall defnititiv mit ECC.
Kannst du mir irgendwie eine sinnvolle Bestückung empfehlen?, ausgehend davon, dass ein GIGABYTE TRX50 AERO D Mainboard verwendet wird? Hab mir grad mal die Liste an offiziell unterstütztem RAM angeschaut und bin ein wenig überfordert mit dem Begriff 1Rx8, 1Rx4 etc, wie hoch ein sinnvoller RAM speed wäre und ob es gravierende Unterschiede zwischen den Chip Brands gibt.
Zu guter Letzt ist die Preisrange ja relativ breit.
Was wäre bei dem angeplanten System angemessen ?
Wir präferieren auf jeden Fall etwas eher höher wertiges und nehmen dafür gern ein bisschen mehr Geld in die Hand.

 

[TorenAltair]

Der Speichercontroller der CPU schafft 5200 MT/s. Wenn Du die Gigabyte Speicher-QVL nach der Geschwindigkeit (5200) und 5600 filterst, bleibt 1 Seite an Ergebnissen übrig. Da würde ich einfach was Lieferbares von Samsung oder SKHynix nehmen.