Der Ideale Entwickler-PC (mit Stil)

[yurij]

Hallo zusammen,

Mein alter Gefährte (5950X 128GB RAM, RTX 3090) hat mir all die Jahre gut gedient, ist aber etwas zu klein geworden.
Eine neue high end Workstation muss endlich her. Und das mit Stil (schickes Gehäuse, RGB, viel Bling-Bling).
Ich kenne mich mit der Materie mehr oder weniger aus, aber so einen Biest hatte ich noch nie zusammengestellt.

Hier ist was ich mir so grob vorstelle. Offen für eure Kritik und Verbesserungsvorschläge.

Die Workstation ist nicht für Gaming. Dafür ist der andere PC in der Signatur noch gut genug.
Ich arbeite im Bereich C/C++ Entwicklung gemischt mit KI.
Und das Kompilieren großer Softwareprojekte frisst meine 32 threads und 128GB RAM zum Frühstück.
Auch auf KI Seite wünsche ich mir mehr TOPS und VRAM.
OS wird ein Ubuntu 24 sein.
$/EUR Preise sind etwa gleich so wie ich das sehe.

----

GIGABYTE TRX50 AI TOP - 1000$
GIGABYTE TRX50 AERO D - 700$
Das einzige WTRX50 Mainboard mit 8 Speicherbänken

AMD Ryzen Threadripper 7980X, 64C/128T, 3.20-5.10GHz - 5000$
64C/128T scheinen mir ideal geeignet für das Kompilieren mit gcc, clang, qcc .
Manchmal brauche ich viele Threads, manchmal hohen Takt mit weniger Threads. Jeder Compiler-Thread benötigt etwa 2GB RAM. Ein Threadripper mit 96C/192T ist also weniger sinnvoll, da es kein Mainboard gibt, dass ich mit ausreichend viel RAM bestücken könnte.

4 x G.Skill Trident Z5 NEO RGB schwarz DIMM Kit 96GB, DDR5-5600, 384 GB RAM - 1200$
4 x Kingston Server Premier RDIMM 64GB, DDR5-5600, CL46-45-45, reg ECC, on-die ECC 256 GB- 1200$
(+ RGB Heat Spreaders damit sie schick leuchten)

3 x Crucial T705 SSD 4TB, PCIe 5.0 14GB/s read, 12GB/s write, M.2 2280 - 2000$
Ich denke es macht Sinn 1 SSD für OS zu nutzen, und aus 2 anderen mache ich software RAID-0.

Seasonic Prime PX-2200 2200W ATX 3.1 - 600$
SeaSonic PRIME PX-1600 ATX 3.0 1600W - 450$
Muss Threadripper 350W und 3 2 x ~500W GPUs halten. Soll auf jeder normalen 110V 15amp Steckdose in USA funktionieren. Bei den Netzteilen ist da bei 1600W Schluss.

NZXT Kraken Elite 360 - 300$
Sieht schick aus. Vielleicht gibt es bessere. Noch nie eine Wakü gehabt, kenne mich hier also nicht viel aus.

Thermaltake View 270 TG ARGB oder Fractal Design North XL Charcoal TG Dark 200$
Fractal Design Torrent Compact - 150$
Gehäuse mit Glas, damit jeder das Bling-Bling sehen kann. Vielleicht probiere ich mal was neues. z.B. weiß.
Bin offen für unkonventionelle Designs, auch wenn sie mehr kosten.
Kompaktheit und leichtes Gewicht (soweit das bei einem Threadripper geht) sind mir wichtig, da ich den ab und zu Mal transportieren will.

----

Die Komponenten sind zusammen bei etwa 10.000$

Die Preise der professionellen KI GPUs sind etwas über meinem Budget, also starte ich erst mit der RTX 3090 aus dem alten PC und hole dann 32x der kommenden GPUs sobald sie erscheinen. Mehr geben das Mainboard und Netzteil nicht her.
Da sich der VRAM und TOPS zusammenaddieren, hoffe ich dass ich mit Consumer Flagschiff-GPUs eine mehr oder weniger kosten effiziente KI Lösung hinbekomme mit der ich mittelgroße LLMs laden kann. Und wenn das nicht reicht (z.b. fürs trainieren) kann man das zur Not auch in der Cloud tun.

 

[foofoobar]

Jeder Compiler-Thread benötigt etwa 2GB RAM.

Das stelle ich in Frage, hast du richtig gemessen?

 

[yurij]

@foofoobar Hoffe schon. Ich habe ein RAM Monitor immer an in der Ubuntu Leiste. Im Idle ist der der Verbrauch ca 16GB. Wenn der bazel Build mit 64 Jobs lauft, kommt es oft an die 128 GB nah ran. Also dürften es geschätzt ca 2 GB/job sein.

 

[Khorneflakes]

Du bist auf die Suche nach einem Board mit 8 DIMM-Slots gegangen, weil du den falschen Speicher ausgewählt hast. Wenn die Anforderung stabile Workstation mit viel RAM lautet, dann ist das hier deine Kategorie: https://geizhals.de/?cat=ramddr3&xf=1454_131072~1454_98304~15903_registered~5828_DDR5

Da kommst du auch mit 4 Slots aus. Das Board ist außerdem ein TRX50, kein WRX. Wenn du noch mehr RAM und eine größere CPU nutzen willst, dann wäre ein WRX90-Board für dich das richtige.

Von der AIO würde ich außerdem Abstand nehmen. Zum einen passt die laut Beschreibung nicht auf den Sockel und die Kontaktfläche ist dann womöglich auch nicht groß genug für einen Threadripper. Zum anderen sind AIOs sowieso völlig überschätzt.

 

[acidarchangel]

Hört sich für mich nach beruflichem / professionellen Einsatz an. Da würde ich zum Systenhaus und gehen und da was mit entsprechenden SLA kaufen.

 

[HerrRossi]

...und hole dann 3x der kommenden GPUs sobald sie erscheinen.

Willst du die Karten mit Wasser kühlen? Oder willst du Workstationkarten mit max. 2 Slots nehmen?

Wäre Octa-Channel RAM vom Durchsatz nicht besser für dein Vorhaben geeignet? Dann bräuchtest du ein anderes MB und natürlich einen "Pro"-Threadripper, der kostet aber gleich mal 2 Mille mehr

 

[yurij]

Ah, Danke für den Tipp mit den großen DIMMs!

CB hat mir mir 3 Boards mit 8 Bänken gelistet.
GIGABYTE TRX50 AI TOP TRX50
ASUS Pro WS WRX90E-Sage SE WRX90
ASRock WRX90 WS EVO WRX90
Alle unterstützen bis 2TB
Der anvisierte Threadripper 7980X scheint nur TRX50 zu unterstützen.

Die größten RAM-Module mit RGB, die ich gefunden habe, sind 48 GB. Die brauche ich für den Stil. Auch sind sie etwas kostengünstiger pro GB. Ist aber kein muss. Wenn es passender ist nehme ich auch die RGB-losen größeren.

 

[HerrRossi]

Hm, RGB-Kirmes und Stil? Aber ok, über Geschmack kann man nicht streiten. Es gibt aber auch RGB-Aufsätze für RAM-Riegel, wenn es denn sein muss

 

[Khorneflakes]

Die größten RAM-Module mit RGB, die ich gefunden habe, sind 48 GB. Die brauche ich für den Stil. Auch sind sie etwas kostengünstiger pro GB. Ist aber kein muss. Wenn es passender ist nehme ich auch die RGB-losen größeren.

Da würde ich dringend zu raten. Stil ist irrelevant. Die RDIMMs haben dann auch direkt ECC.

Der anvisierte Threadripper 7980X scheint nur TRX50 zu unterstützen.

Der Sockel ist in allen Fällen TR5, aber die Threadripper 7000 laufen nur mit TRX50-Boards, während die Threadripper PRO 7000 auf TRX50 und WRX90 laufen, wobei WRX90 dann aber zu bevorzugen ist.

 

[yurij]

Da würde zum Systenhaus gehen und da was mit entsprechenden SLA kaufen.

Hmm... bin Bastler, habe meine PCs selbst gebaut und mache das aus Leidenschaft. Ein Systemhaus Klotz will ich nicht.

Wenn eine Komponente auf Garantie den Geist aufgibt wird es in USA problemlos getauscht. Alles andere mache ich selbst. SLA dafür brauche ich nicht.

 

[foofoobar]

@foofoobar Hoffe schon. Ich habe ein RAM Monitor immer an in der Ubuntu Leiste. Im Idle ist der der Verbrauch ca 16GB. Wenn der bazel Build mit 64 Jobs lauft, kommt es oft an die 128 GB nah ran. Also dürften es geschätzt ca 2 GB/job sein.

Was auch immer "Bazel" sein soll, ist aber auch egal.

Lass mal ein "sar --human -r 10" während des Builds laufen, diese neumodischen Tools zeigen immer gerne irgendetwas an, sar ist eins der wenigen Tools wo vernünftig dokumentiert ist was die Werte eigentlich bedeuten.
Mit klarer Semantik solltest du als Entwickler bestimmt keine Probleme haben. :-)

Ergänzung (19. Oktober 2024)

Seasonic Prime PX-2200 2200W ATX 3.1 - 600$
Muss Threadripper 350W und 3 x ~500W GPUs halten, da gibt es glaube nur 2 Netzteile die in Frage kommen.

Du hast hoffentlich eine Vorstellung davon was 180 Ampere bedeuten.

Nur zum Vergleich:

Am häufigsten stellt der Schweißer die Stromstärke ein. Als Faustformel geht man dabei von etwa 50 Ampere pro Millimeter Blechstärke aus.

https://blog.perfectwelding.fronius.com/schweissgeraet-einstellen/

 

[yurij]

Da würde ich dringend zu raten. Stil ist irrelevant. Die RDIMMs haben dann auch direkt ECC.

Hast recht. Den Tipp nehme ich gerne mit.
Habe den RAM auf 8 x 64GB = 512GB RDIMM geändert.

Hm, RGB-Kirmes und Stil? Aber ok, über Geschmack kann man nicht streiten. Es gibt aber auch RGB-Aufsätze für RAM-Riegel, wenn es denn sein muss

Ja will will das meine Workstation wie der 🎄 leuchtet
Danke für den Tipp. Werde mich nach RGB Heat Spreaders umschauen.

 

[Khorneflakes]

Du hast hoffentlich eine Vorstellung davon was 180 Ampere bedeuten.

Hm? Was ist denn das für ein Vergleich? Die 180 Ampere gehen ja nicht alle durch ein Kabel sondern verteilen sich im System. In vielen aktuellen Desktop-CPUs sind >100 Ampere völlig normal. In Workstation- oder Server-CPUs entsprechend mehr. Durch den Threadripper mit seinen 350W (bei ~1.3V oder so) gehen ~270A durch.

Wenn yurij in den USA hockt, dann müsste er sich eher mal darüber Gedanken darüber machen ob er Zugang zu 230V hat. 115V sind bei diesem Netzteil womöglich ein Problem, wenn man die 2.2kW haben will. Keine Ahnung wie gängig da >20A Outlets sind.

 

[ropf]

Ich steck in der Materie nicht drin - hätte aber ein paar leise Zweifel bez. SW-RAID auf NVMe ... bei den mechanischen Platten erledigte das die CPU nebenbei - aber ist das mit den Transferraten von NVMe-SSDs auch noch so?

In meiner Vorstellung sieht das ungefähr so aus:

Zum Schreiben eines Datenblocks auf eine Einzelplatte/-SSD übergibt die CPU ein paar Parameter an den DMA-Controller - startet den Transfer - und widmet sich interessanteren Aufgaben.

Zum Schreiben auf ein SW-RAID muss die CPU erstmal mehrere Blöcke aus dem RAM lesen - daraus den Paritäts-Block errechnen - diesen zurück ins RAM schreiben - um dann die Blöcke wie oben skizziert auf die einzelnen Platten zu transferieren.

--> klingt für mich nach einer deutlichen Last an CPU-Zyklen und Speicher-Transfers, gefolgt von einem ganzen Kladderadatsch an Cache-Misses - was durch ein HW-RAID vollsändig vermeidbar wäre. Aber vielleicht überschätze ich das Ganze auch - wär schön, wenn jemand dazu was sagen könnte.

 

[yurij]

Ein sehr guter Punkt.
Standard sind 15-amp outlet: 120 volts × 15 amps = 1,800 watts
Für den Biest hier bräuchte ich einen 20-amp 2,400 watt Stecker. Das werde ich jetzt genau im Vorfeld prüfen. Notfalls vom Elektriker legen lassen.

Ergänzung (19. Oktober 2024)

aber ist das mit den Transferraten von NVMe-SSDs auch noch so?

Soweit ich weiß haben NVMe SSDs interne DMAs die CPUs entlasten. Die realen Transferraten will ich dann messen, aber von dem was ich so im Internet lese funktionieren software RAID0 sehr gut mit NVMe

 

[foofoobar]

Hm? Was ist denn das für ein Vergleich? Die 180 Ampere gehen ja nicht alle durch ein Kabel sondern verteilen sich im System. In vielen aktuellen Desktop-CPUs sind >100 Ampere völlig normal. In Workstation- oder Server-CPUs entsprechend mehr. Durch den Threadripper mit seinen 350W (bei ~1.3V oder so) gehen ~270A durch.

Im Zweifels- bzw. Fehler-Fall gehen die durch ein Kabel.
Nur den Normalfall zu betrachten ist problematisch.

Wenn yurij in den USA hockt, dann müsste er sich eher mal darüber Gedanken darüber machen ob er Zugang zu 230V hat. 115V sind bei diesem Netzteil womöglich ein Problem, wenn man die 2.2kW haben will. Keine Ahnung wie gängig da >20A Outlets sind.

Man kann relativ einfach 220V aus dem US-System bekommen, man muss nur die Kabel etwas anders an die Mülltonnen anschließen die dort an den Strommasten hängen:

Ergänzung (19. Oktober 2024)

Soweit ich weiß haben NVMe SSDs interne DMAs die CPUs entlasten. Die realen Transferraten will ich dann messen, aber von dem was ich so im Internet lese funktionieren software RAID0 sehr gut mit NVMe

Wenn man kein mmap(2) nutzt wird das ganze Zeug sowieso noch mehrfach kopiert.

 

[ropf]

funktionieren software RAID0 sehr gut mit NVMe

Ahh ok - bei RAID0 müssen die Blöcke nur aufgeteilt, nix zusätzlich errechnet werden ... ich war, da von 3 SSDs die Rede war, automatisch von RAID5 ausgegangen.

 

[yurij]

Das RAID0 Laufwerk ist für mich eine Art Arbeits-Cache für dazel und LLM Daten. Wenn RADI0 bricht und sie mal verloren gehen ist nicht schlimm. SSD wird ersetzt, RAID0 neu aufgebaut und alles aus den repositories neu geladen.
Die wichtigen Daten liegen auf dem verschlüsselten OS Laufwerk und werden regelmäßig gesichert mit einem richtigen Backup.

 

[Khorneflakes]

Im Zweifels- bzw. Fehler-Fall gehen die durch ein Kabel.
Nur den Normalfall zu betrachten ist problematisch.

Das ist akademisch, natürlich betrachtest du den Normalfall. Den Fehlerfall hat Seasonic für dich erledigt, du hast da doch gar keinen Einfluss drauf. Wenn das alles scheitert löst der Leitungsschutzschalter aus. Was willst du denn machen? Es gibt doch gar keine Maßnahmen, die du ergreifen kannst, die spezifisch das Problem lösen, dass bei einem leistungsstarken Netzteil bei einem Kurzschluss ein sehr hoher Strom sekundärseitig fließen kann.

Man kann relativ einfach 220V aus dem US-System bekommen, man muss nur die Kabel etwas anders an die Mülltonnen anschließen die dort an den Strommasten hängen

Ja, muss man nur entsprechend bedenken. Das ist nicht überall schon vorbereitet. Egal ob man einen größer dimensionierten 115V-Anschluss oder einen 230V-Anschluss nimmt, das sind ja immer eigene Installationen mit anderen Steckern, damit man da nicht aus Versehen was falsch anschließt.

@ropf Das Thema HW-Raid liegt weitestgehend im Sterben, insbesondere für hochperformante Anwendungen und auch für NVMe. Viele richtig schnelle Implementationen sind heute in Software gelöst und auch ganz generell sind SW-Raids performancetechnisch heute was ganz anderes als damals, als man den HW-Controller speziell für die Paritätsberechnungen brauchte, weil sonst garnix ging.

 

[foofoobar]

Das ist akademisch, natürlich betrachtest du den Normalfall. Den Fehlerfall hat Seasonic für dich erledigt, du hast da doch gar keinen Einfluss drauf. Wenn das alles scheitert löst der Leitungsschutzschalter aus. Was willst du denn machen?

Aber nur wenn der Kurzschluss niederohmig genug ist.

Jedes Kabel und jeder Stecker der an einer Stromquelle mit 180A und 12V angeschlossen sollte diesen Strom aushalten können und niederohmig genug sein damit der Schutzschalter überhaupt eine Chance hat auszulösen.