PC um eine 4070/3090 herum bauen, der nicht zum Zocken ist

[RumRangierer]

Hallo zusammen,

jemand aus dem CPU- und Mainboard-Forum hat gemeint, hier in diesem wäre ich richtiger.

Also, es geht um ein Proof-of-Concept für ein AI-Projekt. (Nein, wir wollen nicht ChatGPT 4 nachbauen.) Es soll stabil laufen, aber finanziell nicht ausarten. Absolutes Limit wären 2.500 Euro (außer einer zweiten GraKa, dazu gleich).

Ich zähle einfach mal auf, was wir gerne hätten:

• eine RTX 4070/3090 (muss keine OC sein)
• passendes MB, das am besten noch eine zweite GraKa verträgt, das wäre eine Option für später, und das (mindestens) 2 x 10 GBit/s Ethernet drauf hat und idealerweise auch mit 128 GB RAM klar kommt; fürs erste reichen 64 GB
• eine passende CPU, die die GraKas (wie gesagt, letztlich nur deren I/O und TensorCores) und das Netzwerk nicht ausbremst
• alles muss unter Linux DAUERHAFT STABIL laufen

Was wir nicht brauchen:
- fps, Raytracing und Co. Das Ding wird nach der Einrichtung headless irgendwo in einem Raum stehen und ab und zu mal abgewischt

Was wichtig ist:
- Es wird sehr hohe Netzwerk-Last geben

Was ich jetzt konkret suche:

• Welches Board und welche CPU sind da geeignet? Threadripper wäre wegen der optionalen 2. GraKa und der Netzlast super, aber ich bin da entspannt, was Intel, AMD, i7, i9, Ryzen, TR angeht
• Das RAM auf dem Board sollte schon sehr fix sein, vor allem beim Schreiben. Was für Module schlagt ihr da für 2 x 32 GB vor?
• Welches Netzteil passt da?
• Tipps zu Gehäuse und Kühlung? Immer her damit!
• Alles ohne RGB-Blingbling bitte ^^

 

[Drewkev]

passendes MB, das am besten noch eine zweite GraKa verträgt, das wäre eine Option für später, und das (mindestens) 2 x 10 GBit/s Ethernet drauf hat und idealerweise auch mit 128 GB RAM klar kommt; fürs erste reichen 64 GB

Ich rieche HEDT, was macht ihr wenn das System mal nicht will bzw. ausfällt?

 

[Fujiyama]

Könnte mit dem Budget schwer werden, bei so nem Projekt verwendet man ja durchaus speziellere Hardware und nicht die lächerliche Spielzeughardware die etwas günstiger ist.

Nen Workstationboard und passende CPU, RAM und co bzw HEDT System geht ins Geld. Idealerweise Redundanz in der Stromversorgung und beim Massenspeicher kommt auch noch dazu.

 

[KnolleJupp]

Ich sehe da folgendes:

AMD Ryzen Threadripper 7960X https://geizhals.de/amd-ryzen-threadripper-7960x-100-100001352wof-a3047282.html 1.492€
Gigabyte TRX50 AI TOP https://geizhals.de/gigabyte-trx50-ai-top-a3246131.html 944€
Kingston KF560R32RBEK4-128 https://geizhals.de/kingston-fury-renegade-pro-rdimm-kit-128gb-kf560r32rbek4-128-a3069518.html 668€
Noctua NH-U14S TR5-SP6 https://geizhals.de/noctua-nh-u14s-tr5-sp6-a3047283.html 130€
Fractal Design North XL https://geizhals.de/fractal-design-north-xl-charcoal-black-fd-c-nor1x-01-a3146953.html 180€
Usw.

Befürchte aber das das das Budget sprengen wird.

 

[RumRangierer]

Ich rieche HEDT, was macht ihr wenn das System mal nicht will bzw. ausfällt?

Neu starten. Es ist ein Proof-of-Concept, kein Live System. Es geht letztlich darum, meinen Arbeitgeber vom Projekt zu überzeugen. Darum das knappe Budget. Hätte ich money galore, würde ich nen GB200 NVL72 ordern.

Von der Leistung sollten 4070 oder 3090 reichen. Aber genau das können wir ja auch nur ausprobieren, wenn wir die Hardware haben. Ich könnte mir auch den PC-Konfigurator von Alternate schnappen und drauf los basteln, aber darum frage ich ja hier nach, weil ihr sicher viele gute Tipps habt :-)

Mir ist vor allem wichtig, dass weder CPU noch Board in die Knie gehen, wenn sehr viele Daten ins Netz geschubst werden. Und es besteht noch die Option (übers Budget drüber), eine zweite GraKa zu kaufen, wenn die ersten Experimente hier in der Abteilung positiv ausfallen, und dann ein Mini-Rollout weiter nach oben zu machen, um die, die das Geld unterschreiben müssen, zu überzeugen.

Aber wie gesagt, das ist kein Live System. Falls die Idee überzeugt, reden wir @Fujiyama, natürlich über ganz andere Hardware bzw Hosting bei den Großen. Aber da steht dann für meinen Arbeitgeber noch das Patentrecht. Der lässt nix hosten, solange die Patente nicht bei uns sind.

 

[madmax2010]

lso, es geht um ein Proof-of-Concept für ein AI-Projekt. (Nein, wir wollen nicht ChatGPT 4 nachbauen.) Es soll stabil laufen, aber finanziell nicht ausarten...

• eine RTX 4070/3090 (muss keine OC sein)

Und was wollt ihr bauen?
Die 4090 hat sehr viel bessere INT8 Performance.
Wenn ihr selber trainieren wollt sind 24GB VRAM je nachdemwas ihr macht zu wenig undmeist das minimum
Auf rechnen kann man warten, aber zu wenig VRAM ist problematisch

Ergänzung (23. September 2024)

Darum das knappe Budget. Hätte ich money galore, würde ich nen GB200 NVL72 ordern.

Dann miete doch stundenweise bei Lambda / Paperspace / Colab

 

[Ayo34]

Ein Threadripper System ist für das Geld einfach nicht drin, egal wie man rechnet... außerdem bezweifele ich den Nutzen gegenüber einem moderneren 9950x. Irgendwo muss man Abstriche machen.

Ergänzung (23. September 2024)

Wenn ihr selber trainieren wollt sind 24GB VRAM je nachdemwas ihr macht zu wenig undmeist das minimum
Auf rechnen kann man warten, aber zu wenig VRAM ist problematisch

Dann miete doch stundenweise bei Lambda / Paperspace / Colab

#
12GB VRAM für "AI" ist ambitioniert...

 

[KnolleJupp]

Dann müsste man halt runter gehen auf einen
AMD Ryzen 9 9950X https://geizhals.de/amd-ryzen-9-9950x-100-100001277wof-a3202478.html 654€
Dann geht aber z.B. 2x10GBit/s LAN nicht mehr.
Das wäre dann z.B. das
Asus ProArt X670E-Creator WIFI https://geizhals.de/asus-proart-x670e-creator-wifi-90mb1b90-m0eay0-a2800652.html 405€
Usw.

 

[Ayo34]

Mir ist vor allem wichtig, dass weder CPU noch Board in die Knie gehen, wenn sehr viele Daten ins Netz geschubst werden.

Wie soll eine CPU wegen etwas Netzwerklast in die Knie gehen? Was für eine Netzwerkleitung Richtung Internet habt ihr bzw. bräuchte man dafür? Ah, habe an Internet gedacht, nicht an Netzwerk... aber auch da sehe ich eigentlich mit einem modernen 9950x überhaupt keine Probleme.

 

[KnolleJupp]

Was willst du mit einem Proof-of-Concept um Cheffe zu überzeugen, wenn es die Hardware entweder nicht gibt oder sie zu teuer ist?
Man muss doch zumindest mal schauen, was man für das Geld bzw. überhaupt bekommen könnte.
Sagt ja niemand das das am Ende genau so gekauft werden muss.

 

[Drewkev]

@RumRangierer
Consumer-Hardware erfüllt eure Anforderungen nicht und für HEDT reicht das Budget nicht.

 

[SpamBot]

Consumer-Hardware erfüllt eure Anforderungen nicht

Warum nicht? 0815 CPUs von AMD und Intel haben allgemein kein Problem damit unter dauerlast zu laufen. Guter CPU Kühler drauf und gut ist es.
Wenn eben nicht mehr im Budget drinn ist ist nicht mehr drinn....

 

[Drewkev]

Warum nicht?

Anforderungen nicht gelesen?

zweite GraKa
(mindestens) 2 x 10 GBit/s Ethernet

 

[SpamBot]

@Drewkev Und ist das ein Problem? Zwei GPUs hatte ich in meinen 0815 Gaming Sytemen auch schon, 2 Ethernet kann man ebenso nachrüsten.

 

[Drewkev]

Und ist das ein Problem?

Ja ist es, weil die Lanes bei Consumer-Plattformen dafür nicht reichen.

 

[SpamBot]

Gut hier müsste man nochmal schauen was die GPUs hier für Banbreite brauchen. mit einer X8 Anbindung sollte doch immer noch sehr viel drinn sein. Gerade auch wenn PCIe 4.0 unterstüzt wird....

 

[madmax2010]

Ja ist es, weil die Lanes bei Consumer-Plattformen dafür nicht reichen.

doch. 1-2 lanes pro gpu reichen in sehr vielen Anwendungen.
aber mit hedt muss man weniger nachdenken was man wo steckt. Gibt leider kaum Boards mit 4 oder mehr langen slots bei am5

 

[Drewkev]

@madmax2010
Und die beiden 10Gbit Netzwerkkarten? Da kommt einiges zusammen.

 

[tdbr]

Gebrauchte EPYC 7000 gibts mit board und 256gb ram oft für um die 1000€ (ebay, aus China also +Zoll). 3090 kann man auch für 700€ finden

 

[HerrRossi]

passendes MB, das am besten noch eine zweite GraKa verträgt, das wäre eine Option für später, und das (mindestens) 2 x 10 GBit/s Ethernet drauf hat und idealerweise auch mit 128 GB RAM klar kommt; fürs erste reichen 64 GB

Hiermit scheiden imho Desktop Mainboards aus. Threaripper und Co sind zu teuer für euer Budget, daher würde ich auf eine ältere Generation EPYC setzen, zB:
CPU AMD Epyc 7282 16C/32T 2.80-3.20GHz tray (100-000000078)
MB Supermicro H12SSL-NT retail (MBD-H12SSL-NT-O)
RAM Samsung RDIMM 32GB DDR4-2133 CL15-15-15 reg ECC (M393A4K40BB0-CPB)

Die Geschwindigkeit vom RAM sollte ja egal ein, ich kann aber nicht garantieren, dass das RAM auch funktioniert. Normalerweise sind die Samsung Sticks aber sehr unproblematisch, laufen auch bei mir im Server. Die QVL von Supermicro kann man leider vergessen.

Mit der Plattform habt ihr dann aber auf jeden Falls schon 2x 10Gb an Bord, noch massig Ausbauspielraum bei CPU (nur halt nicht zu den allerneuesten CPUs) und RAM und auch jede Menge PCIe Lanes für Grafikkarten.