PC um eine 4070/3090 herum bauen, der nicht zum Zocken ist

[chillipepper]

@madmax2010
Und die beiden 10Gbit Netzwerkkarten? Da kommt einiges zusammen.

Im Routing sehe ich weniger ein Problem, moderne Netzwerk-Karten entlasten die CPU.
Die Frage ist, was mit den Daten geschehen soll (Weiterverarbeitung).

Ergänzung (23. September 2024)

Ja ist es, weil die Lanes bei Consumer-Plattformen dafür nicht reichen.

Es gibt verschiedene CPU/Board-Kombinationen mit deutlich mehr PCIe Lanes als bei einem reinen Consumer Board. Ich würde mal bei Supermicro schauen.

Hier mal ein Beispiel aus der Vergangenheit, das bei mir schon seit 10 Jahren und einigen Aufrüstungen hervorragend seinen Dienst verrichtet, nach heutigen Maßstäben in einigen Bereichen natürlich nicht mehr optimale Performance liefert (CPU, DRAM, Storage).

Ich habe hier noch ein X10SRi-F mit E5-1680v4 am Laufen, in dem sind so gut wie alle PCIe Erweiterungsplätze in Gebrauch und schau mal, wieviele PCIe Lanes das bietet. Angefangen habe ich mit einer E5-1650v3 im Bereich €600, die E5-1680v4 (ehemals €1750) gabs für €150 bei eBay.
Die 4070 ist eine der effizientesten Karten, viel Leistung für wenig Geld und geringer Energieverbrauch.
Vor allem klaut sie nur einen Sockel.
Nur die letzten beiden Sockel haben bei dem board design PCIe Lanes from Chipset, alle anderen von der CPU.

• 1x PCI-E 3.0 x16 <--------------- RTX 4070
• 1x PCI-E 3.0 x4 (in x8 slot)------ frei für 4070 (braucht nur 2 Sockelbreiten)
• 2x PCI-E 3.0 x8------------------- Intel X710-DA2, 2x SFP+
  ------------------- USB 3.2 (2x externe USB3 Laufwerke mit 10TB, Backup)
• 1x PCI-E 2.0 x4 (in x8 slot)------- USB3-C (Endgeräte mit USB-C)
• 1x PCI-E 2.0 x2 (in x8 slot)------- USB 3 (Recording Interface)

Vielleicht gibt es inzwischen ein moderneres Board mit bezahlbaren Komponenten.
Aus eigener Erfahrung kann ich sagen, dass man auf ein paar Dinge achten muss, wenn man ein Server Board verwendet. Möglicherweise wäre ein potenter Consumer Rechner für ein POC auch ein gangbarer Weg.

Obacht wenn ihr Server boards verwendet, dann benötigt ihr in der Regel auch ein Server Gehäuse oder ihr müsst oben beim RAM auf eine Befestigung verzichten und das DRAM vorsichtiger stecken (nicht zu feste drücken), Server Mainboards erwarten da eine andere Bohrung...

 

[Rickmer]

Und was wollt ihr bauen?
Die 4090 hat sehr viel bessere INT8 Performance.

Die Frage bezüglich 'welche Anwendung' ist hier sehr wichtig.

@RumRangierer was macht ihr denn damit? LLMs?
Weil bei Training weiß ich nicht, aber bei Inference ist bei LLMs die Speicherbandbreite von extremer Wichtigkeit. Daher kann sich da die 4090 von der 3090 kaum absetzen.

Neuere Tensor Cores, viel bessere INT8 Performance, großer L2 Cache - alles irrelevant weil die Speicherbandbreite kaum höher ist als bei einer 3090. Ich habe diverse Benchmarks nachschlagen müssen bevor ich es selbst geglaubt habe...

Daher - zumindest für Inference ist eine 3090 deutlich besser als eine Budget-ähnliche 4070. Und für Training will man sowieso so viel VRAM haben wie möglich ist.


Dagegen - in Stable Diffusion ist die 4090 deutlich schneller als die 3090. Das ist also alles von der Workload abhängig. Aber mit viel VRAM macht man auf keinen Fall einen Fehler.

Und die beiden 10Gbit Netzwerkkarten? Da kommt einiges zusammen.

Häh? Warum würdest du mehr als eine Netzwerkkarte haben wollen?

Sowas wie eine Mellanox ConnectX-3 546SFP+ Dual-Port oder Intel X520-DA2 Dual-Port 10 Gb SFP+ gibts bei ebay für <50€.

Wobei ich die ConnectX-3 nehmen würde - die hast PCIe 3.0 und würde daher auch auf PCIe 3.0 x4 beschnitten mehr als genug Uplink haben.

Zwei gebrauchte Netzwerkkarten kaufen und eine als Ersatzteil beiseite legen ist immernoch halb so teuer wie eine neu zu kaufen -_-

 

[Drewkev]

Häh? Warum würdest du mehr als eine Netzwerkkarte haben wollen?

Will ich doch gar nicht.

 

[madmax2010]

Und die beiden 10Gbit Netzwerkkarten? Da kommt einiges zusammen.

https://geizhals.de/msi-pro-b650-p-wifi-a2824301.html
Wir haben auf dem 2 RTX4090 und eine X710-DA2. Im Prinzip geht da noch eine weitere RTX4090 rein, wenn man will