CPU und MB für RTX3090 (Use Case: LLMs)

[Llama-Fan]

Hallo zusammen,

Ich habe kürzlich eine RTX3090 erstanden und suche hierfür CPU und MB, die die Graka nicht ausbremsen und für meine Use Cases gut geeignet sind. Lüfter oder Kühler sollten ebenfalls ins Budgets passen. Falls der RAM ersetzt werden sollte, wäre das innerhalb des Budgets auch möglich.

Anwendungsgebiete: hauptsächlich Deep Learning (d. h. LLMs wie bspw. Llama 3.1 8B in 16fp) und Data Processing (bspw. Pandas), teils auch klassisches Machine Learning (bspw. XGBoost).


Aktuell sind vorhanden:

• AMD Ryzen 5 2600
• MSI B450-A PRO MAX (MS-7B86)
• GeForce RTX 3090 MSI Gaming X Trio
• 4 x G.Skill G. Skill F4-3000C 16GB
• Crucial MX500 1TB 3D NAND SATA 2,5 Zoll Internes SSD
• EKL Alpenföhn Sella CPU Kühler
• be quiet! Pure Power 12 1000W Netzteil
• Fractal Design Core 2300 Gehäuse

Gesamtbudget:

1000€


Danke euch und Viele Grüße!

 

[Nordwind2000]

Alles ab 9700X oder höher.
32 oder 64 GB DDR5-6000 CL30 und Board nach Ausstattung. Je nach Beanspruchung würde ich direkt einen 9950X nehmen. Könnte aber dann etwas eng werden mit deinem Budget. Kühler brauchst ja auch noch einen. Da würde ich einen bequiet Dark Rock 5 oder was vergleichbares von Noctua nehmen.

RAM nutze ich gerne GSkill und Mainboards von Gigabyte. ASUS ist mir zu verspielt und die Software nervig, MSI teilweise unzuverlässig mit ihren BIOS-Updates. ASRock kann man auch noch nehmen. Chipsatz B650 oder B850.

 

[0x8100]

nimm einfach die vorhandene hardware. solange die cpu nicht auf 100% geht (was ich nicht glaube), brauchst du nichts neues kaufen.

Alles ab 9700X oder höher.

warum? die 3090 macht die arbeit.

 

[Zwirbelkatz]

Willkommen

Eine recht ungewöhnliche Kombination aus Budget-Rechner und (ehemaliger) Highend-Grafikkarte hast du da gebaut.

4 x G.Skill G. Skill F4-3000C 16GB

Du hast 4x4GB, die 16GB ergeben? Oder du hast 4x16=64GB verbaut?

Es gäbe den Ryzen 5700x für dein Mainboard. Der ist nicht teuer.
AMD AM4 - aufrüsten & einrichten

(LLM ist nicht mein Gebiet)

 

[drac23]

Theoretisch müsstest du nur CPU und RAM aufrüsten, aber praktisch ergibt es durchaus Sinn wegen DDR5 und PCIe 4.0, dann auch gleich das MB zu tauschen.

Daher würde ich, wie von @Nordwind2000 vorgeschlagen, einen 9700X nehmen (da viele IPC und viele DataFrame-Operationen eben single-threaded sind) und zusätzlich 64 GB RAM (da Pandas und XGBoost für große Datensätze gern auch über 32 GB brauchen). Hier ein paar Kit-Kandidaten:
https://geizhals.de/?cmp=2812950&cmp=3006662&cmp=2837548&cmp=2876907&active=1

Mainboard muss nichts Spezielles sein, hier eine kleine Übersicht:
https://geizhals.de/?cmp=3009809&cm...&cmp=3384498&cmp=3384417&cmp=3381555&active=1

Als Kühler reicht auch z. B. ein Freezer 36. Der Dark Rock 5 wär mir persönlich zu teuer:
https://geizhals.de/?cmp=2835464&cmp=3144218&cmp=2846437&cmp=2647175&cmp=2849332&active=1

Macht in Summe 600-700 Euro und ist dann schon wirklich das absolute Maximum, was man für deinen UC braucht. Geht aber auch noch (deutlich) günstiger, wie @0x8100 berechtigerweise schreibt, indem man z. B. das MB behält und CPU, Kühler sowie RAM jeweils für AM4 gebraucht kauft. Selbst neu wäre man hier mit einem 5700X, Freezer 36 sowie 64 GB RAM bei nur ca. 250 Euro (siehe Anhang).

 

[HerrRossi]

Hast du besondere Anforderungen oder Wünsche? Geeignet für LLM-Inference und teils -Fine Tuning

warum? die 3090 macht die arbeit.

This!

 

[Llama-Fan]

Danke euch für die Antworten!

solange die cpu nicht auf 100% geht (was ich nicht glaube), brauchst du nichts neues kaufen.

Leider geht sie regelmäßig auf 100%. Abgesehen davon, dass ich bei CPU-lastiger Arbeit mehr Speed möchte, macht das leider den PC auch für sonstige Sachen unbenutzbar in der Zeit. Habe bspw. die letzten Tage 2 Skripte parallel laufen lassen: eins mit Llama-3.1-8b, das die GPU (bis zu wiederholten OOMs) ausgelastet hat, und eins, das per API ein OpenAI Modell genutzt hat. Da war die CPU durchgehend am Maximum und ich musste mein zugehöriges Paper dann am Laptop schreiben, weil bspw. der Mauszeiger sich nur noch in Zeitlupe bewegen ließ.

Eine recht ungewöhnliche Kombination aus Budget-Rechner und (ehemaliger) Highend-Grafikkarte hast du da gebaut.

Die GPU habe ich gerade erst gekauft. Vorher war es alles Budget :-)

Du hast 4x4GB, die 16GB ergeben? Oder du hast 4x16=64GB verbaut?

Das sollte 4x16=64GB heißen.

 

[Zwirbelkatz]

Hm, der 5900x war in der Vergangenheit günstiger. Der 5950x war mal günstiger.

Nur der 5700x trotzt dem Trend und wird immer preiswerter.
https://geizhals.de/amd-ryzen-7-5700x-100-000000926-a2697378.html

AMD Ryzen 5 2600

... auf Ryzen 5700x - laut Test und in Multi: 82% schneller.
https://www.computerbase.de/artikel...t.80254/seite-2#abschnitt_multicorebenchmarks

Kann man drüber nachdenken. Genug Ram ist auf alle Fälle vorhanden.


Falls man möchte, einen besseren Kühler erstehen. Wie etwa diesen:
https://geizhals.de/arctic-freezer-36-v155684.html

 

[Llama-Fan]

Ich schaue mir gerade passende RAM-Optionen an. Wie ist denn die CL im Tradeoff mit dem Bustakt einzuordnen?

Also bspw.
Kingston FURY Beast 64GB Kit DDR5-6000 CL30
vs.
Kingston FURY Beast 64GB Kit DDR5-6400 CL32

Gibt es spezifische Vor- und Nachteile? Und wie ist die Gesamtperformance einzuordnen im Vergleich?

Bei CPU und MB tendiere ich aktuell zu Ryzen 9 9950X und ASR X670E PG Lightning. Auch wenn es dann nicht mehr in Budget passt insgesamt.

 

[KarlsruheArgus]

Wie ist denn die CL im Tradeoff mit dem Bustakt einzuordnen?

Der RAM Takt ist bei deinen Anwendungen eh komplett zu vernachlässigen.
Ich würde hier auf die CPU Spezifikation setzen, da ist der Preis/GB eh am besten.
https://geizhals.de/?cat=ramddr3&xf...5600~256_2x~5828_DDR5&sort=r&hloc=de&v=e&pg=1

128GB sollten erstmal reichen bei einer Neuanschaffung mit dem Ryzen 9 9950X.

Beim Board könntest du noch etwas sparen.
https://geizhals.de/?cmp=2914109&cmp=3120786

Ergänzung (Donnerstag um 23:47)

Ich wäre bei @Zwirbelkatz mit dem Ryzen 7 5700X