Kaufberatung: Leistungsstarker PC für lokale KI bzw. AI-Anwendungen

[Quather]

Moin zusammen,

ich hatte schon einen Thread zum Netzteil für meine geplante KI-Workstation, aber mir wurde geraten, einen neuen Thread für die allgemeine Kaufberatung zu eröffnen. Also, hier bin ich! Ich plane eine leistungsfähige Workstation für lokale KI-Anwendungen und bräuchte mal eure Expertise. Habe mich bisher an einem YouTube Tutorial orientiert, bin mir aber nicht sicher, ob das wirklich optimal ist.

Geplante Anwendung:

• Lokaler KI-Server für verschiedene KI-Modelle, ähnlich wie hier:
  

  YouTube

  An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

  YouTube-Embeds laden

  Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.
  YouTube-Embeds laden

  Datenschutzerklärung
• Ausführen von Applikationen wie Ollama, Stable Diffusion
• Eventuell auch Finetuning von LLMs

Bisherige Überlegungen:

Gehäuse: Lian Li O11 Dynamic EVO XL
Mainboard: ASUS X670E-CREATOR PROART WIFI
CPU: AMD Ryzen 9 7950X3D
CPU Kühlung: Lian Li Galahad II Trinity SL-INF 360mm
Speicher: 2x Samsung 990 PRO 2TB
RAM: 128GB (4 x 34GB G.Skill Trident Z5 Neo DDR5-6000 CL30)
Grafikkarten: 2x MSI GeForce RTX 4090 SUPRIM LIQUID X 24G
Netzteil: Corsair AX1600i oder Seasonic Prime TX-1600

Bin mir nicht sicher, ob das Setup so Sinn macht, oder ob ich da völlig falsch rangehe. Vor allem bei den GPUs (Anzahl, Modell, Kühlung) und beim Arbeitsspeicher habe ich noch Fragezeichen. Wäre dankbar für eure Einschätzungen und Vorschläge. Ist die Grundkonfiguration für KI-Workloads geeignet oder sollte ich etwas grundlegend ändern? Wäre eine 2x64GB Konfiguration besser als 4x32GB? Gibt es Bedenken bezüglich der Hybrid-Kühlung der GPUs? Reicht eventuell auch ein NZXT C1500 Netzteil aus oder ist 1600W die bessere Wahl? Jeder Tipp ist willkommen!

Vielen Dank im Voraus für eure Hilfe!

 

[till69]

Wenn nicht gespielt wird: AMD ohne 3D (7950X / 9950X)

Alternativ auf Intels Gen.15 warten (Oktober)

 

[madmax2010]

CPU: AMD Ryzen 9 7950X3D

Warum der? Die allermeisten KI Anwendungen die mir einfallen werden 15 Kerne ignorieren, da die GPU alles rechnet.
Ebenso die Frage ob 128GB RAM sinnvoll sind. Ich sehe da nichts, was den auch nur Ansatzweise nutzen wird..


Was meinst du mit KI Anwendungen? Mit der ANwendung steht und faellt ob eine RTX4060, eine 4090 oder was dickeres sinnvoll ist
Edit: sorry, kann nicht lesen.
Welche LLMs sollen es werden? Gerade bei Finetuning kann Hardware stundenweise mieten sinnvoll sein.
Mit den RTX4090bist du auf 30 Mrd parameter limitiert, weil das Modell sonst nicht mehr in den VRAM passt
Den Calculator kennst du? https://huggingface.co/spaces/NyxKrage/LLM-Model-VRAM-Calculator

 

[AMD-Flo]

Oder gleich den 9950X

 

[chillipepper]

Pass auf, nicht, dass Du dann genauso wie Microsoft auch noch ein Kernkraftwerk in der Nähe benötigst.

Mal ehrlich, halte ich für puren Schwachsinn, sowas selber aufbauen zu wollen. Ist doch nur Spielerei.
Gibt es denn für Dich wirklich konkrete Anwendungen, dass Du es unbedingt bei Dir machen musst?
Da würde ich mir eher einen Job in dem Bereich suchen und mit den "dicken kisten" spielen...

Es ist doch viel einfacher und kosteneffizienter, die Services in der Cloud zu verwenden, wenn man mal was braucht.

 

[Moselbär]

Wenn Du die Möglichkeit hast 2x64GB zu verbauen mach das mMn.
Mit Vollständiger Bestückung des Boards hat AMD angeblich Probleme.
Ob das stimmt weiß ich nicht.
Ich hab 2x32GB verbaut und die laufen im OC einwandfrei.
Allerdings alte Plattform.

 

[djducky]

4x32Gb wird auf der Geschwindigkeit auch eher nicht laufen, beim X3D habe ich bis jetzt noch nix gehört wo der besonders toll sein soll außer in Spielen.

Dann eher einen 9950X - und auf eine Wasserkühlung (geschweige denn drei!) würde ich in einem Produktivsystem ebenfalls verzichten. Wenn dann eher noch eine Custom-Wakü mit MoRa oder so, doch das steht auf einem anderen Blatt. Lieber ordentlich belüften. da ist dann auch wieder die Frage, ob es ein aquariumgehäuse sein muss?

 

[Azghul0815]

Mal ehrlich, halte ich für puren Schwachsinn, sowas selber aufbauen zu wollen. Ist doch nur Spielerei.

Genau wie ein Gaming Rechner...
Wenn das Hobby und Forschungsdrang ist, man lernen will....Gibt schlechters um sein Geld auszugeben.

 

[oicfar]

Mal ehrlich, halte ich für puren Schwachsinn, sowas selber aufbauen zu wollen. Ist doch nur Spielerei.

Und manche geben viel Kohle um zu Zocken.

Wenn man sich mit der KI beschäftigt, dann lernt man ja noch was dazu. Hoffentlich.

 

[KarlsruheArgus]

Gehäuse:
Kannste machen würde eher was mit mehr Airflow nehmen und großen vorverbauten Lüftern wie ein Lian L216 oder ein Fractal Torrent

Mainboard:
X670E halte ich für vollkommenen Schwachsinn da der Chipsatz und die CPU nicht genügend Lanes haben für zwei RTX4090, solche Systeme werden mit Threadrippern realisiert.

CPU:
Aufgrund von zwei RTX 4090 wird ein Threadripper fällig bei einer 4090 reicht ein Ryzen System, auf die 16 Kerner ohne 3D Cache setzten und selbst hier tut es eigentlich der 9700X da fast alles über die GPU läuft.

CPU Kühlung:
Eine AIO macht man heutzutage nur aus kosmetischen Gründen den aktuelle Luftkühler für 20€ kühlen das genauso gut weg.
Das Problem der Ryzen CPUs ist die Wärmedichte der CPU nicht die Kühlleistung des Kühlers.

Speicher: Warum zwei mal zwei TB ?
4TB sind P/L technisch genauso interessant.
Hier auf NVMEs mit TLC + DRAM Cache achten (mind. 0.5GB pro TB Speicher).

RAM:
Vollbestückung vermeiden bei Ryzen CPUs da Dual Channel, heißt 96GB mittels zwei Modulen je 48GB 6000CL30
Bei Threadrippern mit Quad Channel sind vier Sticks dann angebracht (RDIMM Sticks)

Grafikkarten:
Zwei normale 4090 mit ordentlicher Luftkühlung reichen aus, die 4090 befindet sich aktuell im Abverkauf und steigt aktuell im Preis die Leaks zur "5090" verdichten sich.

Netzteil:
Es gäbe noch das GF3 von Thermaltake und von Seasonic die PX Serie. Beide haben nativ zwei 12VHPWR.
Das Corsair AX1600i ist ein ATX 2.4 PSU ohne native 2x 16-Pin PCIe 5.0 12VHPWR (12+4-Pin, je 600W) und dank ATX 2.4 nicht gut gegen Lastspitzen gefeilt wie >ATX3.0 PSUs.

Btw.
Mit Stable Diffusion und "laienhaft" LLMs lokal auf dem PC hab ich selber genug rumgespielt und kann sagen das eine 4070 für die ersten Prompts locker reicht.

Ich würde hier generell auf ein Ryzen (9700X/64GB )System mit einer 4080S setzten.
Alles darüber ist nur notwendig wenn das System 24/7 irgendwelche experimentellen Anwendungen durchschleifen muss und dann wäre das anmieten von Kapazitäten günstiger für den Geldbeutel.

Vorschlag:
Threadripper Low Level System
(Liste hat zwei Tage bestand, bei Interesse Liste selbst nochmal abspeichern.)

Ryzen System
(Liste hat zwei Tage bestand, bei Interesse Liste selbst nochmal abspeichern.)

Projekt Vernunft (Ryzen)
(Zotac GPU deshalb da fünf Jahre Garantie nach Registrierung)

Edit:
Die aktuellen "Leaks" bzgl. Blackwell
Golem
CB
Für etwaige Irrtümer in dieser "wall of text" entschuldige ich mich im voraus.
Zu meiner Verteidigung es ist früh am Morgen.

 

[Quather]

Moin zusammen, danke für die vielen Tipps! Echt klasse, wie ihr euch Zeit genommen habt. Hab den PC jetzt doch wie geplant zusammengebaut. Die Teile waren schon bestellt und zurückschicken wär' blöd gewesen, zumal ich das System kurzfristig brauchte. Beim X3D bin ich geblieben, weil ich ein System wollte, das auf jeden Fall läuft. Hab mich deshalb eng ans Video (siehe oben) gehalten. Dachte auch, der hätte weniger Stromhunger als die X-Variante. Cloud wär' zwar günstiger und einfacher, geht aber aus anderen Gründen leider nicht. Jetzt hab ich aber 'nen Haken: PC ist zusammengebaut, startet aber nicht. Hab dazu 'nen neuen Thread aufgemacht:

https://www.computerbase.de/forum/t...rt-aus-rote-led-am-netzteil-leuchtet.2212081/

Wär' super, wenn jemand da mal drüberschauen und vielleicht 'nen Tipp geben könnte.

Nochmal Danke für eure Hilfe!

Ergänzung (1. Oktober 2024)

Gehäuse:
Kannste machen würde eher was mit mehr Airflow nehmen und großen vorverbauten Lüftern wie ein Lian L216 oder ein Fractal Torrent

Mainboard:
X670E halte ich für vollkommenen Schwachsinn da der Chipsatz und die CPU nicht genügend Lanes haben für zwei RTX4090, solche Systeme werden mit Threadrippern realisiert.

CPU:
Aufgrund von zwei RTX 4090 wird ein Threadripper fällig bei einer 4090 reicht ein Ryzen System, auf die 16 Kerner ohne 3D Cache setzten und selbst hier tut es eigentlich der 9700X da fast alles über die GPU läuft.

CPU Kühlung:
Eine AIO macht man heutzutage nur aus kosmetischen Gründen den aktuelle Luftkühler für 20€ kühlen das genauso gut weg.
Das Problem der Ryzen CPUs ist die Wärmedichte der CPU nicht die Kühlleistung des Kühlers.

Speicher: Warum zwei mal zwei TB ?
4TB sind P/L technisch genauso interessant.
Hier auf NVMEs mit TLC + DRAM Cache achten (mind. 0.5GB pro TB Speicher).

RAM:
Vollbestückung vermeiden bei Ryzen CPUs da Dual Channel, heißt 96GB mittels zwei Modulen je 48GB 6000CL30
Bei Threadrippern mit Quad Channel sind vier Sticks dann angebracht (RDIMM Sticks)

Grafikkarten:
Zwei normale 4090 mit ordentlicher Luftkühlung reichen aus, die 4090 befindet sich aktuell im Abverkauf und steigt aktuell im Preis die Leaks zur "5090" verdichten sich.

Netzteil:
Es gäbe noch das GF3 von Thermaltake und von Seasonic die PX Serie. Beide haben nativ zwei 12VHPWR.
Das Corsair AX1600i ist ein ATX 2.4 PSU ohne native 2x 16-Pin PCIe 5.0 12VHPWR (12+4-Pin, je 600W) und dank ATX 2.4 nicht gut gegen Lastspitzen gefeilt wie >ATX3.0 PSUs.

Btw.
Mit Stable Diffusion und "laienhaft" LLMs lokal auf dem PC hab ich selber genug rumgespielt und kann sagen das eine 4070 für die ersten Prompts locker reicht.

Ich würde hier generell auf ein Ryzen (9700X/64GB )System mit einer 4080S setzten.
Alles darüber ist nur notwendig wenn das System 24/7 irgendwelche experimentellen Anwendungen durchschleifen muss und dann wäre das anmieten von Kapazitäten günstiger für den Geldbeutel.

Vorschlag:
Threadripper Low Level System
(Liste hat zwei Tage bestand, bei Interesse Liste selbst nochmal abspeichern.)

Ryzen System
(Liste hat zwei Tage bestand, bei Interesse Liste selbst nochmal abspeichern.)

Projekt Vernunft (Ryzen)
(Zotac GPU deshalb da fünf Jahre Garantie nach Registrierung)

Edit:
Die aktuellen "Leaks" bzgl. Blackwell
Golem
CB
Für etwaige Irrtümer in dieser "wall of text" entschuldige ich mich im voraus.
Zu meiner Verteidigung es ist früh am Morgen.

Toll, was du da alles zusammengetragen hast! Ich habe mir deine Bauvorschläge gespeichert, auch wenn ich jetzt erst mal was anderes nehme.