Optimierungsvorschläge für AI/ML PC-Setup

[Placidly0335]

Hallo zusammen,

ich befinde mich derzeit in der Entscheidungsphase für ein Hardware-Setup für AI/ML-Projekte und würde mich sehr über eure Ratschläge und Vorschläge freuen. Ich habe mich bei der Zusammenstellung an dem Thread "Der ideale Gaming PC" orientiert, möchte aber sicherstellen, dass die Konfiguration auch optimal für AI/ML-Anwendungen geeignet ist.
Ein häufiger Anwendungsfall wird dabei Stable Diffusion sein, also die Erzeugung von Bildern.

Hier ist die Konfiguration, die ich in Betracht ziehe:

• SSD: Samsung SSD 990 PRO 2TB, M.2
• CPU: Intel Core i7-14700K
• RAM: G.Skill Ripjaws S5 Schwarz DIMM Kit 32GB, DDR5-6000
• GPU: RTX 4070 Super
• Mainboard: ASUS TUF Gaming B760-Plus WIFI
• CPU-Kühler: ENDORFY Fortis 5
• Gehäuse: Antec P20CE, Schwarz
• Netzteil: be quiet! Pure Power 12 M 850W ATX 3.0

Mein Fokus liegt auf Anwendungen im Bereich Machine Learning und künstliche Intelligenz. Ich würde gerne eure Meinung zu folgenden Punkten hören:

1. Leistung: Ist dieses Setup ausreichend für anspruchsvolle ML-Aufgaben?
2. Preis-Leistungs-Verhältnis: Ich bin bereit, mehr zu investieren, wenn es die Leistung oder Effizienz deutlich verbessert. Gibt es bessere Optionen unter Berücksichtigung des Preis-Leistungs-Verhältnisses?
3. AMD CPU Option: Wäre die Wahl einer AMD CPU vorteilhafter für meine Bedürfnisse?
4. GPU-Upgrade: Lohnt sich die Investition in eine höherwertige GPU für meinen Anwendungsfall? Lohnt sich ein Umstieg auf eine 4080 Super oder eine 4090 aufgrund von CUDA und VRAM?

Eure Expertise und Vorschläge sind sehr wertvoll, um mir bei der bestmöglichen Entscheidung zu helfen.

Vielen Dank für eure Unterstützung!

Zusätzlich beantworte ich gerne den folgenden Fragebogen, um euch einen besseren Überblick zu geben:


1. Möchtest du mit dem PC spielen?

• Ist nicht relevant, da ich nicht spielen möchte.
• Ich nehme an, dass dies mit dem Set-up sowieso möglich ist.
• Besitze derzeit zwei 4K Ultra HD Monitore mit jeweils 60 Hz

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

• Diverse AI/ML Projekte
• Häufiger Anwendungsfall Stable Diffusion und Llama 2

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

• Für Overclocking bin ich offen ist kein Muss
• Besonders leise ist nicht erforderlich. Leise genügt.
• RGB benötige ich nicht, da Gehäuse ohne Glasfenster verwenden werde

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

• Aktuell habe ich zwei LG27UL850 die über ein (Dynabook Thunderbolt 4 Dock) mit einem Thunderbolt 4 Kabel betrieben werden
• Anzahl: 2
• Modell: LG27UL850
• Auflösung: 3840 x 2160
• Bildwiederholfrequenz: 60 Hz

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Nein

6. Wie viel Geld bist du bereit auszugeben?

• Bereit, angemessen zu investieren, wenn das Preis-Leistungs-Verhältnis stimmt.

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

• Möglichst bald, kann aber bei Bedarf warten.

8. Möchtest du den PC

• Selbst zusammenbauen
• Vorwissen vorhanden zuletzt ein PC zusammengebaut im Jahr 2019
• Benötige vielleicht Hilfe bei optimalen UEFI Einstellungen

 

[SpartanerTom]

Wenn AI/ML der Hauptfokus ist, sollte meiner persönlichen Meinung nach der VRAM im Vordergrund stehen. Lieber eine ältere Architektur mit mehr VRAM nehmen als die schnellere Architektur mit weniger VRAM. Länger warten kann man immer, wenn das Modell nicht mehr in den VRAM passt, ist aber in der Regel Sense.

Die 4070 Super ist hier meiner Meinung nach eine denkbar schlechte Wahl. Dann lieber eine günstigere 3000 Serie mit mehr VRAM oder wo anders Abstriche machen und für die GPU tiefer in die Tasche greifen.

Über den Rest kann man sich streiten. Ich würde wahrscheinlich AMD nehmen, aber der 14700K ist jetzt auch nicht grundverkehrt. Gibt sich in den genannten Anwendungen wahrscheinlich ohnehin nicht viel.

Wenn du das nicht eh schon hast, schau auch mal im Sammelthread vorbei.

 

[JumpingCat]

Die nVidia-Karten sind konkurrenzlos: https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks

Dazu kommt das die meisten Modelle auf nVidia entwickelt werden und du mit AMD auf Forks ausweichen musst wie z.B. https://github.com/lshqqytiger/stable-diffusion-webui-directml

 

[Ltcrusher]

Da ich hier nichts vom Thema Gaming lese und auch kein Budget festgelegt ist: wäre nicht hier eine nVidia Tesla V100 PCI-e Karte für seinen Einsatzbereich besser?

 

[SpartanerTom]

@Ltcrusher Ich weiß nicht ob der schnellere HBM2 Speicher den Nachteil der älteren Architektur wett macht (ich glaube wahrscheinlich eher nicht, aber lasse mich gerne belehren). Aber grundsätzlich geht das in die richtige Richtung. Ich dachte an die Kategorie 3090 mit 24GB VRAM, falls man die "günstig" gebraucht schießen kann. Habe nicht so den Blick auf den Gebrauchtmarkt. Ich vermute der ist nicht besonders rosig zur Zeit.

Innerhalb der 4000 Serie würde ich wahrscheinlich sogar eher zur 4060Ti 16GB als der 4070S raten.

Summoning @Rickmer falls er die Muße hat seine Expertise zu teilen.

Ergänzung: Ich gebe zu, ich hatte zunächst nur Inferenz als Anwendungsfall im Kopf. Für Training wäre HBM2 sicher ein gutes Faustpfand. Ohne weitere Infos zu Budget und einem enger gestecktem Anwendungsprofil wird es aber schwer zweckdienlich zu helfen.

 

[JumpingCat]

kein Budget festgelegt ist: wäre nicht hier eine nVidia Tesla V100 PCI-e Karte für seinen Einsatzbereich besser?

Eindeutig, das ist genau deren Einsatzzweck. Dann würde man aber auch einen Threadripper mit mehr RAM einbauen.

 

[leckerbier1]

Du solltest dich erstmal informieren was deine Programme benötigen.

 

[Placidly0335]

Wenn AI/ML der Hauptfokus ist, sollte meiner persönlichen Meinung nach der VRAM im Vordergrund stehen. Lieber eine ältere Architektur mit mehr VRAM nehmen als die schnellere Architektur mit weniger VRAM. Länger warten kann man immer, wenn das Modell nicht mehr in den VRAM passt, ist aber in der Regel Sense.

Die 4070 Super ist hier meiner Meinung nach eine denkbar schlechte Wahl. Dann lieber eine günstigere 3000 Serie mit mehr VRAM oder wo anders Abstriche machen und für die GPU tiefer in die Tasche greifen.

Über den Rest kann man sich streiten. Ich würde wahrscheinlich AMD nehmen, aber der 14700K ist jetzt auch nicht grundverkehrt. Gibt sich in den genannten Anwendungen wahrscheinlich ohnehin nicht viel.

Wenn du das nicht eh schon hast, schau auch mal im Sammelthread vorbei.

Klingt für mich erstmal nach eine gebrauchte 3090 oder direkt eine 4090, um 24 GB VRAM zu erhalten. Müsste entsprechend das Netzteil nochmals anpassen.
Gibt es spezielle Gründe für eine AMD CPU? Wenn ja, welche wäre in dem Fall empfehlenswert?

Die nVidia-Karten sind konkurrenzlos: https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks

Dazu kommt das die meisten Modelle auf nVidia entwickelt werden und du mit AMD auf Forks ausweichen musst wie z.B. https://github.com/lshqqytiger/stable-diffusion-webui-directml

Die Frage war eher auf die CPUs von AMD bezogen und nicht auf die GPU. Hätte es deutlicher schreiben sollen.

Da ich hier nichts vom Thema Gaming lese und auch kein Budget festgelegt ist: wäre nicht hier eine nVidia Tesla V100 PCI-e Karte für seinen Einsatzbereich besser?

Finde ich interessant. Gleichzeitig habe ich ein wenig das Preisleistung in Hintergrund. Da finde ich den Vorschlag von SpartanerTom für eine gebrauchte 3090, eine 4060 TI oder direkt eine 4090 reizend.

Ergänzung (21. Januar 2024)

Du solltest dich erstmal informieren was deine Programme benötigen.

In den meisten Open Source Projekten, wo es Hardwareanforderungen beschrieben werden, wird angeben, dass man mit RTX 40XX mit mindestens 4 GB GPU Memory die besten/schnellsten Ergebnisse erhält. Mehr Infos habe ich leider auch nicht. Deswegen hatte ich initial die RTX 4070 Super in den Raum geschmissen

 

[Giggity]

SSD: Samsung SSD 990 PRO 2TB, M.2

Statt der 990 Pro würde ich etwas mehr investieren und direkt 4TB nehmen.
https://geizhals.de/lexar-nm790-4tb-lnm790x004t-rnnn-a2980705.html