GPU(s) für kleine Workstation

[l8lechi]

Hi!
Mein nun 10 Jahre alter Laptop muss so langsam in Rente, und ich bin schonmal am überlegen was als Nachfolger so infrage kommen könnte.
Mittlerweile muss mein Computer hauptsächlich KI trainieren, zum Spielen wird er meistens nur noch 1-2 Mal pro Woche benutzt. Mein aktueller Laptop hat gerade mal 3 GB Grafikspeicher, das reicht vorne und hinten nicht, und ich hätte trotzdem gerne eine kleine Workstation bevor ich in die Cloud outsourcen muss. Deswegen ist Grafikspeicher ein relativ wichtiges Kriterium für mich, weniger als 16 GB hätte ich ungerne. Und da kommen wir auch schon zu meiner ersten größeren Frage:
Wie viel Sinn macht es, eine teurere GPU durch mehrere billige zu ersetzen? Wie vergleichen sich zum Beispiel diese Konfigurationen:

• eine RTX 4070 Ti Super
• zwei RTX 4060 Ti
• drei RTX 3060 (12 GB)

die 4070 Ti Super ist zwar schneller, hat dafür weniger Grafikspeicher. Die zwei RTX 4060 Ti‘s hätten kombiniert den doppelten Speicher, aber sind langsamer. Für die drei 3060‘s analog. Hat man dadurch, dass es mehr GPUs sind, auch höhere Geschwindigkeiten, oder ist das einzige Argument wirklich eigentlich nur der Grafikspeicher? Da kenne ich mich leider überhaupt nicht aus.

Hier erstmal der Fragebogen:

1. Wie viel Geld bist du bereit auszugeben?
so um die 800 (+/- 100) €.

2. Möchtest du mit der Grafikkarte spielen?

• Welche Spiele genau? meistens noch Anno 1800 oder Borderlands 3 falls mal Freunde Zeit haben, sonst KSP 2 sobald es in einem spielbaren Zustand ist ^^
• Welche Auflösung? Genügen Full HD (1920x1080) oder WQHD (2560x1440) oder soll es 4K Ultra HD (3840x2160) sein? Full-HD reicht völlig (mehr können meine Bildschirme auch nicht), wobei es natürlich schön wäre in Zukunft evtl. sogar ein 4K-Bild zu haben.
• Ultra/hohe/mittlere/niedrige Grafikeinstellungen? Mittel genügt mir eigentlich, aber an schöner (hoch - ultra) Grafik habe ich sicher nichts auszusetzen!
• Genügen dir 30 FPS oder sollen es 60 oder gar 144 FPS sein? über 30 FPS freue ich mich zurzeit, 60 ist Luxus… also 60

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Ich benutze hauptsächlich PyTorch und JAX, deswegen fallen AMD-Karten (leider) schonmal weg…

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Ich habe zwei alte BenQ Full-HD Monitore die mir reichen, aber ein Ultrawide-Monitor reizt mich immer mehr.

5. Nenne uns bitte deine aktuelle/bisherige Hardware:
Ich werde mir einen kompletten PC neu zusammenstellen, die restliche Hardware würde ich aber tatsächlich davon abhängig machen, was ich mir für GPU(s) zulegen will.


6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
Alles egal, außer:

• muss von NVIDIA sein (JAX unterstützt AMD noch nicht)
• 2, maximal 3 Bildschirme sollten angeschlossen werden können
• sollte insgesamt maximal so ca. 500 W ziehen (wichtig, falls mehrere GPUs infrage kommen), sonst wird‘s auf Dauer teuer

(leise wäre natürlich auch toll)

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Ein paar Monate (~ 3 Monate schätze ich mal) hält mein Laptop noch durch, aber dann darf er in die wohlverdiente Rente.

Danke im Vorraus!

 

[tdbr]

Die GPUs kannst du doch gar nicht als Stack laufen lassen. NVLink haben die nicht.

3090 hat 24gb und sollte man gebraucht um 800€ bekommen können.
Zudem können die 3090 NVLink also mit ner zweiten upgradebar.

 

[l8lechi]

Hi, danke für deine Antwort.
Ist denn NVLink überhaupt wirklich nötig? Ich dachte das geht auch ohne, siehe z.B. hier. Diese Person benutzt auch (wie mein Beispiel) zwei 4060 Ti‘s (hat zwar ein Model gewählt das auch auf eine passen sollte, aber an sich funktioniert es dann prinzipiell. Generell in r/LocalLLaMA sind viele multi-GPU Konfigurationen zu finden die, soweit ich herausgefunden habe, auch nicht NVLink unterstützen.

Außerdem: Ist es denn eine gute Idee GPUs gebraucht zu kaufen? Habe keine Lust eine alte Mining-GPU zu bekommen die 24/7 über Jahre am laufen war und eigentlich schon am Ende ihrer Lebenszeit ist.

Falls jemand dazu noch mehr weiß, sagt bitte bescheid!

 

[tdbr]

Mindfactory hat öfters 3090 für 800€ im Schnäppchenshop. Hast also Garantie. Heute war wieder eine drin. Gegebenfalls ist sie immer noch vorhanden - Schnäppchenschop ist dicht zwischen 23-7 Uhr.

Die 4060 sind PCIe x8 Karten mit 128 Bit Memory Bus. Eine 3090 hat x16 und 384 Bit Bus.

Wie sieht der Rest der Hardware aus? PCIe Lanes gibts ja eher bei Xeon, Threadripper und Epyc.
Es kann sein, dass du gar keine PCIe Lanes für 3 GPUs hast und somit sowieso keine Option ist?
Hast du genug Slots, aber die laufen dann mit x8 x4 x1? Wie verhält sich die Performance dann mit mehreren GPUs?

AI ist nicht mein Gebiet. Performance kann ich leider kaum Beurteilen und ich wüsste auch nicht wo ich Benchmarks finde.

 

[maxi_rodriges]

16 GB sind für FullHD völlig unnötig.