GPU für Stable Diffusion

[racer320kmh]

Hallo, ich bräuchte mal euren Rat. Ich habe Stable Diffusion als neues Hobby entdeckt. Mit der GTX 970 dauert das generieren eines Bildes (512x768px mit DPM++ 2M Karras) oft mehrere Minuten. Am liebsten würde ich die RTX 4070 kaufen. Oder die RTX 3070 als gebrauchte Alternative?
Danke.

1. Wie viel Geld bist du bereit auszugeben?
ca. 600 €, gern günstiger

2. Möchtest du mit der Grafikkarte spielen?
nein

3. Möchtest du die Grafikkarte für spezielle Programme & Anwendungen (z.b. CAD) nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Stable Diffusion, hobbymäßig

4. . Wieviele und welche Monitore möchtest du nutzen? Wird G-Sync/FreeSync unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Ein Monitor (DVI oder DisplayPort) und AVR (HDMI)

5. Nenne uns bitte deine aktuelle/bisherige Hardware:

• Prozessor (CPU): AMD Ryzen 1600X
• Aktuelle/Bisherige Grafikkarte (GPU): NVIDIA GTX 970
• Netzteil(Genaue Bezeichnung): be quiet! E10 CM 500W (ca. 5 Jahre alt)
• Gehäuse: Fractal Design Define R6

6. Hast du besondere Wünsche bezüglich der Grafikkarte? (Lautstärke, Anschlüsse, Farbe, Hersteller, Beleuchtung etc.)
DisplayPort und HDMI

7. Wann möchtest du die Karte kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Demnächst

 

[Rickmer]

Für Stable Diffusion willst du

• nvidia weil alles KI Krams erstmal für CUDA raus kommt. Mit AMD oder Intel Karten hat man erheblich mehr Kämpfe mit Treibern.
• möglichst viel VRAM um in Stable Diffusion große Auflösungen und/oder eine Mehrzahl an z.B. Control Nets nutzen zu können

Unter 12GB VRAM würde ich niemals eine GPU für SD kaufen, den günstigsten sinnvollen Einstieg sehe ich daher bei der RTX 3060 12GB.
Eine RTX 4070 hätte da nur den Vorteil, dass alles schneller geht.

Für 600-700€ ist auf ebay auch eine gebrauchte RTX 3090 mit 24GB VRAM eine gültige Alternative zur 4070. Mit 24GB VRAM sind nicht nur sehr viele Optionen bezüglich Auflösung offen, sondern das reicht auch um z.B. mit LLMs (Large Language Models - am bekanntesten ChatGPT) zu experimentieren.
Für eine 3090 würdest du aber auch ein neues Netzteil benötigen, 500W reichen da nicht.

Oder die RTX 3070 als gebrauchte Alternative?

Nur 8GB VRAM? Tu dir das nicht an...

 

[john.smiles]

Eine gebauchte 2080 Ti hat aktuell das beste P/L für Stable Diffusion, schnell genug und genug Speicher.

 

[SirKhan]

Sofern man mit Linux/Docker keine Berührungsprobleme hat, funktionieren die 6800XT und 6900XT von AMD sehr gut. Haben zumindest 16 GB VRAM. Ich rendere mit meiner 1536x1024 ohne Probleme. Die "kleine" Auflösung von 768x512 nehme ich für Massenserien zum Experimentieren. Die rattern wirklich schnell durch (ca 4s bei 20 Steps DPM++ 2M Karras). Also von der Geschwindigkeit sind die super. Das Einrichten ist jedoch komplizierter als mit Windows/NVidia und ich würde das jemanden ohne bessere Linux-Erfahrungen nicht empfehlen.

NVidia ist deutlich einfacher, da man das ganze einfach auf einen Windows-PC herunterladen und starten kann. Liegt daran, wie @Rickmer schon geschrieben hat, dass Stable Diffusion eine für NVidia/CUDA zugeschnittene Bibliothek verwendet.
Ich würde nicht mehr unter 16 GB wollen, eher auf 24 GB upgraden. Leider sind die GPUs mit viel VRAM von NVidia extrem teuer. Evtl. gibt es gebraucht eine?

 

[racer320kmh]

Danke für die Einwände. Egal ob jetzt 3090 oder 2080 Ti, da bräuchte ich bestimmt noch ein 1000 W Netzteil, oder? Für die 4070 reichen 500 W und die ist garantiert schneller als die 2080 Ti in SD. Bei der 3090 klingen die 24 GB VRAM schon sehr verlockend.
Linux kenne ich nur eingesperrt in der Virtual Box.^^ Ich freier Wildbahn traue ich mir das nicht zu. Bei Problemen nehme ich einfach den vorherigen Snapshot.
Ich benutze gerade schon stable-diffusion-webui.

 

[SirKhan]

500 W klingen eher etwas wenig. Bei 650 W hätte ich gesagt, wenn es ein besseres ist, sollte es funktionieren.
750 W ist von NVidia empfohlen für die 3090. Das sollte reichen (und kostet nicht ganz so viel wie ein 1000 W-Netzteil). Allerdings werden die Top-Karten der nächsten Generationen eher mehr als weniger verbrauchen...

Wenn du das Hobby wirklich weiterverfolgst, wirst du dich aber bald ärgern, nicht gleich eine größere GPU genommen zu haben. Wenn du gerade erst angefangen hast, wäre ich vorsichtiger.

Tatsächlich bin ich gerade hierüber gestoßen: https://www.tomshardware.com/news/amd-rocm-comes-to-windows-on-consumer-gpus
ROCm ist die CUDA-Alternative vom AMD. Leider scheint die 5.6er-Version (für Windows) noch nicht verfügbar zu sein. Aber zumindest tut sich da was.

 

[Deathangel008]

Egal ob jetzt 3090 oder 2080 Ti, da bräuchte ich bestimmt noch ein 1000 W Netzteil, oder?

wie kommst du darauf?

für ne 2080ti würde ich 650-750W und für ne 3090 750W-850W nehmen, je nach partnerkarte.

es schadet bei solchen karten nicht das offene toppanel zu verwenden und nen zusätzlichen ausblasenden lüfter hinten oben zu verbauen.

 

[racer320kmh]

Wäre die RTX 3060 mit 12 GB VRAM noch eine Alternative?

 

[ordogemini]

Oder Du wartest auf die 4060 TI mit 16 GB Speicher, die im Juli erscheint.
Die Preise dafür dürften recht schnell auf etwa 500 € fallen (UVP 549 €).
Ich liebäugele auch mit der Karte, die 4070 ist zwar schneller, hat aber auch nur 12 GB VRAM.
Eierlegende Wollmilchsau wäre für mich die 4070 mit 16 GB VRAM, evtl. kommt die Variante ja noch - Gerüchte darüber gibt es.
Ich spiele auch nicht, sondern nutze 3D-Programme (Modelling, Rendering).

 

[Hot Dog]

Eierlegende Wollmilchsau wäre für mich die 4070 mit 16 GB VRAM, evtl. kommt die Variante ja noch - Gerüchte darüber gibt es. Ich spiele auch nicht, sondern nutze 3D-Programme (Modelling, Rendering).

Gerücht bestätigt, Nvidia 4070 Ti Super ab Januar 2024 (dummer Name aber deutliches Upgrade). Das Warten hat sich gelohnt, endlich schnell und 16 GB VRAM. 🙂👍
PS: Ebenfalls überwiegend für die Arbeit und weniger zum Zocken.
Wer ausschließlich zockt kann guten Gewissens auf AMD setzen.