GPU für Stable Diffusion - 16GB min?

Rickmer schrieb:
Uff. Wenn du 'ne Stunde auf ein Bild warten musst ist natürlich kein Spaß bei.
Dunno welches Programm er genutzt hat. Ist natürlich auch ein Faktor. Allgemein kann man da ja sehr viel mit spielen. Wenn ich hunderte oder gar tausende Steps habe, dann hast du genau die Iteration. Das vermute ich hier. Also ne Stunde klingt schon extrem.
Aber gut. Wenn das z.B. auch die Basis-Variante des Airs mit 8 GB RAM war ;)
 
Wenn dich primär die Videofunktion interessiert würde ich an deiner Stelle gleich auf die neue "RTX 4070Ti Super" gehen.
Genügend VRAM damit es überhaupt funktioniert ist das eine, für Videos müssen aber auch eine ganze Menge Bilder berechnet werden (zur Erinnerung erst ab 25fps wird es flüssig), entsprechend brauch es auch genügend "Rohleistung" um die Menge an Bildern für ein paar Sekunden (oder gar Minuten) Video halbwegs schnell zu berechnen.
 
Im Grunde hat sich für SD nichts geändert 3060 12GB > 4070 12GB > 4090 24GB. Alles dazwischen lohnt nicht für für SD. Jetzt kommt aber die 4070 12GB Super und die 4070Ti Super mit 16GB und da sollte man sich vorher anschauen was die wirklich in SD mehr leisten. Ich tippe mal das die 4070 Super mit 12GB von der P/L besser ist.
Wenn du noch zusätzlich spielst, dann kann man auch ein Zwischenmodel 4070ti/4080 kaufen, ansonsten nicht.

Der VRAM-Verbrauch hängt auch viel von den Einstellungen ab die du nutzt. Ähnlich wie beim Spielen kannst du jede Grafikkarte toto kriegen, wenn du alle Regler auf Maximum stellst.

P.S. hast du den 12700F schon oder soll der gekauft werden
Pattesson schrieb:
  • Prozessor (CPU): nächsten Monat i7-12700F
 
Wenn du das aus beruflichen Gründen machst/brauchst, dann warte einfach noch die paar Tage ab. Dann wird es auch benchmarks geben. Sicher auch für sd.
 
  • Gefällt mir
Reaktionen: Pattesson
https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks

bitte sehr. Ich denke da kann man die meisten Infos rausholen welche GPU dafür geeignet ist. Der Test ist erst 1 Monat alt....

Also AMD ist deutlich langsamer, hat aber mit RDNA3 etwas aufgeholt dank AI.
RTX40 ist jedoch nicht so weit vor RTX30 wie man annehmen dürfte. Liegt mit an der Speicherbandbreite. Und da hat man ja bei RTX40 wiederrum eingespart:
"The newer architectures aren't necessarily performing substantially faster. The 4080 beat the 3090 Ti by 10%, while offering potentially 20% more compute. But the 3090 Ti also has more raw memory bandwidth (1008 GB/s compared to the 4080's 717 GB/s), and that's certainly a factor. "

Dazu wurde kein SDXL getestet:
"We haven't tested SDXL, yet, mostly because the memory demands and getting it running properly tend to be even higher than 768x768 image generation."

Ich weiß leider nicht wie sich das auswirkt und ob sich dadurch stark etwas an den Benchmarks ändert.

Dazu wurde doch auch eine neue Version von AMD veröffentlich, die Stable Diffusion deutlich beschleunigt?!
https://community.amd.com/t5/ai/how...tic1111-stable-diffusion-webui-on/ba-p/625585
 
  • Gefällt mir
Reaktionen: Pattesson
Guckst du nach einem Fork, gibt diverse, die auf kleinere VRAM-Größen optimiert sind.
 
@Xes ich bin gespannt wenn die 4070ti Super raus kommt und es erste Tests gibt. Finde die gerade auch immer interessanter.

@NameHere den Prozessor habe ich noch nicht gekauft. Der befindet sich aktuell in dem Rechner von meinen Vater. Er will aufstocken und überlässt den dann mir.

@danyundsahne danke für die Links, sehr interessante Artikel! Besonders interessant finde ich auch dass man bei den Tests sieht, das sich die Super und die normale nicht wirklich stark in der Performance unterscheiden. Ob man das jetzt auch schon auf die 4070ti Super übertragen kann?
 
Pattesson schrieb:
@danyundsahne danke für die Links, sehr interessante Artikel! Besonders interessant finde ich auch dass man bei den Tests sieht, das sich die Super und die normale nicht wirklich stark in der Performance unterscheiden. Ob man das jetzt auch schon auf die 4070ti Super übertragen kann?
Sicherlich kann man das auch auf die Super Karten übertragen, da wird kaum was on top kommen von der Leistung her.
Ich frage mich nur, ob die AMDs neue Implementation hier auch berücksichtigt wurde. Falls das noch nicht komplett gegriffen hat, dann wäre eine AMD Karte für das Geld ja auch keine schlechte Idee. Ich meine eine 7800XT mit 16GB gibt es ja ab 499€ (https://www.mindfactory.de/Highlights/MindStar) , eine 20GB Karte (7900XT) ab 799€. Falls VRAM hier so wichtig wäre.

Andernfall ist eine NV Karte hier wohl die schnellere Alternative. Sinnvolle 16GB Karten gibt es auf der Grünen Seite halt erst ab der 4070ti Super ab ~900€.
 
Bei einer AMD Karte würde mich etwas der Prozess abschrecken den man drum herum aufbauen muss damit es in SD deutlich besser läuft?!

Und was mit einer 4060ti? Die hat ja immerhin 16gb
 
Ich glaube, wenn es eine Daseinsberechtigung für die 16gb Variante der 4060 ti gibt, dann im productivity und im Bereich der 3D und KI Programmierung.
Für gaming sind die 16 gb aufgrund der 128bit Anbindung einfach zu lahmarschig.

Preis / Leistung ist aber in jedem Fall grottig, und du bekommst kaum Mehrwert für das Geld.
Wenn Du eine für 400-450 findest, wäre sie eine Überlegung wert.
Ansonsten wirst Du mit der 4070 wohl glücklicher.
 
Fürs gaming brauche ich es auch eher weniger. Welche 4070 meinst du? Die normale oder die Super?
 
Pattesson schrieb:
Und was mit einer 4060ti? Die hat ja immerhin 16gb
... ist aber unverschämt überteuert. Letztendlich ist sie identisch mit der regulären 8gb 4060 ti, mit dem einzigen Unterschied, das Du für die zusätzlichen 8gb nochmal 100-150€ zahlst. Nur für den Speicher.
Wenn sie wenigstens auch eine 256 bit Anbindung bekommen hätte, könnte man über das Geld reden. Aber eigentlich ist die 4060 16gb eine Frechheit, was P/L betrifft.
Ergänzung ()

Pattesson schrieb:
Fürs gaming brauche ich es auch eher weniger. Welche 4070 meinst du? Die normale oder die Super?
In Deinem Fall tatsächlich die super.
12 gb könnten mitunter etwas eng werden, wenn KI/ML/DL ein haupteinsatzgebiet werden soll.
Ansonsten dürfte die normale 4070 reichen.

Warte aber noch ein wenig, da für sie eine Preissenkung angekündigt wurde.
 
Zuletzt bearbeitet:
Die Benchmarks von tomshardware bzgl. AMD kann man ignorieren, wenn man es ernst meint. Es ist kein Geheimnis, dass die Karten unter Windows schlecht performen. Unter Linux kriegt man mit ROCm nicht selten 2- bis 5-fache Performance. Die 7900XTX liegt dann ca. auf 3090 Niveau, die 6800 ist dann vergleichbar mit der 3060. VRAM Bedarf lässt sich aber nicht 1:1 übertragen und auch sonst ist es eine steinige Fahrt. Ich würde daher prinzipiell von AMD für diesen Usecase abraten.

Vor 1 Jahr ca. stand ich vor der Entscheidung: 3060 12GB oder 3060 Ti 8GB. Habe mich für mehr Performance statt mehr VRAM entschieden. Jetzt 1 Jahr später ist die 3060 Ti 8GB für Stable Diffusion ziemlich outdated, während die 3060 12GB immernoch problemlos verwendet werden kann.

Daher finde ich, dass an erster Stelle immer VRAM stehen sollte, bevor man sich Gedanken über Performance macht. Die 12GB Karten würde ich daher komplett ignorieren. Sinnvoll finde ich folgende Upgrades, je nach Budget: 4060 Ti 16GB -> 4070 Ti Super -> 4090 24GB.

Ich finde mit der 4060 Ti 16GB kann man eigentlich nichts falsch machen. Für Gamer ist der Aufpreis von 8GB zu 16GB zu teuer, ohne dass diese Zielgruppe einen entsprechenden Mehrwert bekommt. Aber gerade für Stable Diffusion sind die 16GB VRAM hochinteressant. Wenn du irgendwann eine stärkere Karte haben möchtest, kriegst du die 4060 Ti 16GB vllt. mit einem Verlust von 100 - 200€ weg.

Den Release der 4070 Ti Super würde ich auf jeden Fall noch abwarten und dann entscheiden.
 
Xes schrieb:
Wenn dich primär die Videofunktion interessiert würde ich an deiner Stelle gleich auf die neue "RTX 4070Ti Super" gehen.
Genügend VRAM damit es überhaupt funktioniert ist das eine, für Videos müssen aber auch eine ganze Menge Bilder berechnet werden (zur Erinnerung erst ab 25fps wird es flüssig), entsprechend brauch es auch genügend "Rohleistung" um die Menge an Bildern für ein paar Sekunden (oder gar Minuten) Video halbwegs schnell zu berechnen.

Derzeit ist das in der Praxis zumindest bei Stable Video Diffusion noch kein Thema, da die Modelle auf Videos mit insgesamt (!) 15 (SVD) bzw. 24 (SVDXT) Bildern ausgelegt sind. Daher sieht man kaum SVD-Videos mit den maximal möglichen 30fps.

Im Allgemeinen hast du natürlich recht, und die nächste Generation von SVD wird da sicherlich eine ordentliche Schippe drauflegen.
 
  • Gefällt mir
Reaktionen: Xes
@Goldilox
Danke für die Aufklärung. Ich berechne damit, auch bedingt durch meine recht "schwache" 3070 aktuell nur Bilder.
 
Die harte Wahrheit ist, dass ab einer RTX 20xx der Sprung von 12 auf 16GB VRAM in Diffusion-Modellen oder sonst auch bei Matrizenmultiplikation kaum was bringt - eine 4070 TI 12GB mag viel schneller sein als eine 3060 12GB, aber in KI-Modellen kriegt man das nicht auf die Straße. Viel wichtiger ist immer der VRAM. Insofern wäre selbst ein 3060 12GB eine Verbesserung gegenüber deiner 3070 oder einer 3080 10GB oder div. 4060 8GB usw. AMD ist mit ROCM aktuell leider nicht vergleichbar und Nvidias einzige Karte, die Sinn ergibt, ist die 4090, die aktuell vom Preis zu hoch läuft wg. Ban und künstlicher VRAM-Verknappung seitens Nvidia, was jede andere Karte unter einer 4090 betrifft. Im LLM-Bereich mal außerhalb von SD gesprochen gibt es z.B. kaum Modelle, die mit 16GB laufen, aber mit 12GB nicht. Dagegen tut sich mit 24GB schon deutlich mehr auf.

Es gibt natürlich auch die Möglichkeit, gebraucht eine unbekannte 3090(TI) zu kaufen. Ich habe eine Zeitlang diesen Weg verfolgt, nur wollte ich über Kleinanzeigen vorher bei Abholung (Versand ist ein NoGo, weil gerade durch den KI-Boom viele Fake-3090er angeboten werden) testen mit Furmark und Co. und das hat nicht geklappt. Ich kann nicht zählen, bei wievielen Anfragen ich kurze Zeit später die Info bekommen habe, dass der Account des Verkäufers gehackt wurde. Die preiswerten 3090 und 3090TI unter 700 EUR sind extrem schwierig zu kaufen (schnell weg) oder sowieso dubios. Oder es werden Fantasiepreise aufgerufen, die in Preisrichtung einer neuen 7800XT/4070 TI und drüber gehen, was wirtschaftlich nicht klug ist.

Vorteil dieses Weges ist aber, sich per NVlink die Möglichkeit offen zu halten, irgendwann mit zwei Karten auf 48GB aufzurüsten. Man muss nur schauen, ob man diesen Weg wirklich gehen will, mit geeignetem Board und Gehäuse, vielleicht auch über Blowerkarten nachdenken wenn zu wenig Slots und Netzteilseitig muss das Thema 2x3090 auch betrachtet werden.

Daher führt kein Weg an der 4090 vorbei. Ich bin den Weg gegangen (allerdings für den Bereich LLMs) und wenn die 4090 außerhalb des Budgets ist, würde ich direkt in die Cloud zu gehen und dort die richtige SD-Maschine zu mieten, Thinkdiffusion, Rundiffusion oder ganz plain und einfach Google Colab (Pro).

Je nach Einsatzzweck würde ich mir auch MidJourney anschauen - ja, es gibt auch Vorteile, SD zu bevorzugen, aber MJ ist inzwischen so stark, das kaum was nachkommt. Und das Abo ist monatlich kündbar. Ich arbeite hier auch am Training von Llama und Mistral und habe trotzdem einen ChatGPT Pro Account, denn das eine schließt das andere nicht aus.

Cheers
 
Zurück
Oben