PhoenixEX schrieb:
ich experimentiere seit neuestem mit ComfyUI war das nicht beruflich bedingt sondern einfach nur aus Spaß
Dann bleibe bei nVidia. Ich habs mit AMD probiert, aber irgendwann aufgegeben.
Mittlerweile könnte es zwar besser laufen, da ROCm auf den Radeons verfügbar gemacht wurde, das musste ich mir auch erstmal zurechtbasteln damals.
Aber ab 16GB kann man da mit StableDiffusion gut herumexperimentieren. Mehr ist besser. Meine 4060Ti 16GB rechnet ein Bild in FullHD mit SDXL mit 25 Steps in ca. 10 Sekunden.
LLMs Trainieren kann ich mit meinen beiden 4060Tis ebenfalls, sowie größere Modelle ausführen, aber wirklich rund läuft das nicht.
Ist halt ein Hobby
In Deinem Fall würde ich dir Raten, eine 4070 Ti Super 16GB zu holen und einen 5800X3D.
12GB sind für Stable Diffusion/LocalLLMs einfach nicht genug, auch wenn man nur damit "rumspielt"
Bzw. es reicht am Anfang, aber man will schnell mehr machen, und ist dann direkt im VRAM Limit.
In 16GB bekommt man z.B. 13b Parameter Modelle rein, und kann diese auch quantisieren oder "nachtrainieren", in 12GB wird es da schon seehr knapp.