Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Kenne mich mit Mac nicht aus, aber da fehlt dann eher die reine Leistung. Shared Memory ist auf der einen Seite cool und funktioniert für LLM, aber nicht da wo hohe Hardwareleistung nötig ist. Die 4090 hat ja Beides.
Zusätzlich das Problem, dass viele "KI-Sachen" am besten und als erstes mit Nvidia laufen. Kann schon dauern bis es einigermaßen auch auf AMD und Apple läuft und dann muss man häufig noch selbst basteln. Anleitungen sind meistens auch immer für Nvidia Karten.
Bei Aufrüsten habe ich so ein bisschen bedenken, ob das einer Generalüberholung eines "faulen Zahns" gleich kommt. Bevor ich da jede Komponente nach und nach einzeln verticken muss, stell ich den Hobel lieber in Summe ein und hab keine Sorgen mehr.
Anbei mal die vollen Specs der aktuellen Kiste:
CPU: AMD Ryzen 9 3900X 12x 3.80GHz So.AM4 BOX CPU Kühler: Noctua NH-D15 Tower Kühler Arbeitsspeicher: 32GB (2x 16384MB) G.Skill Trident Z Neo DDR4-3600 DIMM CL16-16-16-36 Dual Kit Grafikkarte: 8GB ZOTAC GeForce RTX 2080 SUPER AMP EXTREME Festplatten: 1000GB Samsung 970 Evo Plus M.2 + 2000GB Samsung 990 Pro M.2 Mainboard: Asus TUF GAMING X570-PLUS X570 Gehäuse: Fractal Design Meshify S2 Midi Tower ohne Netzteil schwarz Netzteil: 650 Watt be quiet! STRAIGHT POWER 11 Platinum 80+
Der 5950x ist schön günstig. (€dit: Die Zeit mit 260€ ist wohl erst mal vorbei)
Der hat mal das Dreifache gekostet. DDR4 befindet sich nahe dem Talpreis. Und bei AMDs AM4 ist das Thema Vollbestückung nicht so wild, wie bei AMD AM5 mit DDR5.
Meine og. RTX 4070 Ti Super wollte ich als (teuren) Zwischenschritt verstanden haben wissen.
Vielleicht wäre ja eine gebrauchte RTX 3090 24GB was. Kostet leicht weniger.
Das Netzteil sollte beide Karten schaffen.
Falls es zu AM4 kommt, bitte vor dem Ausbau der CPU das BIOS-Update machen.
Sehe es mehr als letzte "Nutzungsdauerverlängerung", nach zwei drei Jahren kann die Kiste dann endgültig in Rente und hast genügend Geld auf der hohen Kante fürs nächste System.
Ergänzung ()
@moenchkoerper
Und so schlecht ist das System nach der Aufrüstung nicht vor allem mit den 128GB RAM und der 4080S wird das ordentlich laufen. Quelle
Gegenüber dem 3900X sind es immerhin 44% im MC Quelle
Wenn du ordentlich mit Flux und größeren Workflows mit mehreren geladenen Modellen und vor allem großen 70B LLM-Modellen arbeiten willst brauchst du viel Ram. Würde nicht unter 64GB gehen. Wenn du nicht gleich 128GB holen willst gibt es auch die Option auf 2x48GB.
Der eine der behauptet eine 4090 kratzt LLM-technisch nur an der Oberfläche und im Anschluss einen Macbook Mini empfiehlt hat halt mal gar keine Ahnung von dem Thema. Ist an sich nicht schlimm aber wenn man dann haltlose Behauptungen aufstellt die den Fragenden zum Fehlkauf verleiten könnten ist es das.
Du kannst auf 24GB vRam 34B Modelle quantisiert mit recht hoher precision nutzen (Q4 und womöglich auch höher). Oder sogar große 70B Modelle als gguf quant teilweise in den Ram offloaden (zB. mit Kobold.ccp), wenn du 64GB+ Ram hast. Besser 96GB.
Ein Macbook Mini wäre um ein vielfaches langsamer. Besonders wenn es um die Promot-Eval-Time geht. Also die Zeit die benötigt wird bevor überhaupt der Output kommt. Außerdem würde ich aktuell noch nichts ohne Cuda-Support nutzen außer man ist ein krasser Crack und schreibt sich seine Compatibility Codes selber.
Was du machen könntest ist dir jetzt eine gebrauchte 3090 für ca. 600-800€ zu kaufen und wenn die 5090 rauskommt evtl. auf diese oder eine, hoffentlich im Preis gefallene, 4090 aufzurüsten.
Edit:
Und ein AM4 Setup würde ich nicht mehr empfehlen. Die nächste Generation erscheint auch noch auf AM5.
Der eine der behauptet eine 4090 kratzt LLM-technisch nur an der Oberfläche und im Anschluss einen Macbook Mini empfiehlt hat halt mal gar keine Ahnung von dem Thema.
Hier zum Beispiel hat sich ein User die Mühe gemacht und einen PC mit einer RTX 4090 mit mehreren Macbooks verglichen.
Wenn man dann noch €-Kosten je it/s mitevaluiert ist das Ergebnis noch deutlicher. Der Macbook ist kompakter und weniger Stromhungrig aber bis zu 2-5x langsamer.
