Hardwareanforderung für lokale LLM, Bilder- und Videogenerierung

[anakadai]

Hallo zusammen,

ich möchte mir demnächst neue Hardware kaufen und dabei auch mehr mit lokalen LLMs, mit Bild- und Videogenerierungen arbeiten, rumspielen. (Musik ist natürlich auch etwas, was ich ausprobieren will.)

Ich lernen zur Zeit auch Python und möchte dann im Laufe der nächsten 12 Monate auch Richtung eigene ML, Gesichtserkennung, etc. rumexperimentieren.

Längerfristig soll dieses "Hobby" beruflich eingesetzt werden. Ich arbeite im Controlling und möchte dort schauen, was man alles damit machen kann (Finanzdaten, Märkte, Unternehmensdaten, etc.). Ich brauche wohl kein allwissendes LLM, habe einiges über die Quantisierung gelesen und möchte mit den Tools lediglich arbeiten, ohne ewig zu warten (wobei mir bewusst ist, dass Videos lange dauern ). Später kann ich mir vorstellen, dass zum Beispiel ein lokales LLM fürs programmieren genutzt wird oder Daten analysiert, die halt das Unternehmen nicht verlassen können.

LLMs sind auf dem M1 etwas langsam, Bildgenerierung dauert schon etwas, aber ist vertretbar. Den Rest habe ich noch nicht ausprobiert. Ich brauche also kein Highend, aber gutes Mittelmaß wäre schon nice.

Aktuell habe ich ein M1 Pro (8/14) und denke an den Wechsel auf
MacBookPro M4Pro 14"
CPU/GPU 14/20
48GB RAM
2 TB SSD (512GB sind zu wenig )
Kostenpunkt: 4.000 €
(Mac Mini als Alternative auch im Blick; günstiger)

Die Frage ist, ob das ausreichend ist und ob der Mac da die bessere Wahl ist.
Oder wäre ein Desktop besser?

Welches Modell ist zur Zeit eine gute Wahl für die unterschiedlichen Einsatzzwecke (LLM, Bild, Video, Musik)?
Ich kenne bei Bildern z.B. Stapel Diffusion (und unterschiedliche Apps dazu) und Lux (noch nicht benutzt).


Vielen herzlichen Dank.

 

[Ayo34]

Am Ende wirst du irgendwo Abstriche machen müssen. Die meisten die ich kenne benutzen einen Desktop PC mit 4090. Mit 24GB VRAM kann man schon einiges machen und gleichzeitig ist die Karte auch einfach sauschnell. Gerade wenn man viel ausprobiert, können Wartezeiten auch schnell nervig werden. Mit Apple kenne ich mich nicht wirklich aus... hat aber wohl auch ein paar Vorteile mit der RAM-Teilung.

Lokal Bilder erstellen am besten mit Flux, deutlich stärker als Stable Diffusion. Bei LLM muss man abwägen. Große LLMs brauchen deutlich mehr VRAM. Da brauchst du dann schon eine Profikarte, die dein Budget um Längen sprengen würde.

Und viele Tools sind aktuell auf Nvidia optimiert und werden dann, wenn sie gut sind, nach und nach auf andere Systeme portiert. Wenn du neue Sachen ausprobieren möchtest und irgendwie auch alles machen möchtest, dann wäre die 4090 meine Wahl.

 

[Pyrukar]

Ich denke du solltest über etwas außerhalb von Mac nachdenken ... Nvidia Grafikkarten sind für consumer die Speerspitze bzgl. Lokale AI Modelle. Ich für meinen Teil nutze Stable Diffusion für Bilder und Text generator web ui für text. Mit Video und Musik habe ich keinerlei erfahrung, aber Grundlegend, je mehr video RAM du hast desto besser.

 

[anakadai]

Ich bin was die Hardware angeht für alles offen. Desktop hat ja durchaus den Vorteil, dass die Teile austauschbar sind, was beim Mac dann eher "endgültig" ist. Abstriche sind okay.

Was wäre denn ein gutes System für Windows, welches man später ausbauen könnte? Z.B muss ich ja nicht gleich 2 Graphikarten haben (als Beispiel). Dann kann man sich auch herantasten.

Brauche da aber eine gewisse Starthilfe, da ich von den einzelnen Komponenten keien Ahnung habe. Mein letzter PC, den ich selbst zusammengebaut habe, war 2004

Danke.

 

[Azghul0815]

Lokal Bilder erstellen am besten mit Flux,

Muss ich mir anschauen. Hab nur SD1.5 Erfahrung und div Modelle von civitai und vor kurzem mal SD 3.5 mit ComfyUi.
Wenn du Tips und Erfahrung hast, gerne per PM.

Unter einer 4070 ti s würde ich nicht einsteigen. Meine kommt ganz schön ins schwitzen, gerade bei SD 3.5.

Mac ist top bei allem, aber KI ist aktuell Nvida, mal schauen was AMD bringt Anfang 2025...

 

[oicfar]

Die Frage ist, ob das ausreichend ist und ob der Mac da die bessere Wahl ist.
Oder wäre ein Desktop besser?

Es ist immer die Frage, was will ich machen und wie viel Geld bin ich bereit auszugeben.

Ich selbst wollte mir erst teures System zusammenstellen. Habe mich umentschieden und mache mit dem weiter, was ich habe. Und bin zufrieden und komme auch sehr weit.

Welches Modell ist zur Zeit eine gute Wahl für die unterschiedlichen Einsatzzwecke (LLM, Bild, Video, Musik)?
Ich kenne bei Bildern z.B. Stapel Diffusion (und unterschiedliche Apps dazu) und Lux (noch nicht benutzt).

Einfach mit X starten und schauen, was einem passt. Außerdem ändert sich vieles in Wochentrhythmus.

Ich habe zu Hause ~15 LLM's da, die ich ausprobiere und nutze. Und in paar Wochen kommt was dazu und irgendwas wird gelöscht.

 

[anakadai]

Nun, ich sag es so. Bis 4k bin ich bereit zu gehen. Mehr ist nicht gewollt. Graphikkarte wäre ja mit 2k schon mal der Hauptposten.

Mit welchen Motherboards sollt ich denn anfangen (mit der Recherche). Damit ich mir dann peu a peu ein System zusammenstellen könnte und dann hier auch zur Diskussion freigeben?


Kannst Du mir noch sagen, welche Model du wie nutzt?
Vielleicht hilft mir das ncoh etwas, das ganze etwas besser einzuschätzen.

Ergänzung (1. November 2024)

Erweiterungsfrage: Wie groß ist der Unterschied zwischen NVIDIA RTX und RADEON?

 

[oicfar]

Kannst Du mir noch sagen, welche Model du wie nutzt?

Ich selbst nutze diverse Modelle, die Richtung Coding/DevOps gehen. Nutze es mit Ollama. Dazu habe ich noch in der IDE ein Plugin, der mit Ollama Backend über die API kommuniziert, Open WebUI läuft auf einer Proxmox VM und dann habe noch ein CLI Tool für die Bash um auch so die KI ansprechen zu können. Das alles ist eine Spielwiese und ich verdiene damit kein Geld.

Kleine Auswahl ...

• mistral:7b-instruct
• qwen2.5-coder:7b
• deepseek-coder-v2:16b
• codellama:13b
• und noch weitere 18 spezielle

Schwerpunkt ist bei mir Development. Und LLM's halt von https://huggingface.co/ oder anderen Quellen, die in Ollama eingebunden werden.

Und alles mit einer APU und 4060 Ti mit 16GB VRAM. Es kommt manchmal vor, dass ich gerne mehr VRAM hätte. Aber das hält sich in Grenzen. Ich versuche eher kleinere Modelle zu finden, die für meine Bedürfnisse gut sind.

Stable Diffusion läuft bei mir schnell. Aber Bildgenerierung wird irgendwann öde. Wie viele Bilder will man generieren? Und wofür?

Wollte erst auch ein neues System mit 4090, 192GB RAM usw. Wäre aber aus meiner Sicht zum jetzigen Zeitpunkt für mich eher Geldverschwendung als ich das Potential ausnutzen könnte.

Vielleicht hilft mir das ncoh etwas, das ganze etwas besser einzuschätzen.

Aus dem was ich oben geschrieben habe, wirst du kaum was einschätzen können. So wie ich es sehe, haben wir unterschiedlichen Schwerpunkt.

Du möchtest irgendwann damit Geld verdienen. DU hast aber noch sehr viel zu lernen. Oben hast du so viele Baustellen aufgelistet, dass ich mir sicher bin, dass du das alles nicht packen wirst. Hast du die Zeit für das alles und dann noch fürs Lernen um damit später vielleicht Geld zu verdienen?

LLMs sind auf dem M1 etwas langsam, Bildgenerierung dauert schon etwas, aber ist vertretbar. Den Rest habe ich noch nicht ausprobiert. Ich brauche also kein Highend, aber gutes Mittelmaß wäre schon nice.

Was heißt es in Zahlen bei den LLMs und Bildgenerierung?

 

[Ayo34]

Erweiterungsfrage: Wie groß ist der Unterschied zwischen NVIDIA RTX und RADEON?

Nvidia = KI
AMD = keine KI

Im Grunde ist es so einfach, wenn man unter Windows sich mit vielen neuen "KI-Dingen" beschäftigen möchte. AMD wird häufig schlechter oder viel später unterstützt, manchmal auch gar nicht und dann ist AMD meistens auch deutlich langsamer. Alle Anleitungen im Inet sind zudem auf Nvidia zugeschnitten. Bei AMD braucht meine eine hohe Toleranzschwelle.

 

[Rickmer]

Erweiterungsfrage: Wie groß ist der Unterschied zwischen NVIDIA RTX und RADEON?

NVidia bzw. CUDA ist für nahezu alle AI Entwicklungen die erste Plattform.

AMD hat die Software-Kompatibilität verschlafen und daher ist man mit einer AMD GPU - wie auch einem Mac - darauf angewiesen, dass sich jemand die Mühe macht, die Kompatibilität zu programmieren.

 

[anakadai]

Ich selbst nutze diverse Modelle, die Richtung Coding/DevOps gehen. Nutze es mit Ollama. Dazu habe ich noch in der IDE ein Plugin, der mit Ollama Backend über die API kommuniziert, Open WebUI läuft auf einer Proxmox VM und dann habe noch ein CLI Tool für die Bash um auch so die KI ansprechen zu können. Das alles ist eine Spielwiese und ich verdiene damit kein Geld.

Kleine Auswahl ...

• mistral:7b-instruct
• qwen2.5-coder:7b
• deepseek-coder-v2:16b
• codellama:13b
• und noch weitere 18 spezielle

Schwerpunkt ist bei mir Development. Und LLM's halt von https://huggingface.co/ oder anderen Quellen, die in Ollama eingebunden werden.

Und alles mit einer APU und 4060 Ti mit 16GB VRAM. Es kommt manchmal vor, dass ich gerne mehr VRAM hätte. Aber das hält sich in Grenzen. Ich versuche eher kleinere Modelle zu finden, die für meine Bedürfnisse gut sind.
[...[

Vielen Dank.
Geld verdienen: Da muss ich deutlicher werden. Keine Selbstständigkeit, etc. Es geht nur darum, die Materie zu verstehen, die Grundlagen zu verstehen, wie man LLMs "erstellt". Beruflich bin ich Controller. Das bleibe ich auch. Aber wenn ich mal ersetz werden sollte, will ich vorbereitet sein

LLMS im Coding-Bereich sind auch ein Wunsch von mir. Selber programmieren werde ich zum Beispiel auch nie wirklich selber (also große Anwendungen). Dafür fehlt in der Tat die Zeit. Aber mit LLMs kann man da schon sehr viel erreichen. ChatGPT und Python funktioniert für einen Laien wie mich erstaunlich gut.

Bilder kann ich gerade nicht sagen, weil das schon länger her ist und ich gerade keinen Speicherplatz habe, um das zu installieren. Sorry. Aber das ging schon in die Minuten und dabei war die Auflösung nicht gerade riesig.


Aber Du hast recht. Ich sollte mit weniger arbeiten. Selbst Bilder oder Videos kann man mit kleinerer Auflösungen arbeiten und wenn das Ergebnis ausreicht, kann er dann gerne die Nacht für die große Auflösung rödeln.

Also MBP/Mac Mini m4Pro wäre eine Idee.
Aber ich schau mir gern noch die Hardware für Windows (Linux) an.

Ich denke, RAM und CO. bekomme ich hin, aber beim Motherboard brauch ich Hilfe.
Welche Motherboards sind denn geeignet - auch, um später ggf. erweitert zu werden. Der Vorteil am Desktop ist ja, dass man da nicht gleich alles kaufen muss.

Vielen Dank.

 

[Ayo34]

Naja, da eine Workstation mit Threadripper für den Preis nicht drin ist, kaufst du ein passendes Board für Intel oder AMD, je nach CPU. Überlege was du anschließen möchtest und dann kannst du dir ein passendes kaufen. Denke jedes Standard-Mainboard wird reichen...

 

[konkretor]

Zuhause hast unterumständen diverse Geräte. Da kannst mal einen Blick da drauf werfen. Dann kannst den Mac einbinden sowie den Rechner den du dir kaufen willst

https://github.com/exo-explore/exo


Auf der AM4 Plattform gibt es die meisten Kerne fürs kleinste Geld 16 Kerne für 300€

https://geizhals.de/amd-ryzen-9-5950x-100-100000059wof-a2392527.html?hloc=de


Auf Ebay gibt's schon gebrauchte Epyc Bundles nur mal ein Beispiel
420€
AMD EPYC™ Supermicro H11SSL-i + 7551P 32cores 64threads 2.0 GHz motherboard+ CPU

https://www.ebay.de/itm/17532339951...486&ssuid=&var=&widget_ver=artemis&media=COPY

 

[Ayo34]

Auf der AM4 Plattform gibt es die meisten Kerne fürs kleinste Geld 16 Kerne für 300€
https://geizhals.de/amd-ryzen-9-5950x-100-100000059wof-a2392527.html?hloc=de

Für 350€ gibt es auch schon einen 7900x. Ist effizienter und man hat die aktuelle AM5 Plattform. Neukauf würde ich kein AM4 System bei einem Budget von 4000€ mehr kaufen.

 

[anakadai]

Okay. Also Orientierung AM5.

Gibt es besonders gute Marken für ein MB? Muss man was beachten, wenn man später vllt 2 Graphikakrten haben will (falls das überhaupt sinn machen wird).

 

[oicfar]

@anakadai Wenn du später mal 2+ GraKa's haben willst, dann brauchst du ein System, welches mit vielen PCIe Lanes umgehen kann. Denn du hast ja noch NVMe usw. D.h. in dem Fall ein Threadripper.

Ansonsten mach ein Kaufberatungsthread auf, wo du genau auflistest, was du machen möchstest und wie viel Geld du ausgeben willst.

https://www.computerbase.de/forum/forums/desktop-computer-kaufberatung.65/

Und da wird dir geholfen. Hier macht es nicht viel sinn einzeln nach den Komponenten zu fragen.

 

[anakadai]

hehe danke. Komme aus dem Mac-Forum, dann wurde ich hierher geschickt. Ich ziehe weiter

 

[Fame93]

Servus! Wir sind aktuell im Bereich der Forschung auch mit lokalen LLMs und Ollama unterwegs.

Ein paar Performance-Kennzahlen haben wir hier in diesem Paper veröffentlicht:
https://arxiv.org/abs/2407.13013

Im Grunde würde ich sagen, das für den Heimgebrauch jede CUDA-fähige Grafikkarte zum Experementieren und Lernen vollkommen ausreichend ist. Ansonsten kann man sich ja gut GPU-Ressourcen bei dem Cloud-Anbieter seiner Wahl anmieten ...

Im Austausch mit den Kollegen habe ich aber auch gehört, dass die Modelle auf MACs sehr performant funktionieren ... ggf. ist man da günstiger performanter unterwegs.

 

[anakadai]

Danke für den Link.Schaue ich mir heute Abend mal an.

Und ja, ich muss zugeben, dass LLM auf dem M1 "gut" laufen. Klar, bin ich immer noch beim überlegen, auf einen M3Max umzusteigen (mehr RAM, mehr SSD, mehr CPU/GPU) um da bessere, schneller Ergebnisse zu erreichen, aber Momenten warte ich noch ab.

Video-Erstellung bin ich raus. Das wird, wenn, über Anbieter gehen.
Bilderstellung habe ich auch erst einmal geschoben.

 

[Teckler]

@anakadai bist schon etwas weiter gekommen ?
Wohin geht die Reise ? Mac oder Linux ?
Bin auch an den ersten Vorüberlegungen zu LLM auf Linux.