PC für LLM, ML, Bild-/Musik-/Videogenerierung, Datenanalyse

[anakadai]

Hallo zusammen,

über einen kleinen Umweg bin ich nun hier gelandet.

Die Fragen beantworte ich nach der Einleitung, welche erst einmal mein Ziel und meinen Ausgang beschreiben soll. Ich hoffe, dass das ganze so zielführender ist.

Wie der Threadtitel schon besagt, suche ich einen brauchbaren PC für
- Datenanalyse,
-LLM-Nutzung,
- später für ML / eigene LLM und
für die Erstellung von Bilder, Videos oder Musik über KI.

Die LLM-Nutzung ist dann von der Größe und von der Hardware abhängig. Mindestens jedoch würde ich LLMs nutzen wollen, die mir beim Programmieren oder bestimmter Contenterstellung helfen kann. Ich kann leider nicht abschätzen, was ich an Hardware brauchen würde, um eine große LLM zu betreiben. Gibt es da eine Möglichkeit, dass zu berechnen?

Ich lerne zur Zeit Python und möchte später neben ML auch Bilderkennung anwenden. Mir ist bewusst, dass der Weg noch etwas lang ist, aber irgendwo muss man ja anfangen.

Zur Zeit habe ich ein MacBook Pro M1Pro (8/14 mit 16GB RAM) und dachte zuerst an den Wechsel auf den neuen M4Pro mit 14/20 (CPU/GPU) und 48GB RAM. Mit 2TB SSD kostet das ganze schon mal ca. 4k. Die MacMini-Version könnte günstiger erworben werden und dazu noch 64GB RAM haben. Jetzt habe ich auch gelesen, dass der M4Pro eine Leistung hat, die den M2Ultra entsprich. Wieso schreibe ich es? Den M2Ultra könnte man für 4,5k mit 128GB RAM refurbished bekommen. (Da ich aus der Mac Welt komme, waren das meine ersten Gedanken.)

Wieso nun doch auch eine Anfrage Richtung Desktop-PC. Diese kann man mit der Zeit anpassen, erweitern, Upgrade. Das entfällt beim Mac. Da kauft man einmal. Deshalb sollte ich mich davon mal lösen.

Dann kam ich über den Thread von @Paganini1990 (Link: https://www.computerbase.de/forum/threads/high-end-setup-budget-7500-9500eur.2215237/) auf die Idee, dass der Desktop-PC durchaus als VM-Desktop aufgebaut werden könnte. Das bringt durchausVorteile, da ich den Rechner selbst nutzen würde und damit auch mal durchaus mal ein Game wagen würde - wenn ich schon eine potente GPU haben werde

Vielen Dank schon mal für das lesen bisher.
Danke für jegliche Entscheidungshilfe. Erfahrungswerte.

 

[madmax2010]

um eine große LLM zu betreiben

Das wird mit Enkundenhardware wie der RTX4090 grenzertig schlecht.
Die A100 gibt esmit 40-80GB VRAM
64 GB RAM sind dein Minimum, besser 128GB
ich finde fuer so etwas Hardware zu kaufen ist bei den aktuellen Preisen irgendwie nichts was sich amortisiert.
https://www.runpod.io/pricing
um ein Modell mit 70-100 Milliarden Parametern laufen zu lassen kostet die Hardware ca 50 Cent/Stunde, was bei einem 8h Arbeitstag dann 4 Euro/Tag macht. Nach 3-4 Jahren aber bis da hin wirst du mit einer RTX4090 vermutlich entgueltig nicht mehr zufrieden sein
Bei dem was du vor hast wirst du ohnehin lernen müssen solche Dienste zu bedienen.

ibt es da eine Möglichkeit, dass zu berechnen?

Sogar viele, so findest du sie, einfach mal ein bisschen lesen und durchklicken: https://duckduckgo.com/?q=llm+vram+calculator&t=newext&atb=v430-1&ia=web
Ich mag den von HF: https://huggingface.co/spaces/NyxKrage/LLM-Model-VRAM-Calculator

 

[tomgit]

Wenn eine 5090 rein soll, dann kann der Vorschlag ja noch etwas warten. Wenn du aus der macOS-Welt kommst, kann ich dir auch Linux nahelegen. Die meisten ML-Notebooks sind sowieso eher Plattform-agnostisch, und Terminal und Befehle solltest auch von macOS kennen.

Ob sich der Umstieg aber wirklich lohnt, weiß ich nicht. Ich stand letzt selbst vor dem Kuriosum, dass ich mit einem MacBook Air (16/512) mein Python-Skript durchführen konnte, während PyTorch bei meiner 3080Ti dies irgendwann abgebrochen hat. Was war das Problem? VRAM! Bei macOS regelte Unified Memory und Swap die Sache.

Ich würd daher tatsächlich empfehlen, einfach mal das MacBook mit M4 - wahrscheinlich eher Max wegen RAM - zu bestellen und dann zu schauen, ob es für deine Einsatzzwecke ausreichend ist. Wirklich große Modelle wirst du so oder so nicht auf Konsumentenhardware laufen lassen wollen und Enterprise-Hardware wirst du nicht kaufen wollen.
Eine H200 kostet ca. 25k€. Plus MwSt. Und das ist der Edu-Preis.

 

[Azghul0815]

Wie der Threadtitel schon besagt, suche ich einen brauchbaren PC für
- Datenanalyse,
-LLM-Nutzung,
- später für ML / eigene LLM und
für die Erstellung von Bilder, Videos oder Musik über KI.

Ist halt sie Frage, wie gross und wie schnell...
Im Homelab Bereich kann man sich sowas hinstellen mit ner 5090, aber nur wenn zocken auch prio hat.
Ansonsten ist der Ansatz von @madmax2010 Praktikabel.

Die HW is halt scheiß teuer und wenn man keine vertraulichen Daten verarbeiten will ist ein CHATGPT oder ähnliches Abo wohl immernoch günstiger und Leistungsstärker

 

[Rickmer]

Insbesondere für LLMs würde ich noch warten bis die 5090 raus ist sofern es nicht eilig ist.

Egal ob die jetzt 28GB oder 32GB VRAM bekommt wird das schon helfen - aber insbesondere ist die Performance bei LLMs stark von der Speicherbandbreite abhängig, und die wird von der 4090 auf die 5090 dank Wechsel auf GDDR7 stark steigen. Laut diversen Leaks ist mit +70% Speicherbandbreite zu rechnen.

Für LLMs ist das praktisch identisch zu +70% Geschwindigkeit...

Wenn du heute schon anfangen willst könntest du darüber nachdenken temporär eine gebrauchte 3090 zu kaufen. Die hat denselben VRAM und fast dieselbe Speicherbandbreite wie eine 4090. In Cyberpunk ist die natürlich signifikant langsamer.


Ansonsten - CPU 8+ Kerne, für Gaming Mitnutzung gerne den kommenden 9800X3D. Du willst mindestens 64GB RAM, besser 96GB oder 128GB.

Jetzt habe ich auch gelesen, dass der M4Pro eine Leistung hat, die den M2Ultra entsprich. Wieso schreibe ich es? Den M2Ultra könnte man für 4,5k mit 128GB RAM refurbished bekommen. (Da ich aus der Mac Welt komme, waren das meine ersten Gedanken.)

Ich lasse mich gerne von Benchmarks belehren, aber der M2 Ultra hat mehr maximalen RAM und 1/3 höhere Speicherbandbreite als ein M4 Max. Ich würde behaupten, dass der für LLMs signifikant besser performt als ein M4 Pro.

 

[anakadai]

Hi, danke schon mal für die Antworten. Also auf jeden Fall nur Konsumentenhardware.
LLM bin ich auch bereit kompress einzugehen und die Modelle kleiner zu nutzen. Coding z.B. sollte auch so klappen. Wenn man am Ende das Ergebnis auch etwas verzögert mit einem MBP M4Pro (48GB RAM)/ MacMini M4Pro (64GB RAM) hinbekommt, dann okay. Selbst der M2Ultra (128GB RAM) wäre ja dann okay. Wenn ich das im aktuellem Stand richtig verstehe.

Anders gefragt. RTX4090: WAs für ein LLM kann man damit in vertretbarer Geschwindigkeit betrieben?
Geschwindigkeit ist dabei die Frage. Kleinere Bilder kann man ja erstmal erstellen und wenn das Ergebnis passt, auf die gewünschte Auflösung wechseln. Das selbe beim Video.

Ich schaue mir schon mal auf jeden Fall gleich mal die zwei Links an.
Jeder Input hilft mir. Danke schon mal dafür.

 

[madmax2010]

Alles oberhalb von 20 Mrd Parametern wird unperformant oder lobotomiert. Vor 2 Jahren war das noch sehr groß, inzwischen ist das vergleichsweise winzig (um bei deinen Anforderungen zu bleiben)

Ich finde ein kleines LLAMA 3.2 / Qwen 2.5 schon sehr brauchbar. Die laufen aber auch gut auf einem M1

 

[tomgit]

Man muss aber auch dazu sagen, dass man inzwischen mit 7 Milliarden Parametern ziemlich gute Ergebnisse bekommt und man entsprechend nicht mehr so sehr auf sehr sehr große LLMs angewiesen ist.

Selbst ein Llama 3.2 oder ein Phi 3.5 produziert inzwischen sehr gute Ergebnisse und nur noch eher selten wirklich Unverständliches.

 

[ghecko]

Vllt ein Fall für Strix Halo?

 

[anakadai]

Alles oberhalb von 20 Mrd Parametern wird unperformant oder lobotomiert. Vor 2 Jahren war das noch sehr groß, inzwischen ist das vergleichsweise winzig (um bei deinen Anforderungen zu bleiben)

Ich finde ein kleines LLAMA 3.2 / Qwen 2.5 schon sehr brauchbar. Die laufen aber auch gut auf einem M1

Man muss aber auch dazu sagen, dass man inzwischen mit 7 Milliarden Parametern ziemlich gute Ergebnisse bekommt und man entsprechend nicht mehr so sehr auf sehr sehr große LLMs angewiesen ist.

Selbst ein Llama 3.2 oder ein Phi 3.5 produziert inzwischen sehr gute Ergebnisse und nur noch eher selten wirklich Unverständliches.

Welches Modell genauer? Dann teste ich das mal mit dem M1Pro. Kann man dann sicherlich gut abschätzen.

Bildgenerierung war damals jedoch sehr langsam. Video hab ich noch nicht ausprobiert.

Frage zu dem Link.
wenn da folgendes steht: TheBloke/CodeLlama-34B-GGUF; 19.48 VRAM verstehe ich so, dass das Model laufen könnte? Dann bräuchte ich noch eher die Info, welches Modell für welchen Einsatzzweck gut geeignet ist. Da bin ich auch noch nicht so weit, dass ich das direkt jetzt sagen könnte. Aber was ich bereits gelesen habe, ist das man mit Quantifizierung die Modelle verkleinert und nutzbarer macht.

 

[tomgit]

Vllt ein Fall für Strix Halo?

Das würde mich tatsächlich auch interessieren - auch wie Strix Point und Lunar Lake hierin schon performen und ob diese das VRAM-Problem ebenfalls mitigiert bekommen.

Welches Modell genauer? Dann teste ich das mal mit dem M1Pro. Kann man dann sicherlich gut abschätzen.

Das ist bei Llama 3.2 und Phi 3.5 relativ egal, alle Modelle innerhalb der jeweiligen Familien sind recht sparsam. Grundgedanke von Phi 3 war damals auch, dass das Modell auf einem Smartphone laufen können sollte - Target war afaik sogar das iPhone 15 non-Pro.

Bildgenerierung war damals jedoch sehr langsam

Bei Bildgenerierung ist das Problem auch eher der Mangel an Cores bzw. Leistung und Frameworks. Auch wenn PyTorch auf Apples GPUs laufen, ist Cuda einfach das bessere Framework für. Die meiste Forschung geschieht aber auch auf Nvidias Geräten. Wie relevant gute Frameworks sind, hat Toms Hardware gezeigt: https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks
Sind zwar älter, aber ein Trend ist erkennbar. Darum kann ich auch immer nur betonen, dass AMD hier deutlich nachziehen muss - Software ist eine große Schwäche.

Dann bräuchte ich noch eher die Info, welches Modell für welchen Einsatzzweck gut geeignet ist.

Das steht meist in den Model Cards, aber so allgemein ist das auch nicht ausdrückbar. Vieles kann auch nachgebessert werden - LoRAs, Finetuning, RAGs, etc.
Das sind aber Dinge, die man sich mit der Zeit auch erst anarbeiten muss.

 

[anakadai]

TomsHardware:
Wenn ich das richtige lese, dann brauche ich nicht mal eine richtige HighEnd-Graphikkarte. Das könnte dann später nur beim Video wichtig werden. Gibt es denn ältere Graphikarten, die z.B. im DualModus gut performen und auch für den privaten Bereich ausreichen?

Wie gesagt. Ich bin da für Optionen offen, die vllt nicht gerade logisch klingen, aber am Ende muss das Ding ja nur seinen zweck erfüllen. Möchte jedoch betonen, dass ich nur neue Hardware kaufe und nutze. Vertraue der gebrauchten Hardware nicht

 

[madmax2010]

TomsHardware:
Wenn ich das richtige lese, dann brauche ich nicht mal eine richtige HighEnd-Graphikkarte

Das bezieht sich nur auf Stable Diffusion.

Bei LLMs bekommst du mit Apple Silicon die beste Performance pro Geld.
Das Ding ist halt: Hast du nicht genug VRAM, kannst du etwas halt einfach nicht machen. Das ist dann nicht langsamer als es dir lieb wäre, es geht dann nicht. Und wenn du das Modell nicht partitionieren kannst, bringen dir auch mehrere GPUs nichts.
LLM Benchmarks:
https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
Du bekommst mit einem M2 Ultra fast die Performance von einer (oder 8) RTX4090
Selbst dein M1 im richtigen Ausbau schafft "dickere" LLMs als eine RTX4090, wobei auch etwas langsamer. Wobei ~10 Token/s bei einem 70B Parameter Modell echt OK sind.

DualModus

nur mit NVlink brauchbar.

Ich kann wirklich weiter nur dazu raten bei einem beliebigen Hoster GPUs stundenweise zu mieten um die Materie erst mal weit genug zu lernen, dass du weißt was du brauchst und was nicht.

 

[tomgit]

Nein, Highend muss nicht sein, es kann aber helfen. Insbesondere was Bild- und Videogenerierung anbelangt ist es schon deutlich schneller.
Wenn ich ein Bild auf meinem MacBook Pro mit M1 Max und 64GB RAM erstellen lasse, dauert das schon deutlich länger als auf meinem Desktop mit einer RTX 3080Ti. Und ich rede hier nicht von ein paar Sekunden, sondern von Minuten.
Schnellere Hardware ermöglicht es dir, schneller an Ergebnisse zu kommen, was wiederum bedeutet, dass du schneller dein Prompt selbst anpassen kannst.

Und dann kommt eben noch die ganze Sache mit den LLMs hinzu. Eine wirkliche eierlegende Wollmilchsau findest du aktuell nicht, sofern du nicht wirklich, wirklich tief in die Taschen greifen magst. Alles andere ist mit Kompromissen verbunden. Wenn du damit zurecht kommst, dass die Generierung von Bildern gerne mal ein paar Minuten hinnimmt, insbesondere bei größeren Batches, ist du beim Mac gut aufgehoben.
Ist dir die Performance von LLMs weniger wichtig und du willst schneller Bilder und Videos generieren und vielleicht auch darüber hinaus noch andere Dinge ausprobieren (ML kann halt vieles sein), bist du bei einem PC mit Nvidia-GPU besser aufgehoben.

Und falls du auch etwas zocken magst - naja, dann ist die Empfehlung relativ eindeutig.

 

[anakadai]

[...]
https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
[...]

Danke für den Link.

Nein, Highend muss nicht sein, es kann aber helfen. Insbesondere was Bild- und Videogenerierung anbelangt ist es schon deutlich schneller.
Wenn ich ein Bild auf meinem MacBook Pro mit M1 Max und 64GB RAM erstellen lasse, dauert das schon deutlich länger als auf meinem Desktop mit einer RTX 3080Ti. Und ich rede hier nicht von ein paar Sekunden, sondern von Minuten.
Schnellere Hardware ermöglicht es dir, schneller an Ergebnisse zu kommen, was wiederum bedeutet, dass du schneller dein Prompt selbst anpassen kannst.

Und dann kommt eben noch die ganze Sache mit den LLMs hinzu. Eine wirkliche eierlegende Wollmilchsau findest du aktuell nicht, sofern du nicht wirklich, wirklich tief in die Taschen greifen magst. Alles andere ist mit Kompromissen verbunden. Wenn du damit zurecht kommst, dass die Generierung von Bildern gerne mal ein paar Minuten hinnimmt, insbesondere bei größeren Batches, ist du beim Mac gut aufgehoben.
Ist dir die Performance von LLMs weniger wichtig und du willst schneller Bilder und Videos generieren und vielleicht auch darüber hinaus noch andere Dinge ausprobieren (ML kann halt vieles sein), bist du bei einem PC mit Nvidia-GPU besser aufgehoben.

Und falls du auch etwas zocken magst - naja, dann ist die Empfehlung relativ eindeutig.

Danke. Ich sag es so. Das fertige Bild, wenn es passt und in eine höhere Auflösung gebracht werden soll, darf dann auch länger dauern. Das Ergebnis kennt man ja bereits aus der "Vorschau".

Video und Musik ist etwas anderes. Da braucht man sicherlich mehr power. Ich werde Stable Diffusion und einige Tools mal auf dem M1Pro ausprobieren und mal die Zeit messen. Aber für Video und Musik hab ich keine Ahnung. Könnt ihr mir da lokale Tools empfehlen, damit ich es testen kann? Welche LLM sollte ich ausprobieren?

Ich habe einen Thread zu dieser Frage auch im LLM-Forum aufgemacht, damit ich die LLMs und Tools einschätzen kann. Bitte dort gerne antworten. Vielen Dank.

Link: https://www.computerbase.de/forum/t...ik-videogenerierung-u-a-lokal-nutzen.2216184/

 

[anakadai]

@tomgit
da du beide Systeme hast. Ich heb jetzt einiges gelesen, geprüft und denke, dass ich letztendlich mich auf LLM fokussieren möchte. Die paar Bilder werde ich aussitzen

Bin nun bei dem System angekommen. Refurbed. MacBook Pro 14".
M3Max 16/40 (CPU/GPU), 64GB RAM, 4TB SSD
4.200 EUR

Ursprünglich dachte ich an das folgende MacBook Pro 14".
M4Pro 14/20 (CPU/GPU), 48GB RAM, 2 TB SSD
4.000 EUR

Ist im Budget, sollte für LLM sehr gut funktionieren. Genug Speicherplatz für Modelle und auch für SD und Co. durchaus brauchbar. P/L stimmt.

Im Prinzip sehe ich nichts, was dagegen spricht.
Da dein System ähnlich ist (M1Max), würde mich da Deine Einschätzung interessieren.

Danke.

 

[tomgit]

Ich würde evtl. noch auf Reviews warten, am Freitag sind die M4 Pros und Max ja verfügbar. Dann siehst du auch, ob du eher zum M4 oder M3 greifen magst.
Aus dem Bauch heraus würde ich aber den M3 Max nehmen, weil die GPU wahrscheinlich performanter sein wird als beim M4 Pro und du darauf die meisten Workloads laufen haben wirst

 

[anakadai]

Denke ich eben auch. Nicht umsonst hat Apple auf den Verglich zum M3 verzichtet.
Sollte das wirklich Fehlkauf gewesen sein, kann ich das immer noch zurückgeben/umtauschen...

 

[anakadai]

Es gibt sogar ein Refurbed MacBookPro M3Max mit 128GB RAM und dafür nur 2 TB SSD. (16/40).
Preis 4.356 EUR.