Kaufberatung | Apple M4Pro (Desktop/Laptop) oder AMD/RTX für LLM, ML, KI, etc.

anakadai

Cadet 3rd Year
Registriert
Okt. 2024
Beiträge
35
Hallo zusammen,

mir wurde empfohlen, mich hier anzumelden und meine Frage zu stellen. Ich habe in den letzten Jahrzehnten immer nur Laptops benutzt, den letzten Rechner habe ich vor 20 Jahren zusammengestellt. Ich gebe es zu: Ich habe keine Ahnung von Hardware!

Ich habe zur Zeit ein MacBookPro M1Pro (8/14) mit 512GB SSD und 16GB RAM.
Soweit in Ordnung, aber durchaus langsam im Bereich von Bildererstellung mit KI-Tools (Stable Diffusion, Draw Things, etc.). Video/Musik habe ich mich noch nicht ausprobiert. Aber das steht noch an. Auch möchte ich mich mit einigen LLMs beschäftigen. Die gehen auf dem M1Pro sehr langsam.

Auch lerne ich gerade Python und möchte mich dann in den kommenden Monaten mit ML und ähnlichen Beschäftigen.
Das ganze sehe ich als "Hobby". Ich will da lediglich meine Skills in Datenanalyse, KI, ML, LLM erweitern und das ganze dann später beruflich in meinen aktuellen Job (Controlling) einbinden. Das Hobby soll also erst später (in einem Jahr) auch beruflich genutzt werden. Ich brauche also keine Highend Maschine.

Nun wurden die Tage die M4-Prozesooren vorgestellt. Sehr interessant und die Preise sind okay. Vor allem, wenn man sein altes MBP noch verkauft, passt das ganze schon.

Jedoch wurde mir schon vor vor paar Tagen auch ein Windows-Desktop empfohlen. Motherboard, gebrauchte RTX 3090 (2x), viel Arbeitsspeicher - aber auch da sind schon einige EUROS weg ;)

Meine Frage, mein Anliegen: Wie kann ich einschätzen, was ich an Hardware brauchen werde. Bilder-, Musik und Videogenerierung sollen als reiner Spaßfaktor dienen mit einem gewissen Einsatz für Präsentationen, etc.

Was ich später aber auf jeden Fall beruflich nutzen will, sind LLM, oder eigene Modelle. Soweit ich es richtig verstanden habe, brauchen diese RAM Speicher und starke GPUs.

Beispielkonfiguration, die ich als Laie als okay einschätzen würde:
MacBookPro M4Pro 14"
CPU/GPU 14/20
48GB RAM
2 TB SSD (512GB sind zu wenig :D)
Kostenpunkt: 4.000 €

Reicht das System?
Bekomme ich in der Windowswelt für den Preis etwas besseres?
Welche Konfiguration sollte ich mindestens haben?

Ich kann leider die Power des M1 / M4 nicht einordnen und ob es ausreicht

Vielen Dank.
 
Zumindest mir ist bisher nix bekannt bzgl. Performance von LLMs auf einem M4 da noch nicht verfuegbar - ob andere Quellen da was haben, keine Ahnung

Ansonsten, mit LlamaCpp kann man sich an diesem Benchmark orientieren:
https://github.com/ggerganov/llama.cpp/discussions/4167
Ist halt nur ein kleines aelteres Lllama Modell, was niemand mehr benutzen wuerde - aber gibt zumindest eine Orientierung. Und ja RAM ist quasi alles fuer groessere Modelle, kann ja alles von der GPU dann genutzt werden beim Mac. Die Frage ob du eher mit 96GB RAM gehen solltest steht und faellt wohl mit der Groesse der Modelle. Stand jetzt hast du aber keinerlei Erfahrung.
Aber vermutlich wuerde ich dir eh empfehlen erstmal mit einem kleinen Modell rumzuspielen, sowas wie llama 3.1 8B - wenn es (noch) schneller dann laufen soll bzgl. Prompting dann gerne auch mit Quntisierung wie Q4_0_4_8

eine RTX3090 ist sicherlich schneller, aber mit den 24GB VRAM wird es bei llama 3.1 70B auch schon eng - vermutlich werden da schon paar Layer nur im RAM liegen zumindest bei fp16

Die Frage ist, soll es nun ein Laptop sein?
 
Laptop muss es nicht sein. Desktop ist auch okay. Ich bin da relativ offen gerade, da ich mich nicht nach der Vorliebe, sondern dem nutzen orientieren muss.

Desktop hätte den Vorteil, dass man da auch nachrüsten könnte. Eine Graphikkarte, später, falls nötig eine zweite. Direkt mehr DDR5-RAM. Aber dann stelle ich mir die Frage: 2*24VRAM = 48VRAM und beim M4 gibt es auch 48 RAM (okay, das ist geteilt, aber es wäre auch zu 99% dann für die Anwendung (und etwas für das System)).

Laptop hat schliesslich wiederum den Vorteil, dass man nur ein Gerät dann hat und mobil ist.

"Das kleine Model LLAMA 3.1" - was meinst du damit? Laut Google reichen da 16GB VRAM. Deshalb da etwas "verwirrt" :)
 
Ohne wirkliche Diskussion-Grundlage was du mit welchen Modellen genau machen willst, ist es praktisch nicht einzuschätzen was du an Hardware brauchst. Das ist eher Glaskugel lesen und herumstochern. Wie viel VRam Modelle brauchen, wenn du sie lokal laufen lassen willst, kannst du ja herausfinden.

Schau doch mal bei deinem M1 Pro Gerät nach, welche Komponente deinen Workflow konkret verlangsamt, ist es der Ram, CPU oder GPU Kerne (geht annähernd auch schon über die native "Aktivitätsanzeige"?

Wenn du die Mobilität des Laptops nicht brauchst, gäbe es ja den Mac Mini. Mit M4 Pro und 48/2000GB kostet der 3000€ - und nicht 38xx€ wie das 14 Zoll MBP.
 
Zuletzt bearbeitet:
Gibt es eine gute Übersichtsseite bezüglich VRAM <> LLM?
Wenn man da gerade ins Thema reinkommt, ist einiges noch nicht ganz so klar. :)

MacMini M4Pro ist auch eine Möglichkeit.
Überlegte sogar, diesen ur als "Server" laufen zu lassen und alles andere über mein MBP zu machen.
Eine weitere Überlegung war es über TB5 ein externes Gehäuse mit einer SSD zu betreiben und so die SSD Preise bei Apple umzugehen.
 
Ggf. Mal in diesem Forenbereich fragen:
https://www.computerbase.de/forum/forums/ki-sprachmodelle-und-maschinelles-lernen.270/

TB5 ist wahrscheinlich noch zu neu, als das es da schon externe SSDs für gibt. Schneller Massenspeicher ist aber deine geringste Sorge würde ich sagen. Erstmal raus finden, ob die üblichen GPUs oder die M-Chips von Apple besser für dich geeignet sind.

Du hast dich sicherlich 1-3 externe Bildschirme, oder hast du vor dein Szenario auf 14 Zoll zu bearbeiten?
 
Ich habe einen 27" Monitor (HomeOffice halt) und leider keinen Platz für mehr. Aber den würde ich bald auch austauschen.

Danke für den Hinweis. Ich stelle dort auch mal eine Anfrage :)
 
Zurück
Oben