Linux Mint PC für lokale Nutzung von LLMs

[Hans99]

Hallo zusammen,

ich plane in den nächsten 3 Monaten den Kauf eines neuen PCs. Mein Hauptziel ist, darauf mit lokalen Large Language Models (LLMs) zu programmieren und zu experimentieren. Darüber hinaus nutze ich den PC für Office-Anwendungen und gelegentlich für CAD mit FreeCAD. Seit etwa zwei Jahren verwende ich Linux Mint als Betriebssystem und würde dies auch gerne beibehalten. Für neuere Hardware-Komponenten könnte es notwendig sein, die Linux Mint Edge Version zu nutzen, die einen aktuelleren Kernel unterstützt.

Mein Budget liegt bei etwa 1500 €. Um LLMs lokal ausführen zu können, benötigt man ein leistungsfähiges System, zum Beispiel einen AMD Ryzen 7 bzw. Intel Core i7 oder höher, viel Arbeitsspeicher (≥32GB) und eine GPU mit viel VRAM (≥16GB).

Hersteller wie Lenovo bieten fertige Systeme an, die gut mit Linux funktionieren. Leider konnte ich kein Komplettsystem finden, das preislich und leistungstechnisch meinen Anforderungen entspricht.
Hier der Link zu Lenovo: www.lenovo.com/linux

Da ich absoluter Neuling im Selbstbau von PCs bin, ist Selbstbau nicht meine bevorzugte Variante, aber ich ziehe es in Betracht. Besonders unsicher bin ich mir bei der Kompatibilität der Komponenten mit Linux Mint bzw. Linux Mint Edge. Ich habe versucht, Bauteile zusammenzustellen, die in der Linux Hardware Datenbank vorhanden sind. Allerdings konnte ich dort nicht alle benötigten Komponenten finden.
Hier der Link zur Datenbank: https://linux-hardware.org/

Hier ist meine Zusammenstellung von Komponenten für den "Linux Mint PC LLM".
Die aktuellen Kosten belaufen sich auf ca. 1650 €.

PC-Gehäuse
Corsair 4000D Airflow, schwarz, Glasfenster (CC-9011200-WW)

Mainboard (Motherboard)
MSI B650 Gaming Plus WIFI (7E26-001R)

Prozessor (CPU)
AMD Ryzen 7 7700, 8C/16T, 3.80-5.30GHz, boxed (100-100000592BOX)

CPU-Kühler
be quiet! Pure Rock 2 Black (BK007)

Grafikkarte (GPU, 16GB)
XFX Speedster QICK 319 Radeon RX 7800 XT Core Edition, 16GB GDDR6, HDMI, 3x DP (RX-78TQICKF9)

Arbeitsspeicher (RAM, 64GB)
G.Skill Flare X5 schwarz DIMM Kit 32GB, DDR5-6000, CL32-38-38-96, on-die ECC (F5-6000J3238F16GX2-FX5)

Festplatte (2TB)
Kingston NV2 NVMe PCIe 4.0 SSD 2TB, M.2 2280 / M-Key / PCIe 4.0 x4 (SNV2S/2000G)

Netzteil
MSI MPG A850GF 850W ATX 2.4 (306-7ZP0C11-CE0)

Wärmeleitpaste
Thermal Grizzly Kryonaut Wärmeleitpaste, 1g (TG-K-001-RS)

Monitor
Philips V-line 243V7QDAB, 23.8"

Tastatur
Trust Gaming GXT 863 Mazz Mechanical Keyboard, Gaote Outemu RED, USB, DE (24201)

Hier der Link zur "Arbeits"-Wunschliste: https://geizhals.de/wishlists/3892415

Ich würde mich sehr über eure Meinungen und Empfehlungen zu dieser Konfiguration freuen, insbesondere hinsichtlich der Kompatibilität mit Linux Mint. Falls jemand Vorschläge für bessere oder preiswertere Alternativen hat, bin ich für jede Hilfe dankbar.

Vielen Dank im Voraus!

 

[GTrash81]

Wenn es ein Debain-basiertes OS sein muss, dann PopOS, dann bleibt man von Snap verschont.
Wenn nicht, dann EndeavourOS oder Fedora.
Hintergrund ist, das Ubuntu schon einen langsamen Updatezyklus hat und der von Mint ist noch langsamer.

Die Wärmeleitpaste brauchst du nicht, der CPU-Kühler bringt seine eigene mit.
Ansonsten sieht das System in Ordnung aus.

 

[Thorakon]

Generell empfiehlt sich für Linux ja meistens schon eine AMD-Grakfikkarte wegen dem etwas besseren "Treibersupport". Aber gerade bei LLM/KI scheint nvidia doch noch etwas die Nase vorne zu haben, gerade was Cuda und Support durch Anwendungen Dritter angeht. Vermute das gilt auch unter Linux, aber vielleicht findet sich noch wer, der das genauer weiß. Nicht, dass ich hier jetzt Training und reine Ausführung durcheinanderbringe.

@GTrash81: Linux Mint hat doch Snaps per default auch nicht installiert/aktiviert?

 

[gimmix]

System ist gut.

Wenn du schon so lange bei Mint bist, bleib auch dabei!
Probiers einfach mit Edge, und wenn der Kernel zu alt sein sollte, kannst du immer noch Ubuntu 24.04 LTS installieren, naheliegend im Cinnamon-Flavour. Wenn das neue Mint rauskommt, kannst du ja wieder zurückwechseln.

PS Die meisten Leute, die über Snap ranten, haben keine eigenen Erfahrungen mit aktuellen Snap-Packages.
Das sind meistens auch dieselben, die nicht wissen, dass ältere Kernels von Debian und Ubuntu durch Backports aus neuen Kernelversionen automatisch geupdatet werden, obwohl sie die alten Versionsnummern behalten.

PPS Linux Mint blockiert Snaps aktiv. Wenn man diese Beschneidung aufheben will:
sudo rm /etc/apt/preferences.d/nosnap.pref
apt update
apt install snapd

Ergänzung (15. Juni 2024)

Generell empfiehlt sich für Linux ja meistens schon eine AMD-Grakfikkarte wegen dem etwas besseren "Treibersupport".

Gilt nicht mehr. Nvidia läuft mit proprietärem Treiber out of the box.

 

[Kuristina]

Wenn du Linux Mint schon seit 2 Jahren nutzt, dann würde ich auch dabei bleiben. Völlig in Ordnung.

 

[Alexander2]

Gilt nicht mehr. Nvidia läuft mit proprietärem Treiber out of the box.

ja doch, ich habe schon öfters in den letzten Jahren von Nvidia Nutzern gehört, "aber es läuft jetzt perfekt" im übertragenen Sinne, und klar, ganz generell gibt es kein Problem damit Treiber zu installieren... das ist garnicht so die Frage, sogar der ootb Support wegen Open Source Kernel Modul mag sich gebessert haben. Trotzdem hat sich immer wieder gezeigt, das man mit dem Nvidia Treiber speziell immer wieder auf mehr Bugs trifft als mit Intel oder Radeon.
auch noch mit dem neuesten beta Treiber für Wayland, auch wenn der das Thema Wayland jetzt endlich ermöglicht. Ich hoffe eventuelle Bugs werden weiter ausgemerzt und auch Nvidia Nutzer bekommen genausogute Erlebnisse wie alle anderen. Aber noch sehe ich das nicht :-) Gerade mit ein wenig älteren Karten scheint der support doch stark abzufallen.

 

[GTrash81]

Generell empfiehlt sich für Linux ja meistens schon eine AMD-Grakfikkarte wegen dem etwas besseren "Treibersupport". Aber gerade bei LLM/KI scheint nvidia doch noch etwas die Nase vorne zu haben, gerade was Cuda und Support durch Anwendungen Dritter angeht. Vermute das gilt auch unter Linux, aber vielleicht findet sich noch wer, der das genauer weiß. Nicht, dass ich hier jetzt Training und reine Ausführung durcheinanderbringe.

@GTrash81: Linux Mint hat doch Snaps per default auch nicht installiert/aktiviert?

Ja, aber Linux Mint ist zu alt, der Softwarestand ist von vor 10 Jahren.
Da gab es die 7800XT noch nicht.
Mint Edge bringt einen Kernel, der nur 1 Jahr alt ist und somit passen würde, aber die restliche Software ist immer noch super alt und viele Bugs die behoben wurden, würden auftreten.
Linux Mint ist ein fantastisches OS für PCs, die nur ältere Hardware haben und auf denen ältere Software eingesetzt wird.

Daher war ich auf der Suche nach einem debian-basierten System, dass neu genug ist für die Hardware und kein Snap hat.

PS Die meisten Leute, die über Snap ranten, haben keine eigenen Erfahrungen mit aktuellen Snap-Packages.
Das sind meistens auch dieselben, die nicht wissen, dass ältere Kernels von Debian und Ubuntu durch Backports aus neuen Kernelversionen automatisch geupdatet werden, obwohl sie die alten Versionsnummern behalten.

Snap-Pakete verlieren generell 10-20% an Performance, hatten letzten einen Test dazu gesehen.
Der Start dauert Ewigkeiten.
Außerdem kümmert sich Canonical überhaupt nicht um Snap:
https://linuxnews.de/wieder-malware-in-canonicals-snap-store/

Abgesehen davon ist Canonical seit 12 Jahren nicht mehr vertrauenswürdig:
https://arstechnica.com/information...-search-result-feature-major-privacy-problem/

Gilt nicht mehr. Nvidia läuft mit proprietärem Treiber out of the box.

Nur wenn man auf den Desktop starrt.
Ich habe noch einen alten Laptop mit unterstützter Nvidia GPU.
Sobald ich auch nur irgendwie daran denke mit der GPU Wayland zu verwenden, fangen alle Bildschirme und Programme an zu flackern bzw. abzustürzen.
Dieses Problem wird in den nächsten Wochen oder Monaten endlich repariert werden,
aber nur wenn man ein Linux-System mit kurzem Updatezyklus hat.
Linux Mint bekommt diese Fixes in 10 Jahren oder so.

 

[Alexander2]

Ich hatte letzt mal die Erfahrung gesammelt, das die Treiberunterstützung für die 7900xt einen weniger neuen Kernel vorraussetzt als für die 7800XT, fragt mich nicht warum das so segmentiert wird, es hängt wohl einfach mit den schon länger auch Zeitlich gestaffelten Launches zusammen, obwohl technisch die Karten wuasi gleich sind...

Also gerade mit der 7800XT wenn deren Name nicht richtig, vollständig erkannt wird - neueren Kernel!

 

[sedot]

@Alexander2 @GTrash81 @gimmix
Nur als Anmerkung und Bitte, wenn von „neuen“ oder „alten“ Kernel-Versionen geschrieben wird, ergänzt/nennt doch bitte die Versionsnummer künftig. Hilft bei der Einordnung und vielleicht auch anderen Usern die über diesen Thread stolpern. 😉

 

[0x8100]

wenn linux mint, dann die "edge" variante. mit kernel 6.5 und mesa 23.2 wird auch die 7800xt funktionieren. popos hat momentan kernel 6.8 + mesa 24.0 und ich kann mit der kombination aus erster hand bestätigen (allerdings mit einer 6700xt), dass sachen wie gpt4all out-of-the-box und stable-diffusion nach installation von rocm gpu-beschleunigt funktionieren.

zum software-stand von mint sollte man allerdings auch sagen, dass mint 22 auf basis von ubuntu 24.04 demnächst ansteht. dann gibt es auch wieder einen schwung neuer/aktuellerer software.

 

[gimmix]

Ja, aber Linux Mint ist zu alt, der Softwarestand ist von vor 10 Jahren.

Mint beruht auf Ubuntu 22.04 LTS. Das "22" steht für 2022.

Snap-Pakete verlieren generell 10-20% an Performance, hatten letzten einen Test dazu gesehen.

Quelle?

Der Start dauert Ewigkeiten.

Falsch.

Außerdem kümmert sich Canonical überhaupt nicht um Snap

Auch falsch.

Abgesehen davon ist Canonical seit 12 Jahren nicht mehr vertrauenswürdig

Vor 12 Jahren vielleicht, nicht seit 12 Jahren.

Du hast offensichtlich überhaupt keine Ahnung, worüber du sprichst.

Ergänzung (15. Juni 2024)

ich habe noch einen alten Laptop mit unterstützter Nvidia GPU.

vermutlich nicht mit einer RTX.
Es geht hier in diesem Thread um Neuanschaffung, nicht um deinen Hardwarestand von vor 12 Jahren.

 

[Hans99]

Hallo zusammen,

vielen Dank für euer Feedback.
Eure Tipps waren wirklich hilfreich und haben mir sehr weitergeholfen.
Ich fühle mich nun wesentlich zuversichtlicher bei der Zusammenstellung meines neuen Linux-PCs.
Kann eigentlich nicht mehr so viel schiefgehen.

Nochmals vielen Dank für eure Unterstützung.