PC für heimische AI Projekte

[InSaNo]

Hallo zusammen,

ich bin Softwareentwickler und habe mir in den Kopf gesetzt in meiner Freizeit mich etwas intensiver mit AI und klassischen convolutional networks auseinanderzusetzen. Das ist eigentlich auch schon geschehen, nur bin ich direkt in die HW Limitierung gelaufen, die mein aktueller Rechner ist. Da meine Frau auch Interesse an dem Thema hat, habe ich mir überlegt kurzerhand einfach einen dedizieren Rechner für diverse NN Anwendungen bei uns ins Haus zu stellen. Ich würde ein Ubuntu draufspielen und meine Frau als auch mich via SSH auf den Rechner zugreifen lassen. Der PC sollte ggf. noch durch eine 2te GraKa aufrüstbar sein.

Hier ist die Hardwareliste die ich mir zusammengesucht habe, aber da ich sowas schon ca. 20 Jahre nicht mehr gemacht habe, wäre ich dankbar für Meinungen, und/oder ob etwas komplett falsch gelaufen ist:

https://geizhals.de/wishlists/3313784

Ich wäre auch dankbar für eine Budget Lösung, ich ich wenn ich es wirklich intensiv nutze dann einfach aufrüsten kann, gerne etwas unter 2000 Euro, mit der Option bis zu 2 RTX 4090 aufzurüsten.


Danke schonmal für die Hilfe!


Fragebogen:


1. Möchtest du mit dem PC spielen?
Stand heute nein. Der PC wird über SSH erreichbar sein, und dazu genutzt ein paar AI Netze laufen zu lassen.
Trotzdem kann es gut sein, dass der Rechner in den kommenden 2 bis 5 Jahren zu einem Gaming PC für meinen Sohn werden wird.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Nein.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Nein.

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
Initial keinen, da access via SSH. Aber als 2te Option soll der Rechner ggf. in 2 bis 5 Jahren dann anders genutzt werden. Da sollten mindestens 2 Monitore (27 Zoll) angesteckt werden.

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)
Nein.

6. Wie viel Geld bist du bereit auszugeben?
Um die 1500 bis 3000 Euro.

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Zeitnah, innerhalb der kommenden 4 Wochen.

8. Möchtest du den PC
selbst zusammenbauen! Habe das aber vor 20 Jahren das letzte mal gemacht, denke aber das sollte immernoch hinhauen.

 

[Nordwind2000]

Die Konfiguration sieht gut aus.
Ich bin jetzt nicht im Thema AI drin und kann den Nutzen eines Prozessors nicht abschätzen, aber ich würde dann schon auf einen 13900K oder ein AMD-Pendant setzen. Wenn zwei Nutzer gleichzeitig auf den PC zugreifen und Programme ausführen könnte es natürlich eng werden mit den Kernen.
Mir stellt sich auch die Frage:

Ist es nicht sinnvoller mit mit einem Hypervisor, proxmox usw. zu arbeiten und getrennte VMs zu erstellen? Jeder VM eine Grafikkarte zuordnen oder gleich eine Quadro nehmen und splitten.

Fragt sich am Ende: Ist es den ganzen Aufwand für den privaten Bereich wert?

 

[Rickmer]

Ich könnte mich irren, aber ich denke nicht, dass du von 64GB RAM (ggü. 32GB) profitierst.

Ja, von VRAM in RAM auslagern ist möglich - aber wenn der VRAM knapp wird, bremst das zumindest bei Stable Diffusion extrem, das dauert dann extrem viel länger. Ich habe Stable Diffusion bis so ca. 16-18GB RAM belegen gesehen, darüber hinaus kommt eh direkt ein Pytorch Fehler, dass kein VRAM mehr zugeteilt werden kann.

(Was nicht heißt, dass für LLMs oder convolutional networks ggf. andere Einschränkungen gelten - ich kann mich nur auf meine eigenen Erfahrungen mit Stable Diffusion beziehen.)

Ansonsten ist die RTX 4090 natürlich die einzige sinnvolle Karte zum Einstieg... AMD ist mangels CUDA-Unterstützung keine option und eine Karte mit weniger VRAM bringt's nicht wirklich, wenn man sich wirklich intensiver damit beschäftigen will.
(Bzw. die RTX 3090 wäre da der günstige Einstieg - halt mit deutlich weniger Leistung. Laut Toms Hardware ist die 4090 mehr als doppelt so schnell wie eine 3090Ti in Stable Diffusion bei Nutzung von xformers.)

Ich bin jetzt nicht im Thema AI drin und kann den Nutzen eines Prozessors nicht abschätzen, aber ich würde dann schon auf einen 13900K oder ein AMD-Pendant setzen.

mWn kann man den Prozessor nicht komplett vernachlässigen, aber der allergrößte Teil der Berechnungen läuft auf der GPU - das gilt sowohl für Stable Diffusion* wie auch LLMs.

*Preprocessoren für Controlnet laufen mWn rein auf CPU

Ergänzung (22. August 2023)

Nachtrag - grade gecheckt, per A1111 UI ein 1216x832 Bild mit SDXL generieren erzeugt ~25% Last beim R7 5800X während die RTX 4090 auf 97% Last geht.

 

[InSaNo]

@Nordwind2000​

Der Aufwand ist ja ein Teil des Spaßes, und am Ende wird es ein Spaßprojekt sein. Aktuell bin ich nicht sicher wie intensiv wir da zu zweit wirklich arbeiten werden, ich hab so ein paar Dinge auf meinem Zettel, und meine Frau hat das auch. Es kann gut sein, dass in 6 Monaten nur einer von uns beiden den Rechner wirklich nutzt, oder im worst case keiner. Bei intensiver Nutzung von uns beiden, werden wir eine 2te 4090er dazukaufen und den Rechner splitten, und da gibt es ja viele Lösungen. Und bei dem Gedanken ist der Hinweis auf die CPU sicher zu berücksichtigen, danke dafür.

Ich habe über Cloud Lösungen nachgedacht und war so naiv anzunehmen, dass das eigentlich günstiger sein sollte. Aber da wir eine Photovoltaikanlage auf dem Dach haben, und sogar ein freies Zimmer für den Rechner, ist das nicht annähernd konkurrenzfähig. Zumindest nicht das, was ich gesehen habe. Aber hat hier jemand Erfahrungen damit, ggf. war ich nur nicht fähig die richtigen Angebote zu finden.

Ergänzung (22. August 2023)

@Rickmer
Das sind genau die Hinweise die ich suche, da ich da wirklich keine Erfahungen habe, ausser etwas mit meiner alten Kiste in Google Colab rumzuspielen. Auf meine Zettel, stehen aktuell klassische Dinge wie, Objektdetektion und Klassifikation. Sowas wie: mach ein Foto von ner Pflanze und sag mir was das ist. Ich denke so ne App werde ich schreiben, und ja ich weiss das gibt es zu Hauf, nur mir macht's halt Spass und ich will damit kein Geld verdienen. Ich werde da bei meine AI Kollegen in der Arbeit diesbezüglich nochmal nachfragen. Dank dir!

 

[madmax2010]

Das Netzteil reicht locker für 3x rtx4090, vielleicht auch für 4 in dem System. Würde aber wirklich einen Bogen um
Thermaltake machen. Die haben ihren namen zu lange und häufig auf Schrott geschrieben.


Aber echt nicht sicher, ob ich so etwas im atx case bauen wollen würde.
Oft ist eine gpu mit mehr vram sinnvoll, als mehrere mit 24GB.

Ich habe in meinem heimischen Rechner derzeit nur eine kleine 6700xt.

Alle experimente lasse ich da laufen, wo die Karte die ich gerade brauche, gerade am billigsten ist.
Terraform bestellt mir dann die ressourcen, deployment kommt direkt aus gitlab, oder wenn ich gerade schlampig bin erledigt ansible das fix.
Je nach Projekt sind die Anforderungen schnell so unterschiedlich, dass es sich Kaum rechnet eine dicke gpu nur für den Fall daheim zu haben.

Amd Karten mit rocm / OpenCL sind so seit 3 Monaten endlich mal recht gut nutzbar. Für Entwicklung sehe ich die aber noch nicht bereit. Da ist das noch nerviger als cuda

Preprocessoren für Controlnet laufen mWn rein auf CPU

Korrekt.

Bzw. die RTX 3090 wäre da der günstige Einstieg - halt mit deutlich weniger Leistung. Laut Toms Hardware ist die 4090 mehr als doppelt so schnell wie eine 3090Ti in Stable Diffusion bei Nutzung von xformers.

Int8 Performance ist inzwischen auch recht relevant, da muss es eine 4000er Karte sein. Die haben hier besonders stark zugelegt.

 

[InSaNo]

@madmax2010
Vielen Dank schonmal für die Hinweise!
Was das Netzteil angeht, bin ich halt komplett blank, welchen Hersteller würdest du empfehlen?

Und du haust wunderbar in meine Bedenkenkerbe . Was zahlst du denn so im Monat an Terraform?
Wie gesagt, mit der Photovoltaik betreibe ich die Kiste bei mir quasi kostenlos (was ich fürs einspeisen bekomme, ist eigentlich nicht der Rede wert).
Ich bin mir halt extrem unsicher, was hier die richtige Entscheidung ist. Ggf. ist es wirklich besser ne kleine Kiste hinzustellen und im Fall der Fälle dann einfach zuzukaufen, vorallem vor dem Hintergrund, dass es ja nur ein Spassprojekt ist, und es völlig unklar ist wieviel Zeit meine Frau oder ich wirklich investieren können/wollen.
Ich hatte es halt auch als eine einfache Lösung gesehen, dass unser Sohn ggf. in 5 Jahren nen ordentlichen Rechner bekommt, mit der er dann weiß Gott was alles tun kann (wahrscheinlich halt gaming).

 

[computerch]

Hi @InSaNo,
ich bin gerade selber dabei einen PC für Machine Learning zusammenzustellen. Ich habe ähnliche Überlegungen wie du. Für die CPU würde ich den i7 14900k nehmen und als GPU die RTX 4080.
Hast du den PC fertiggestellt?
Hast du Erfahrungswerte die du teilen kannst?
LG