Build Beratung für KI Server mit RTX4080 Super

[kikakadu]

Hallo, das letzte mal, dass ich einen PC zusammengeschraubt habe, ist 20 Jahre her. Nun bin ich an eine GeForce RTX 4080 Super gekommen und möchte die Gelegenheit nutzen, um mir einen Server für lokale KI Modelle zu bauen.
Mag mir hier jemand unter die Arme greifen wie so ein Build heutzutage aussieht?

Hauptanwendung wird der Betrieb von Generative AI sein. Kein Gaming, keine Grafik/Video editing.
Das Ding soll als Server im Heimnetz funktionieren und im Dauerbetrieb laufen, sollte also möglichst stromsparend und leise sein, insbesondere wenn die KI gerade nicht aktiv beansprucht wird.
Ich dachte an einen Tower und keinen MiniPC, um besser erweitern zu können (und am Ende wohl auch günstiger zu sein). Größe ist egal, hauptsache geschlossen und nicht offen und kein Rack.

Wo und wie fange ich denn an mit der Planung?
Worauf muss ich achten?
Welche Fehler vermeiden?
Gibt es gute Konfiguratoren für sowas?

Vielen Dank schon mal vorab.

 

[tomgit]

Ist ein normaler PC wie jeder andere auch, da ist keine größere Magie dahinter. Schau dir einfach mal im Forum die typischen Builds an, verzichte auf Wasserkühlung und gewöhn dich ggf. an Undervolting. Als OS wirst du wahrscheinlich eine typische Linux-Distro wählen wollen, ich persönlich würde Fedora empfehlen, aber für Debian/Ubuntu- oder Arch-basierte OS wirst auch genügend Material finden.

Frage ist halt auch Budget... wäre eigentlich auch die primäre Frage.

 

[kikakadu]

Danke, ich dachte an Debian, bzw. Proxmox. Da hab ich schon ein Cluster von MiniPCs, in das der super reinpassen würde Budget sollte so gering wie möglich sein. Wo finde ich typische Builds? Bzw. was sind generell die Stichworte nach denen ich suchen muss?

 

[NJay]

https://www.computerbase.de/forum/t...g-pc-spiele-pc-selbst-zusammenstellen.215394/

Hier.

Wobei du überlegen musst, im was du brauchst.

Ist CPU-Leistung wichtig? Kann alles über die GPU beschleunigt werden?

Dann könntest du eventuell ein kleines Serverboard nehmen, das hat dann IPMI und ne sparsame CPU drauf.

 

[kikakadu]

Danke für den Link. Ich denke, ich würde wenn dann gleich einen CPU mit mehr Kernen nehmen, aber nicht gleich hoch zu Threadripper o.ä. gehen. Was hältst Du denn ungeachtet der Preise von diesen Setup?

Prozessor
1x AMD Ryzen™ 9 7950X, Prozessor
€ 529,00

Mainboard
1x GIGABYTE X870E AORUS MASTER, Mainboard
€ 558,00

Prozessorkühler
1x be quiet! Dark Rock Pro 5, CPU-Kühler
€ 85,90

Arbeitsspeicher
1x Corsair DIMM 64 GB DDR5-6400 (2x 32 GB) Dual-Kit, Arbeitsspeicher
€ 224,99

SSD
1x SAMSUNG 980 PRO 1 TB, SSD
€ 126,90
1x SAMSUNG 870 EVO 2 TB, SSD
€ 166,90

Gehäuse
1x Fractal Design North XL Chalk White TG Clear, Tower-Gehäuse
€ 184,90

Netzteil
1x Corsair RM1000e 1000W, PC-Netzteil
€ 169,90

+ die GIGABYTE GeForce RTX 4080 SUPER, die ich schon habe.

Freue mich über Feedback!

 

[NJay]

Viel zu teures Mainboard. Würde da eins für 200-250€ nehmen und dafür eher aus 128GB RAM setzen. Wenn du wirklich vieles per GPU beschleunigst reicht auch ein 7500f oder 9600 aus, aber ein 7950X hat definitiv viel Leistung.

 

[JumpingCat]

Wieso möchtest du SSD und keine NVMe verbauen?

 

[NJay]

SSD und keine NVMe verbauen?

Du meinst wohl SATA. SSDs sind beide

 

[kikakadu]

Danke Euch. Ja, das Mainboard hatte ich auch schon als zu teuer in Verdacht.