PC-Unterbau für RTX 3090 für LLM

[ivdhh]

1. Möchtest du mit dem PC spielen?

• Nein, ich möchte verschiedene OpenSource-KI-Systeme via GPU betreiben.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Nur für KI.

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
GPU in Form einer RTX 3090 habe ich. Ich suche dafür passende Hardware in Form einer AMD-CPU + 64 GB RAM.

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)
1

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Grafikkarte: https://geizhals.de/nvidia-geforce-rtx-3090-founders-edition-a2363477.html
• HDD / SSD: Habe mehrere SSDs rumliegen.

6. Wie viel Geld bist du bereit auszugeben?
Soviel wie nötig, wenn es sinnvoll ist. Denke aber eher bis max. 800€, gerne weniger. GPU und SSD gibt es ja bereits.

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?
Sofort

8. Möchtest du den PC

• selbst zusammenbauen (wie schätzt du dein Vorwissen diesbezüglich ein?) oder
• zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

Würde den eher zusammenbauen lassen, wenn es nur 20e oder 30€ kostet. Ansonsten kann ich das auch selbst.

Hallo,
ich habe eine RTX 3090 und paar SSDs. Ich will mir damit einen Zweitrechner bauen, um verschiedene LLMs zu betreiben und auszuprobieren. Habe mich mal umgehört in verschiedenen Foren und 24 GB VRAM wird empfohlen. Falls ich den PC nochmal anders verwende, will ich beim RAM gleich max. auf 64 GB gehen, da die Preise günstig sind. Schaue gerade so beim Gaming-PC-Thread im Bereich 900e - 1300€ vorbei. Sprich AMD 5600 + Mainboard + ausreichendes Netzteil + Gehäuse.
Idee bisher:

1. AMD Ryzen 5 5600
2. GIGABYTE B550 AORUS Elite AX V2
3. G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL16-18-18-38 (F4-3200C16D-32GVK)
4. be quiet! Pure Power 12 M 750W ATX 3.0

Beim Gehäuse weiß ich nicht so recht. Brauche da nichts besonderes. Die GPU soll halt reinpassen und Montage von Mainboard und SSD soll einfach gehen. Ich hatte vor wenigen Jahren mal ein PC-Gehäuse, wo SATA-SSDs teilweise auf der Rückseite der Platte, worauf das Mainboard montiert wird, raufgeschraubt wurden. Knackpunkt ist also das Gehäuse. Ansonten auch gerne Meinung zur CPU, wobei die aus meiner Sicht ausreichen sollte, wenn das LLM eh in der GPU läuft. Danke euch.

 

[Rickmer]

GPU in Form einer RTX 3090 habe ich. Ich suche dafür passende Hardware in Form einer AMD-GPU + 64 GB RAM.

AMD-CPU?

Habe mich mal umgehört in verschiedenen Foren und 24 GB VRAM wird empfohlen. Falls ich den PC nochmal anders verwende, will ich beim RAM gleich max. auf 64 GB gehen, da die Preise günstig sind.

Yep, AI ist extrem abhängig vom verfügbaren VRAM. Je mehr VRAM vorhanden ist, desto größer ist das LLM, das du nutzen kannst (ohne riesige Performance-Einbußen wegen Auslagerung auf RAM oder SSD).

Wobei z.B. das 13B WizardLM wohl auf 'ner 12GB VRAM Karte laufen würde (Quelle), aber davon soll es auch noch 30B und 64B Parameter Ableger geben, welche jeweils höhere Hardware-Ansprüche haben werden aber erwartungsgemäß auch mehr drauf haben sollten.
Aber das ist alles noch nicht da, mal schauen was die Zukunft uns beschert.

Idee bisher:

1. AMD Ryzen 5 5600
2. GIGABYTE B550 AORUS Elite AX V2
3. G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL16-18-18-38 (F4-3200C16D-32GVK)
4. be quiet! Pure Power 12 M 750W ATX 3.0

Sollte passen. Groß CPU-Leistung brauchst du nicht.
Mit LLMs habe ich noch nichts versucht, für Stable Diffusion reichen 32GB RAM locker.

Wobei ich persönlich nicht mehr in einen Neukauf einer AM4 Plattform inverstieren würde, der Upgrade-Pfad ist tot.

Beim Gehäuse weiß ich nicht so recht. Brauche da nichts besonderes.

Die 3090 wird viel Frischluft brauchen. Ich würde das Fractal Torrent nehmen.

 

[Deathangel008]

be quiet! Pure Power 12 M 750W ATX 3.0

das hat nur zwei 6/8pin; welche 3090 genau ist vorhanden?

GIGABYTE B550 AORUS Elite AX V2

sicher nicht zufällig das AX?

Ich hatte vor wenigen Jahren mal ein PC-Gehäuse, wo M2-SSDs teilweise auf der Rückseite der Platte, worauf das Mainboard montiert wird, raufgeschraubt wurden.

ähh... was? die M.2-slots befinden sich direkt auf dem MB.

das Pure Base 500DX wäre ne gute option.

 

[ivdhh]

AMD-CPU?

Hast recht. Tippfehler von meiner Seite.

Yep, AI ist extrem abhängig vom verfügbaren VRAM. Je mehr VRAM vorhanden ist, desto größer ist das LLM, das du nutzen kannst (ohne riesige Performance-Einbußen wegen Auslagerung auf RAM oder SSD).

Wobei z.B. das 13B WizardLM wohl auf 'ner 12GB VRAM Karte laufen würde (Quelle), aber davon soll es auch noch 30B und 64B Parameter Ableger geben, welche jeweils höhere Hardware-Ansprüche haben werden aber erwartungsgemäß auch mehr drauf haben sollten.
Aber das ist alles noch nicht da, mal schauen was die Zukunft uns beschert.

Die 3090 habe ich halt bereits. Ich kann natürlich überlegen die zu verkaufen und eine kleinere Version kaufen. Ich informiere mich da nochmal.

Sollte passen. Groß CPU-Leistung brauchst du nicht.
Mit LLMs habe ich noch nichts versucht, für Stable Diffusion reichen 32GB RAM locker.

Wobei ich persönlich nicht mehr in einen Neukauf einer AM4 Plattform inverstieren würde, der Upgrade-Pfad ist tot.

Ich weiß halt nicht, ob ich den Rechner je aufrüste, da es ein Zweitrechner ist. Gebraucht ist ggf. auch eine Option.

Die 3090 wird viel Frischluft brauchen. Ich würde das Fractal Torrent nehmen.

Das Fractal Torrent sieht passend aus. Ich habe nochmal Google angeschmissen und für eine 3090 wurde dann auch noch das LANCOOL II Mesh C Performance genannt.

das hat nur zwei 6/8pin; welche 3090 genau ist vorhanden?

NVIDIA GeForce RTX 3090 Founders Edition, 24GB GDDR6X, HDMI, 3x DP
https://geizhals.de/nvidia-geforce-rtx-3090-founders-edition-a2363477.html

sicher nicht zufällig das AX?

Ich hatte das so aus der Beschreibung der computerbase Leitfadens kopiert. Ich schaue nochmal genau nach.

ähh... was? die M.2-slots befinden sich direkt auf dem MB.

Stimmt, mein Fehler. War noch eine normale SATA-SSD. Bin wohl gerade etwas übermüdet :-)

das Pure Base 500DX wäre ne gute option.

Das sieht auch sehr gut aus.

Vielen Dank für eure Hilfe!

 

[Deathangel008]

NVIDIA GeForce RTX 3090 Founders Edition

passt. ich hatte gefragt weil es auch etliche 3090 mit drei 8pin gibt.

Ich hatte das so aus der Beschreibung der computerbase Leitfadens kopiert. Ich schaue nochmal genau nach.

das AX hat WLAN/BT, das nonAX nicht. und das AX hat nen passivkühler auf beiden M.2-slots und nicht nur auf dem ersten.

 

[ivdhh]

Das AX hatte ich wegen dem WLAN gewählt laut Beschreibung, weil ich hier keine LAN-Verkabelung zum Router habe.

 

[Deathangel008]

@ivdhh: also nicht zufällig passt dann natürlich auch.

 

[Rickmer]

Die 3090 habe ich halt bereits. Ich kann natürlich überlegen die zu verkaufen und eine kleinere Version kaufen. Ich informiere mich da nochmal.

Für AI Spielerei sind aktuell je nach Budget nur diese Karten 'echte' Optionen:

Budget: RTX 3060 12GB (~340€ neu, ~270€ gebraucht)
Mittelweg: RTX 3090 24GB (~1300€ neu, ~700€ gebraucht)
Power pur: RTX 4090 24GB (~1800€ neu)

Für AI-Zwecke sehe ich die 4070 oder 4080 nicht als sinnvoll, dank deutlich mehr VRAM macht eine 3090 (Ti) einfach viel mehr Sinn und der Leistungsunterschied ist auch nicht so riesig.

AMD und auch Intel würde ich für AI-Spielereien außen vor lassen, da ist das mit dem Treiber-Support deutlich schwieriger. Außerdem wird aktuell einiges gut über CUDA optimiert.

 

[Supie]

Gehäuse:
Sharcoon M30 könnte ne (luftige) Option sein. 80-90 Euro, wenns nur ein Zweitrechner sein soll.