4090 für Machine Learning (LLM, etc.)

[trialgod]

Hi

Ich würde gerne mein System mit einer 4090 ausstatten um z.B. Llama bei mir auszuführen.

Mein aktuelles System:

• MSI B450 Mortar Max
• 64GB Vengeance 3200Mhz (2 Module)
• 5950X

Ich brauche ein neues Netzteil, soviel ist mir schon bewusst. Gegebenenfalls würde ich später noch eine weitere 4090 hinzufügen. Da wäre meine Frage: Welches NT mit genug Leistung kann man empfehlen?

Zweite Frage: Mein Board unterstützt nur PCIe3.0. Gibt es mit einer Graka dabei Probleme bzw. sind Performanceeinbussen zu erwarten?

Dritte (vielleicht doofe) Frage: Ich zocke auch hin und wieder mit meinem PC, aber nix was die Grafikkarte benötigen würde. Ist der Stromverbrauch auch in Games wie World of Tanks oder Assetto Corsa Competizione so hoch? Mir geht es dabei vor allem um die Wärmeentwicklung. Ich bin in einem relativ kleinen Zimmer im Dachgeschoss. Ansonsten muss ich mir mittelfristig wohl einen dedizierten PC dafür bauen.

Im ersten Schritt also 4090 + NT, damit ich das 30B Model ausführen kann. Je nachdem wie gut das performed würde ich dann später ggf. upgraden wollen.

 

[Fujiyama]

Gibt den Alterntiven? Vlt das ganze in die Cloud zu schieben für die Anwendung?
Was für ein Netzteil hast du den momentan? (Das aus der Signatur)

 

[Grimba]

Nvidia empfiehlt ein 850 Watt Netzteil. Also ab dieser Größenordnung aufwärts solltest du dich orientieren. Und nimm da was ordentliches und keinen Chinaböller. Achte auch auf guten Wirkungsgrad.

Ich bin mir jetzt nicht sicher, ob beim Trainieren eines Neuronalen Netzes, und das ist es ja, was du vorhast, der Datenbus so ausgelastet wird, dass PCI3.0 hier bremsen würde. Ich vermute nicht, denn es geht hier ja vermutlich eher ums Rechnen auf der GPU selbst. Aber da kennst du dich besser aus. Beim Spielen wäre das schon eher der Fall, aber auch bisher nur bei wenigen Titeln. Also nein, das sollte vermutlich kein Showstopper sein.

Und was das Zocken angeht: Wenn die GPU wenig zu tun hat, so hat sie auch keinen Grund voll Stoff zu geben und die Bude zu heizen. Du kannst die in Ruhe zum Zocken nutzen. Wenn du dir unsicher bist, schalte in den Spielen eine FPS Begrenzung ein, damit wäre die dann sowieso an die Leine gelegt.

 

[trialgod]

Was für ein Netzteil hast du den momentan? (Das aus der Signatur)

Ja, ich benutze noch das Leadex Gold mit 650W.

Cloud ist leider relativ teuer und ich möchte die Flexibilität haben selber zu entscheiden was ich wie laufen lasse. Das geht dediziert besser. Für eine mögliche Produktivumgebung wird aber dann natürlich auf Cloud gesetzt.

Vielleicht noch zum Context: Ich bin daran eine Idee zu entwickeln ein Produkt auf den Markt zu bringen, welches von Deep Learning Modellen unterstützt wird. Sowohl einfache eigene Modelle, die trainiert werden, als auch LLMs wie z.B. Llama, je nachdem was halt Public verfügbar sein wird.

Ich teste natürlich auch mit OpenAI oder PALMe gegen. Aber auch da kommen schnell grosse Summen zusammen, dass es sich lohnen kann es lokal auszuführen. Bin gerade noch am Start von allem.

 

[Sweepi]

Ich denke du steckst bei dem Thema mehr drinn als ich, aber die Models ausführen skaliert nur bedingt mit der Geschwindigkeit der GPU.
In diesem Test z.B. war Turing zum Teil gleich auf mit Ada:
https://www.tomshardware.com/news/running-your-own-chatbot-on-a-single-gpu

... vermutlich da ein CPU Limit vorlag

It's not clear whether we're hitting VRAM latency limits, CPU limitations, or something else — probably a combination of factors — but your CPU definitely plays a role. We tested an RTX 4090 on a Core i9-9900K and the 12900K, for example, and the latter was almost twice as fast.

It looks like some of the work at least ends up being primarily single-threaded CPU limited. That would explain the big improvement in going from 9900K to 12900K. Still, we'd love to see scaling well beyond what we were able to achieve with these initial tests.

Das ganze ist stark davon abhängig, wie das Modell konfiguriert und wie gross es ist, sowie von weiteren Parametern, in die du vermutlich besser eingelesen bist als ich.
EDIT: 1. Prio ist dass das Modell ins VRAM passt, also 4090/3090 Ti/3090/Titan RTX fuer 24GiB, oder eine professionelle (ehemals"Quadro") Karte mit noch mehr VRAM.

PCIe 3.0: Kenne ich keine Tests zu. Die Turing Modelle (RTX 2080 Ti, Titan RTX) keonnen aber auch nur 3.0 und schneiden nicht schlechter ab.

NT: Fuer 1x4090: ein High-End Netzteil ab 850 Watt, z.B https://www.computerbase.de/2023-02/dark-power-13-850w-test-ein-atx-3-0-netzteil/


Bzgl: Stromverbrauch in Spielen: Die 4090 skaliert super nach unten, also sowohl mit FPS cap / G-Sync/V-Sync oder auch durch herabsetzen des TDP-Sliders auf z.B. 150 W kannst du anspruchslose Spiele mit wenig Verlustleistung zocken.


Andere Quelle:
https://aituts.com/llama/

 

[trialgod]

Es geht tatsächlich hauptsächlich um den VRAM. Man braucht 48GB+ um das grosse Modell auszuführen. Vielleicht würden auch 2 gebrauchte 3090Ti reichen. Supergünstig bekommt man die aber auch nicht.

Die Profikarten sind leider sehr sehr kostspielig. Da bin ich dann auch irgendwann raus.

 

[Logian]

Denkanstoß meinerseits: Wenn du eher wenig damit zockst und jetzt schon über zwei 4090 nachdenkst, vielleicht ist dann eine professionelle RTX (nicht Geforce RTX) Karte eher was für deinen Anwendungsfall?

Vorteile die ich hier sehen würde: Geringere Leistungsaufnahme, teilweise mehr Arbeitsspeicher und vorallem ECC-RAM.

Edit: Wurde schon von @Sweepi vorgeschlagen.

 

[CoMo]

Vorteile die ich hier sehen würde: Geringere Leistungsaufnahme, teilweise mehr Arbeitsspeicher und vorallem ECC-RAM.

ECC-RAM hat auch die normale 4090. Muss man nur im Control Center aktivieren.

 

[Deathangel008]

MSI B450 Mortar Max[...]Gegebenenfalls würde ich später noch eine weitere 4090 hinzufügen.[...]Zweite Frage: Mein Board unterstützt nur PCIe3.0.

der zweite x16-slot bei dem brett bietet nur 2.0_x4 (und wird deaktiviert wenn der untere M.2-slot belegt ist). nur so als anmerkung.

edit:
seit wann hast das Leadex Gold in betrieb? ein gutes 650W-NT muss man für ne 4090 nicht auf verdacht ersetzen; schon gar nicht wenn man das PL runterdreht.

 

[0mega]

Also eine (oder zwei) 4090 sind nice zum ausführen aber niemals zum trainieren. Die großen Modelle brauchen hunderte gigabytes an RAM. Und wenn du ein Businessmodell testen willst, dann mach das doch erstmal in der cloud. Ich würde sogar fast wetten das ist deutlich billiger als irgendwas selber zu machen, bei den Strompreisen in Deutschland.

Auch frage ich mich was du an 20$ pro Monat für chatgpt4 teuer findest? Und wenn nicht dieses Modell, einfach bei google colab das pro+ Abo für 50€ mtl. nehmen und Zugriff auf K80/T4/P100 mit 52GB vRAM bekommen? Das sollte doch mehr als reichen um alles zu testen

 

[trialgod]

Nur weil du ChatGPT für 20$ im Monat nutzen kannst, heisst das nicht, dass du die API von OpenAI kostenlos benutzen kannt. GPT-4 kostet 3Cent/1000Tokens Input und 6Cent/1000 Tokens Output. Da kommen schnell mal ein paar Hundert Dollar zusammen, wenn man viele Tests macht.

Ich möchte tatsächlich Dinge automatisieren. Welche genau ist noch nicht klar, aber es kann sich um alles handeln.

Es wird wohl auch ein Mix sein aus API und lokalen Tests. Je nachdem wie gut es funktioniert. Es kann und wird wahrscheinlich auch sein kleine Modelle selber zu trainieren. Fairerweise muss man sagen würde 3070 dafür aber wohl auch reichen.


Dass ich kein eigenes GPT trainieren kann ist mir durchaus bewusst. Muss ich ja nicht. Ich will es ja "nur" ausführen (siehe Llama/Alpaca).

 

[0mega]

Da kommen schnell mal ein paar Hundert Dollar zusammen, wenn man viele Tests macht.

Ja, aber glaubst du wirklich dass du mit Stromkosten in Deutschland günstiger wegkommst, abgesehen von den immensen up front Kosten?