Der nächste Thread zur RTX 4070 und welche CPU... ^-^

[RumRangierer]

Hallo zusammen,

anders als die meisten von euch hier wohl interessieren mich an der RTX 4070 keine fps und keine Games, sondern nur die Tensor-Cores (Stichwort AI). Am Ende wird das Teil sogar headless (und am liebsten unter Linux) laufen. Da es noch kein System gibt, kann ich auch meine Komponenten nicht aufzählen.

Kurz gesagt, weder Board noch CPU noch RAM sollten die GraKa ausbremsen, und es wird eine recht hohe Netzwerk-Last geben. Idealerweise sollte das System auch zwei der 4070er aushalten, aber wie gesagt nicht für Gaming, sondern nur für das AI-Gedöns. Fällt euch da ein gutes Setup ein? Auch Tipps zum RAM (wie viel, wie schnell?) und zum Netzteil wären natürlich klasse, aber zuerst interessieren mich eure Ansagen in Sachen Board und CPU. Ob Intel oder AMD ist mir relativ, aber ein paar meht Threads und stabil unter Linux wären schon klasse.

Das Ganze muss nicht möglichst billig, sondern mögilchst stabil sein, aber ich brauch auch kein RGB-Geflacker. Die Kiste endet früher oder später sowieso in nem anderen Raum, wo das Blinkiblinki höchstens ne Fliege erschrecken könnte.

Danke schonmal vorab!

 

[Ayo34]

Bleibt erst mal die Frage, welche AI? Die 4070 hat nur 12GB VRAM und ist damit für viele AI-Tools alles andere als optimal. Stable Diffusion geht mit 8GB VRAM, FLUX ist besser mit 16-24GB VRAM, manche LLM brauchen noch mal deutlich mehr. So geht es beim RAM weiter. Manche brauchen wenig RAM, anere profitieren auch von 256GB RAM. Die CPU wird häufig (fast) gar nicht gebraucht...

 

[NameHere]

Du bist im falschen Unterforum gelandet.
PL für SD ist die 4070 Super wohl am besten. Willst du Modelle selbst generieren eher eine 4070Ti Super mit 16 VRAM. Am besten eine 4090.
Aus dem Empfehlungsthread grob die 1500,-€ Konfi aber mit einer 7700er CPU und 64GB RAM https://www.computerbase.de/forum/t...t-zusammenstellen.215394/#text-build1000-1500

 

[HisN]

Ich würde mich auch erst mal damit auseinandersetzen wie viel RAM ich wirklich brauche für meine Anwendung (die wir nicht kennen). Überschreitet die Menge 128GB bist Du bei Mainstream-Hardware sowieso raus.
Und dann vielleicht noch ein Board das gleichzeitig 2 Grakas und 2x 10GBe (oder schneller) Nic anbinden kann ... HEDT. Also Richtung Threadripper z.b.

 

[Rickmer]

Für AI (und insbesondere LLMs) solltest du eine gebrauchte RTX 3090 statt einer 4070 kaufen. Doppelt so viel VRAM und eine deutlich höhere Speicherbandbreite machen einen riesigen Unterschied.

Für Stable Diffusion reichen 32GB VRAM, für Flux oder LLMs solltest du mindestens 64GB verfügbar haben. CPU reichen 8 Kerne Mittelklasse locker.

 

[RumRangierer]

Danke erstmal für eure Antworten. Ja, so schaut es aus, die 12GB kamen mir auch mager vor, aber es geht hier erstmal um ein POC, und die Hardware sollte realistisch sein, aber nicht gleich ein Jahresgehalt kosten. Dass bei AI nicht der Himmel, sondern das Budget das Limit ist, ist mir völlig klar. Wir wollen auch nicht ChatGPT 4 nachbauen.

Der Punkt, der da wichtig ist, ist eben die hohe Netzwerklast. Es geht eben darum, das ganze Learning-Zeug verteilt zu verarbeiten. Letztlich werden bei einem Endkunden ganz verschiedene AIs laufen, aber da reden wir von 2-3 Jetson Orin, deren NNs regelmäßg Updates kriegen, nicht von 1024 x 3 x RTX 4090.

Threadripper, @HisN, hatte ich auch schon im Kopf, genau wegen deinen Punkten.

 

[NameHere]

Da der ganze Spaß aufwendiger ist, sollte es in der Desktop Kaufberatung sein. Bitte alle Angaben machen (auch das Budget) und so ausführlich wie möglich.

Hier ist es weniger zielführend.

 

[Ayo34]

Danke erstmal für eure Antworten. Ja, so schaut es aus, die 12GB kamen mir auch mager vor, aber es geht hier erstmal um ein POC, und die Hardware sollte realistisch sein, aber nicht gleich ein Jahresgehalt kosten. Dass bei AI nicht der Himmel, sondern das Budget das Limit ist, ist mir völlig klar. Wir wollen auch nicht ChatGPT 4 nachbauen.

Der Punkt, der da wichtig ist, ist eben die hohe Netzwerklast. Es geht eben darum, das ganze Learning-Zeug verteilt zu verarbeiten. Letztlich werden bei einem Endkunden ganz verschiedene AIs laufen, aber da reden wir von 2-3 Jetson Orin, deren NNs regelmäßg Updates kriegen, nicht von 1024 x 3 x RTX 4090.

Threadripper, @HisN, hatte ich auch schon im Kopf, genau wegen deinen Punkten.

Was ist realistische Hardware?
Was ist ein Jahresgehalt?
Du hast nirgends ein Budgetlimit genannt.
Was ist hohe Netzwerklast?
Was sind ganz verschiedene AIs? Viele AIs funktionieren eben nicht mit 12GB VRAM.

Ich würde mir ganz konkret ein Plan machen. Jede AI aufschreiben, jedes Anforderungsprofil aufschreiben, ein Budgetlimit setzen und dann schauen, wie du möglichst viel umgesetzt bekommst innerhalb vom Limit. Ebenso sollte eine Priorisierung der Dinge gemacht werden, wenn nicht alles möglich ist. Die Arbeit kann dir hier keine abnehmen.

Ich meine selbst eine 4060ti mit 16GB VRAM könnte besser und günstiger sein als eine 4070 mit 12GB VRAM. Eine 4070 mit 12GB VRAM ist eigentlich ideal... für einen Spielerechner in Bezug auf Preis/Leistung, aber nicht für KI. Wenn man dann Richtung 3090 auf Ebay schaut, dann sind das gigantische Unterschiede mit 24GB VRAM und kostet nicht viel mehr...

 

[RumRangierer]

Für AI (und insbesondere LLMs) solltest du eine gebrauchte RTX 3090 statt einer 4070 kaufen. Doppelt so viel VRAM und eine deutlich höhere Speicherbandbreite machen einen riesigen Unterschied.

In der Ecke war ich auch schon, aber die aktuellen TensorCore Libs kitzeln aus den 40xx TCs wesentlich mehr raus als aus den 30xx. Aber die 3090 bleibt eine Alternative.

Wenn es mein Budget hergeben würde, würde ich nen GB200 NVL72 ordern, und gut wärs ^-^

Noch ein (Nicht-)Argument: Einfach GPU-Power mieten! Nope, solange unser Kram noch kein Patent hat, und das wird es noch ein paar Jahre nicht haben, fällt das aus.

Für unsere ersten Experimente reichen 1-2 4070, evtl. ne Alternative mit mehr RAM an Bord aus, drum frag ich ja nach CPU und Board. Zu nem Threadripper tendiere ich inzwischen aber tatsächlich, besonders wenn 2 40xx auf dem Board stecken.

Ergänzung (23. September 2024)

Da der ganze Spaß aufwendiger ist, sollte es in der Desktop Kaufberatung sein. Bitte alle Angaben machen (auch das Budget) und so ausführlich wie möglich.

Hier ist es weniger zielführend.

Danke dir und euch allen. Dann wechsele ich mal in den anderen Bereich!

 

[Markchen]

👍