News Workstation: Mifcom bestückt PC mit sieben RTX 4090 für 29.000 Euro

[Schinken42]

Machen sieben "Consumer-4090" überhaupt Sinn, oder nimmt man für solche Workstations dann nicht eher die Profi-Karten von Nvidia mit mehr RAM und optimierten Treibern? Ich könnte mir vorstellen, vier Quadro-Karten sind am Ende genauso schnell wie sieben Consumer-Karten und verbrauchen deutlich weniger Strom.

Hab ich schon gefragt und wurde ausführlich beantwortet, siehe Posts von @BOBderBAGGER
@matze313
und
@Conqi
😁

 

[flappes]

Damit könnte ich mein Zimmer in wenigen Minuten zur Sauna verwandeln.

 

[spacemonQuee]

Nein, das ist Quatsch. Zum zocken mag das so sein, aber man kann die Karten ja auch einzeln nutzen, oder auch für Tools, wo jede Karte ihren eigenen Speicher nutzt. Somit ist die Aussage völlig richtig.

ok dann nenne mir eine Anwendung die die 168GB Ram nutzen kann.
du kannst 7 mal 24GB nutzen, aber nicht 168.

 

[matze313]

168GB Grafikspeicher sind totaler quatsch denn die Karten teilen sich den nicht. es stehen 24GB Grafikspeicher zur Verfügung.

Das ist Quatsch, es stehen natürlich die vollen 168GB Grafikspeicher zur Verfügung. Man braucht halt Anwendungen, die das nutzen. Hat man genug RAM Verbaut, stehen bei dem System auch gerne mal 336GB (virtueller) VRAM bereit. Meine 4060Ti hat 16GB, dank genug RAM werden aber 32GB VRAM für CUDA Anwendungen adressierbar bereitgestellt. Sobald der VRAM überläuft und RAM verwendet wird, rechnet es natürlich langsamer.

Ich könnte mir vorstellen, vier Quadro-Karten sind am Ende genauso schnell wie sieben Consumer-Karten

Nein, eher andersrum, sieben Quadros sind ca. so schnell wie 4 Consumer. Der Stromverbrauch ist allerdings daher tatsächlich etwas geringer bei den Quadros.
Natürlich verzichtet man dann auf andere Benefits wie ECC-VRAM.

 

[Novasun]

Schön gebaut, da kann man nicht meckern. Ob unter Volllast die Sicherung drin bleibt ?😂

Im Handbuch steht bestimmt das die beiden Netzteile in separate Stränge der Elektrik verkabelt werden müssen... 4k Watt alter Falter... Aber hey schon geil das Teil. Auf die Idee muss man so erst mal kommen...
Azubi zum Chef - ich hab da ne Idee - getreu dem Motto was brauchen wir - mehr Power...

 

[matze313]

ok dann nenne mir eine Anwendung die die 168GB Ram nutzen kann.

Stable Diffusion (A1111), textgeneration-webui (damit kann man lokale Sprachmodelle ausführen und Trainieren), diverse andere AI-Trainings und Inferenz Tools.

Man bekommt auch sehr schnell sehr viel mehr als 168GB in einer Session voll.

 

[spacemonQuee]

Das ist Quatsch, es stehen natürlich die vollen 168GB Grafikspeicher zur Verfügung. Man braucht halt Anwendungen, die das nutzen. Hat man genug RAM Verbaut, stehen bei dem System auch gerne mal 336GB (virtueller) VRAM bereit. Meine 4060Ti hat 16GB, dank genug RAM werden aber 32GB VRAM für CUDA Anwendungen adressierbar bereitgestellt. Sobald der VRAM überläuft und RAM verwendet wird, rechnet es natürlich langsamer.

Ich finde, dass das wiederum quatsch ist. Du redest von out of core gewisser anwendungen. so gesehen hab ich mit einer 3090 hier auch 152GB VRAM weil ich 128GB RAM habe die theoretisch mitgenutzt werden könnten (was ich bei mir auf 96GB begrenzt habe).

Ich möchte hier aber jetzt auch keinen Streit vom Zaun brechen und lasse mich gerne belehren wenn ich falsch liege. Kenne es von meinen CUDA Anwendungen nur so: mit NVLink (unterstützung also nur bis zur 3090 und 3090Ti oder manche Profi und Quadro Karten) verdoppelt sich der verfügbare VRAM wenn man zwei Karten verbindet. Wenn ich eine 3090 und bspw. eine 3070 nutze, dann kann ich in meinem fall nur insgesamt 8GB VRAM nutzen da die kleinste Karte der limitierende Faktor ist. natürlich könnte ich auch zwei unterschiedliche Dinge mit jeder Karte berechnen, dann stünde mir mit einer trotzdem nur 24 und mit der anderen 8 zur verfügung und nicht 32...

 

[nebukadnezar.ll]

But can it run crysis?

Ach Mist, das wollte ich grad schreiben!

 

[Weyoun]

Nein, eher andersrum, sieben Quadros sind ca. so schnell wie 4 Consumer. Der Stromverbrauch ist allerdings daher tatsächlich etwas geringer bei den Quadros.
Natürlich verzichtet man dann auf andere Benefits wie ECC-VRAM.

Das hängt stark vom Einsatzgebiet ab. Wenn man damit grafiklastige Sachen macht, sind vielleicht die reinen Graka besser. Wenn man aber andere Sachen damit anstellt (komplizierte mathematische Faltungen z.B.) sieht es schon wieder anders aus. Die Profi-Karten werden zudem nicht so hoch getaktet und dürften trotz doppeltem Speicher am Ende weniger verbrauchen als die Consumer-Karten.

 

[Intruder]

denn SLI ist tot

offiziell ja - inoffiziell halb tot. Man konnte viel über den Nvidia Inspector regeln und einstellen. Hatte letztes Jahr noch sehr gut mit meinem GTX 980 SLI System funktioniert. Bis glaube RTX 2090 sollte es offiziell noch funktionieren und danach sollte Ende gewesen sein. Jedenfalls sollte es mit der RTX 3000er kein SLI mehr geben bis auf eine Ausnahme...

Gibt es noch SLI? Ich glaube nicht.

wenn ich mich nicht irre, waren die RTX 3090 die letzten Karten gewesen...

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

ob es rein per Software mit den RTX 4090 funktionieren würde, weiß ich nicht da ich es nie ausprobiert habe.

 

[Krausetablette]

Das System wär doch was fürs kommende Nicolaus Gewinnspiel auf CB...

 

[mibbio]

ob es rein per Software mit den RTX 4090 funktionieren würde, weiß ich nicht da ich es nie ausprobiert habe.

Per Software wird man die Karten wohl nur jeweils einzeln ansprechen und mit Arbeit versorgen können. Hätte bei so einer Zusammenstellung wie bei diesem PC auch eher erwartet, dass dort Workstation-Modelle der Grafikkarten verbaut wird, damit NVLink nutzbar ist.

 

[Novasun]

Stable Diffusion (A1111), textgeneration-webui (damit kann man lokale Sprachmodelle ausführen und Trainieren), diverse andere AI-Trainings und Inferenz Tools.

Man bekommt auch sehr schnell sehr viel mehr als 168GB in einer Session voll.

Ich glaube seine Frage zielte nicht darauf ab ob man 168GB VRAM voll bekommt - sondern ob es Software gibt die die 7 Töpfe wirklich wie einen ansprechen kann.
Hinzu kommt hier die Problematik - was passiert wenn deine Daten nicht im Speicher der GPU liegen die sie gerade berechnen soll...
Alles über PCI E schaufeln... NV hat deswegen doch in den dicken Kisten einen speziellen NV Link im Einsatz...

AMD hatte da mal was - bei NV weiß ich es nicht...

 

[minimii]

Wow. Ein Radiator Sandwich.

Ohje......

 

[Bulletchief]

Sieht erstaunlich kompakt aus für den Inhalt. Nicht schlecht 🤔

 

[matze313]

Du redest von out of core gewisser anwendungen.

Das war ja nur ein Beispiel. Ausserdem belegt das ja die Notwendigkeit von möglichst viel VRAM für gewisse Anwendungen.
Kann eine Anwendung nicht auslagern, stürzt sie halt ab.

Allerdings muss ich mich tatsächlich verbessern, die 4090er unterstützen ja gar kein NVLink mehr, also auch kein Pooling, daher ist es tatsächlich eher 7x24GB.

Ändert abern nichts daran, dass die von mir genannten Anwendungen sowohl 7x24GB (dann eben als gesplitteter Workload) als auch auch ohne Probleme einen Memory Pool von 1TB+ vollbekommen.
Andere Anwendungen, welche nicht splitten können, schauen dann natürlich eher in die Röhre.

 

[Eller]

Also ich hätte das System lieber mit zwei externen MORA 420 und acht Noctua NF-A20, damit kann man dann die Wärme besser im Raum verteilen.
Bzw. würde ich eh auf den 7000er Threadripper waren, bei dem Preis.

 

[mibbio]

AMD hatte da mal was - bei NV weiß ich es nicht...

Das Gegenstück zu Nvidias NV Link hatte AMD mal xGMI eingeführt. Weiß aber jetzt nicht, ob das die aktuellen Workstation-Karten immer noch genutzt wird.

 

[Rickmer]

Was ich meine: Gibt es für die Fälle in denen man die Leistung nutzt nicht spezialisierte Hardware? Also, klar gibt es die, die eigentliche Frage ist, ist das gleich soviel teurer, dass sich das Teil hier noch lohnt?

Ja, allein schon Workstation GPUs kosten das Vielfache einer RTX 4090. Eine RTX 6000 (eine 4090 mit 48GB VRAM) kostet zumindest laut Geizhals 9400€ - das Stück.

Klar, da gäbe es die A6000 das ist afaik der 4090 Kern mit doppeltem Speicher für ~5k das Stück oder die die etwas langsamere A5000 für ~3k.

Nope, die RTX A6000 ist eine Generation älter, das wäre eine RTX 3090 mit doppeltem VRAM. Die neue ist die RTX 6000 ohne A und die kostet nochmal ein paar Tausender mehr.

Nein, ich habe keine Ahnung, was sich nvidia bei dem Namensschema gedacht hat. Vermutlich waren die alle sturzhageldicht als die Entscheidung getroffen wurde.

Die News zur Ankündigung zum nachlesen: https://www.computerbase.de/2023-01/nvidia-a6000-ada-generation-6800-us-dollar/

 

[mibbio]

Eine RTX 6000 (eine 4090 mit 48GB VRAM) kostet zumindest laut Geizhals 9400€ - das Stück.

Das aber auch Endkundenpreise sind. Ein PC-Fertiger bekommt da, je nach Abnahmemenge sicherlich anderen Preise. Wobei so einer wie Mifcom vermutlich tatsächlich nahe der Endkundenpreise im Einkauf liegt und Rabatte hauptsäch so Größen wie IBM, Dell oder HP bekommen.

Ergänzung (21. August 2023)

Die neue ist die RTX 6000 ohne A und die kostet nochmal ein paar Tausender mehr.

Nein, ich habe keine Ahnung, was sich nvidia bei dem Namensschema gedacht hat. Vermutlich waren die alle sturzhageldicht als die Entscheidung getroffen wurde.

Das Namenschema ist sogar noch verwirrender. Denn bei den Workstationmodellen war die RTX 6000 Turing, zusammen mit RTX 4000, RTX 5000, RTX 8000. Bei Ampere kam dann das A vor die Nummer, was noch irgendwie logisch ist (A wie Ampere). Nur ist man dann bei Ada wieder zurück zu RTX 4000 & RTX 6000 wie schon bei Turing, nur mit dem Zusatz "Ada Generation".
Hätte man eigentlich auch L4000 und L6000 nennen können, also mit L für Lovelace.