Wasser-Kühlung für 12x RTX 4090

[zwergimpc]

Der klassische Trick mit den zmt Schläuchen ist, sie vorher kurz mit dem Fön zu erwärmen und dann gehen sie "einfacher" drüber. Leider ist dieser Schlauch wirklich ein extrem Beispiel der definitiv scheisse drüber geht, darüber bist du nicht der einzige der da Probleme hatte durch den schlechten Innendurchmesser. Tygon würde ich probieren, jedenfalls alles ohne Weichmacher.

 

[omaschabubu]

Sehr interesantes Projekt, aber wäre nicht die günstigere und vorallem schnellere Lösung, einfach den Raum mit einer Klimaanlage auf 20 C° zu kühlen ? Wie @MojoMC schon sagte, die wärme geht nun von den Karten zwar weg, dennoch wir der Raum wo die Radiatoren sind auch sehr schnell sehr warm.

 

[hbaerbel]

Frage: zur Anordung und Bewertung der Temperaturen.

1. Anordnung: Pumpe>GPU2>GPU0>GPU5 ...?

2. Umgebungstemperatur im "MORA-Zimmer"?

3. Temp Kühlflüssigkeit Einkauf -und Auslauf?

Hallo,

zu 1.: Die Anordnung im Graph entspricht der PCIe-Nummerierung im BIOS. Die physikalische Anordnung entsprechend dazu müsste ich mal prüfen. 2,0,5 könnte aber passen...
zu 2.: Unbeheizt und Fenster angekippt. ca. 14°-18°C im Moment
zu 3.: Ich hab nur einen Sensor am Ausgang nach der letzten GPU. Dieser ist mit dem Quadro von Aquacomputer verbunden und dieser kann leider nur unter Windows ausgelesen werden. Es gibt zwar Linux Kernel-Module für Aquacomputer Komponenten aber diese greifen erst ab Kernel 5.15. Ich bin noch bei 4.15.

Grüße

 

[brooker]

Hallo,

zu 2.: Unbeheizt und Fenster angekippt. ca. 14°-18°C im Moment
zu 3.: Ich hab nur einen Sensor am Ausgang nach der letzten GPU. Dieser ist mit dem Quadro von Aquacomputer verbunden und dieser kann leider nur unter Windows ausgelesen werden. Es gibt zwar Linux Kernel-Module für Aquacomputer Komponenten aber diese greifen erst ab Kernel 5.15. Ich bin noch bei 4.15.

... Umgebungsluft am Radi 14-18° und bereits 60° Grad an der ersten GPU? Das ist nen Delta von über 40° und kommt mir selbst bei ner 3090 sehr hoch vor. Ich hätte jetzt als Ziel nen Delta von 25° gesetzt. Denn stell dir vor es ist Sommer, draußen sind 40° ... dann biste mit WaKü auch bei 80°+

@HisN ... wo lagst du denn mit so einem Flagschiff im Delta Umluft zu GPU unter Last? Mal als Referenz. Danke dir

Wie ist denn der MORA bestückt?

Und bitte bedenken, dass die Pumpe auch über das Medium gekühlt wird.

Das Delta unter den GPUs ist gut, Durchfluss ausreichend. Da könntest du noch ne Nummer 4 einbinden, wenn es der Radi wegbekommt.

Ich habe für den 420er MORA mit Industrielüftern ne Abgabe von max 3200W im Kopf. Hattest du bei Watercool das mal angefragt?

 

[HisN]

https://www.hardwareluxx.de/communi...urvergleich-4090-kühler.1326685/post-29559777

6x800RPM im Body, 2x 800 RPM im Dach und im Boden.

 

[hbaerbel]

... Umgebungsluft am Radi 14-18° und bereits 60° Grad an der ersten GPU? Das ist nen Delta von über 40° und kommt mir selbst bei ner 3090 sehr hoch vor. Ich hätte jetzt als Ziel nen Delta von 25° gesetzt. Denn stell dir vor es ist Sommer, draußen sind 40° ... dann biste mit WaKü auch bei 80°+

Die Temperaturen im Graph sind die vom Nvidia-Treiber übermittelten Werte zur GPU-Core-Temp. Die Wassertemperatur am Ausgang der 3ten GPU ist gefühlt bei 35°C. Zum Auslesen müsste ich erst wieder n Laptop anschließen. Alle 3 GPUs in der Loop laufen 24/7 unter Volllast bei 450W. Das ist n bisschen was anderes als beim Gaming denke ich.

Wie ist denn der MORA bestückt?

9x 140mm Lüfter von Arctic-Cooling. Geregelt mittels Rampe durch den Quadro.

Das Delta unter den GPUs ist gut, Durchfluss ausreichend. Da könntest du noch ne Nummer 4 einbinden, wenn es der Radi wegbekommt.

Es sind je 6 GPUs pro Server. Das geht mit 2x3 recht gut auf.

Ich habe für den 420er MORA mit Industrielüftern ne Abgabe von max 3200W im Kopf. Hattest du bei Watercool das mal angefragt?

Noch nicht. Ich hab aber auch noch n Industriegebläse hier, das könnte ich mal testen wenn die Temperaturen weiter steigen.

https://www.hardwareluxx.de/communi...urvergleich-4090-kühler.1326685/post-29559777

Ich werd nochmal die Werte unter Last aus der Aquasuite auslesen und hier einstellen. Das ist ne Super Referenz.

 

[brooker]

Zum Auslesen müsste ich erst wieder n Laptop anschließen.

... mache das bitte mal, damit du die Werte korrekt einordnen kannst. Evtl. ist es der Hotspot

Alle 3 GPUs in der Loop laufen 24/7 unter Volllast bei 450W. Das ist n bisschen was anderes als beim Gaming denke ich.

... das ist was anderes als Gaming, ohne Frage. Meine Erfahrungen diesbezüglich laufen in Richtung Folding@home und das kannst du gut vergleichen.

9x 140mm Lüfter von Arctic-Cooling. Geregelt mittels Rampe durch den Quadro.

Der Regelwert liegt wo? Die 35° Ausgang sind ok. Ich persönlich halte den Eingangswert für die Steuerung für wichtiger.

Noch nicht. Ich hab aber auch noch n Industriegebläse hier, das könnte ich mal testen wenn die Temperaturen weiter steigen.

... teste es mal aus. Der MORA kann mit ordentlich Luft ein Luft/Wasser Delta von 2-3° erzeugen.

Ich werd nochmal die Werte unter Last aus der Aquasuite auslesen und hier einstellen. Das ist ne Super Referenz.

... Transparenz ist die Lösung für die Bewältigung von technischen Herausforderungen. Es macht Sinn eine Anlage sensorisch voll auszustatten um Referenzen zu haben. Die restlichen Anlagen benötigen dann m.M.n. nur noch ein Eingangstemperatur Sensor und was die GPU Sensoren hergeben.

 

[Duke711]

Die Temperaturen im Graph sind die vom Nvidia-Treiber übermittelten Werte zur GPU-Core-Temp. Die Wassertemperatur am Ausgang der 3ten GPU ist gefühlt bei 35°C.

Wenn das Wasser tatsächlich nur 35° C hätte, dann wäre die 4090 bei 450 W nicht bei 63 °C, das ist schlechter als bei einer Luftkühlung. Da ist die Karte bei 450 W und 16 °C Raumtemperatur bei ~ 60 °C und das mit einer Luftkühlung.

Das Wasser hat vor der letzten GPU um die ~ 40 °C

Weder sind die 40 °C Wassertemperatur bei 16 °C gut, noch wird der Durchfluss ausreichend sein. Wundert mich sowie so warum hier sechs GPU Temperaturen anzegeigt werden, wenn nur drei Grafikkarten verbaut wurden.

So schaut eine richtig gut gekühlte 4090 aus:

Link

Für 3x 450 W benötigt ein Mora schon deutlich mehr als 1800 rpm. Den Industrie Radiator habe ich Dir nicht umsonst empfohlen. Passende G1/4" Anschlüsse sind schnell an Kupfer angelötet und die 3000 rpm Lüfter für den Mora sind nicht gerade günstig. Und im Sommer wird dein Konzept sowie so nicht mehr funktionieren. Enweder der Industrie Radiator oder mind. 2x Mora mit mind. 1500 rpm für drei GPUs. Gedanken über deine Raumkühlung solltest Du dir auch machen. Bei über 1 KW bekommst selbst im Sommer bei ausgebauten Fenster mit 26 °C Außentemperatur nicht unter 34 °C Raumtemperatur. Also wird dein jetziges Konzept ohne hin nicht mehr funktionieren. Mit deutlich mehr Kühlfläche könnte es im Sommer gerade so noch funktionieren. Sinnvoll ist es ohne hin nicht. Die Radiatoren müssen nach draußen.

 

[Sinusspass]

Nicht vergessen, die 3 Karten sind parallel drin. So hoch fällt der Einzeldurchfluss dann nicht mehr aus.
Eine genaue Wassertemperatur und ein genauer Durchflusswert wären aber sicher hilfreich.

 

[brooker]

... bei einer Parallelschaltung ist die Ermittlung des Einzeldurchflusses eine Kapitalanlage.

Ich glaube, dass die Parallelschaltung der Grund für das hohe Delta bzw. die hohe GPU-Temp sein wird.

 

[Sinusspass]

Da die 3 GPUs in etwa die gleiche Temperatur haben, wird der Einzeldurchfluss jeweils ziemlich identisch ausfallen, also einfach Gesamtdurchfluss/Anzahl der GPUs.

 

[brooker]

Nicht vergessen, die 3 Karten sind parallel drin. So hoch fällt der Einzeldurchfluss dann nicht mehr aus.

... sehe ich ganz genauso, ca. 33% des Eingangsdurchflusses durchfließen jeden einzelnen Kühler, sofern diese identisch sind.

 

[Sinusspass]

Im parallelen Aufbau sind die Einzeldurchflüsse abhängig vom Widerstand der einzelnen Kühler. Da die ziemlich ähnlich sind, fällt der jeweilige Widerstand und damit der jeweilige Einzeldurchfluss vergleichbar aus. Entsprechend reicht es, den Gesamtdurchfluss und die Wassertemperatur mit Messpunkt zu wissen.

 

[brooker]

... absolut. Solange in den Setups die selben Kühler verwendet werden, ist ein einmaliges Messen ausreichend.

 

[hbaerbel]

Hallo,

nachfolgend ein Screenshot aus der Aquasuite.

Der Temperatursensor sitzt am Ausgang der letzten GPU.

Wenn das Wasser tatsächlich nur 35° C hätte, dann wäre die 4090 bei 450 W nicht bei 63 °C, das ist schlechter als bei einer Luftkühlung. Da ist die Karte bei 450 W und 16 °C Raumtemperatur bei ~ 60 °C und das mit einer Luftkühlung.

Die Effektivität der Luftkühlung ist bei den Custom-Designs sehr unterschiedlich. Momentan verbaut sind:
1x ZOTAC GeForce RTX 4090 Gaming Trinity OC
2x Gainward GeForce RTX 4090 Phantom GS
3x Gainward GeForce RTX 4090 Phantom
6x MANLi GeForce RTX 4090 Gallardo

Die Gainward-GPUs kühlen über Lüfter sehr gut (<75°C). Etwas besser ist noch die Zotac (<70°C). Deutlich schlechter schneiden die MANLi ab. Hier liegt, selbst bei moderater Umgebungstemperatur von 20°C, die GPU schnell bei 83°C.
Daher habe ich zunächst 3 der 6 MANLi GPUs umgerüstet und konnte damit die Core-Temperatur um ca. 20°K senken. Damit bin ich sehr zufrieden.

Weder sind die 40 °C Wassertemperatur bei 16 °C gut, noch wird der Durchfluss ausreichend sein. Wundert mich sowie so warum hier sechs GPU Temperaturen angezeigt werden, wenn nur drei Grafikkarten verbaut wurden.

Der Nebenraum hat sich inzwischen auch schon auf knapp 21°C erwärmt. Es sind nicht nur 3 GPUs verbaut sondern in Summe 12. Wobei 6 davon gelegentlich schon in das "thermal throttling" laufen.

Für 3x 450 W benötigt ein Mora schon deutlich mehr als 1800 rpm.

Die Lüfter laufen momentan eher moderat. Da ist noch deutlich Potential nach oben.

Grüße

 

[Pjack]

Wenn die Wassertemperatur bei 37° liegt und die GPU's 63° erreichen, ist das ein Delta von 26.
Das ist soweit ganz normal. Ich habe bei meiner 6900XT ein Delta von ca. 20, da gehen aber halt nur 330 Watt drüber und nicht 450 Watt. Soweit passt das also.

Das Kühlmedium nimmt immer den Weg des geringsten Widerstandes - "rote Linie".

[IMG]https://pics.computerbase.de/forum/attachments/1235/1235906-4e1b3fac34423e8677138d66d5394306.jpg[/IMG]

Das stimmt so halt nicht. Wir reden hier von einem geschlossenem und vollständig gefüllten System. Die Flüssigkeit wird anteilig anhand der jeweiligen Widerstände der Wege verteilt werden. Da die Kühler gleich sind, wird auch überall ca. gleich viel durchfließen.

 

[brooker]

Das stimmt so halt nicht. Wir reden hier von einem geschlossenem und vollständig gefüllten System. Die Flüssigkeit wird anteilig anhand der jeweiligen Widerstände der Wege verteilt werden.

... es gibt die Grundsatzaussage: das Medium nimmt immer den Weg des geringsten Widerstandes, diese gilt nicht nur in diesem Fall, sondern bspw. auch beim elektrischen Strom

Da die Kühler gleich sind, wird auch überall ca. gleich viel durchfließen.

... wenn die selben Kühler und Schlauchlängen verwendet werden, ist das so.

 

[Pjack]

Auf dem Bild von oben muss das Wasser von der oberen in die untere Leitung. Dafür hat es drei Wege, jeweils durch die Grafikkartenkühler. Die Wege sind gleich lang, die Kühler von gleicher Bauart.
Dementsprechend geht auch überall gleich viel Wasser durch.

Wenn da insgesamt 10% Unterschied in den Wegen sind, wäre das schon viel - und selbst dann würde das nur bedeuten, dass da dann halt 10% weniger Wasser durch geht. Solange überall über 50-60 Liter pro Stunde durch gehen, passt das.

 

[Duke711]

Die Gainward-GPUs kühlen über Lüfter sehr gut (<75°C). Etwas besser ist noch die Zotac (<70°C). Deutlich schlechter schneiden die MANLi ab. Hier liegt, selbst bei moderater Umgebungstemperatur von 20°C, die GPU schnell bei 83°C.

70 °C bei der Zotac ist bei 20 °C Raumtemperatur deutlich schlechter als bei den getesteten Zotac. Aufgrund der 5 kW Abwärme im Raum werden sich die Grafikkarten gegenseitig aufgewärmte Luft ansaugen und im Raum wird ein deutlicher Temperaturunterschied vorliegen.

Bezüglich der Manli, die Aussage stimmt so nicht. Die Kühler sind bei der 4090 alle ziemlich gleich. Die Manli wird nur im Auto-Modus so warm, weil hier ein geringes Lüfter-Setup gewählt wurde. Auf voller Lüfterleistung schafft die Manli um die ~ 65 °C. Bei Dir hängt im wesentlich die unterschiedliche GPU Temperatur von der Einbaulage deiner Grafikkarten hat. Die Karte mit 82 °C GPU wird eben die heißeste Luft ansaugen.

Wenn die Karten schon bei Außentemperatuen von ~ 12 °C, bei geöffneten Fenster, ins Thermal throttling laufen, würde ich nicht zu frieden sein. Dann bin ich mal auf den Sommer gespannt. Wassertemperaturen dann eher 50 °C +

Ich glaube, dass die Parallelschaltung der Grund für das hohe Delta bzw. die hohe GPU-Temp sein wird.

Ist auch der Fall. 26 K bei ~ 80 L/h pro Karte und 450 W kommt hin. Ich bin ja auf den Sommer bei 30 °C gespannt. Da dann 5 kW in den Raum blasen, da nützt einem auch ein Fenster nicht. Aber man wird sicher hier berichten.

 

[hbaerbel]

Bezüglich der Manli, die Aussage stimmt so nicht. Die Kühler sind bei der 4090 alle ziemlich gleich. Die Manli wird nur im Auto-Modus so warm, weil hier ein geringes Lüfter-Setup gewählt wurde. Auf voller Lüfterleistung schafft die Manli um die ~ 65 °C. Bei Dir hängt im wesentlich die unterschiedliche GPU Temperatur von der Einbaulage deiner Grafikkarten hat. Die Karte mit 82 °C GPU wird eben die heißeste Luft ansaugen.

Das kann ich, glaube ich, widerlegen. Die Lüftersteuerung wird zentral über nfancurve abgewickelt. Das AutoSetup ist deaktiviert. Die MANLi mit Luftkühlung performen deutlich schlechter als der Rest.

Was deine Sorge zu den sommerlichen Temperaturen angeht, hast du vermutlich Recht. Ich hatte im letzten Sommer "nur" 10x 3090 zu laufen und selbst gingen die Raumtemperaturen z.T. bis knapp 40°C hoch. Auch bei maximaler Belüftung.