Wasser-Kühlung für 12x RTX 4090

[brooker]

Auf dem Bild von oben muss das Wasser von der oberen in die untere Leitung. Dafür hat es drei Wege, jeweils durch die Grafikkartenkühler. Die Wege sind gleich lang, die Kühler von gleicher Bauart.
Dementsprechend geht auch überall gleich viel Wasser durch

... du hast Recht, ich habe es mir gerade aufm Rechner angeschaut. Ich muss für diesen Aufbau meine Aussage anpassen. Sorry.

 

[Duke711]

Das kann ich, glaube ich, widerlegen.

Dazu müsstest Du die Karte schon einzeln testen um das zu widerlegen. In den Test erreiche Die Manli bei 100% 65 °C GPU Temperatur bei ~ 22 °C Umgebungstemperatur.

Und bezüglich den Temperaturen der 4090:

22 °C

GeForce RTX 4090 MSI Suprim X 438 W 67 °C
GeForce RTX 4090 Asus TUF 436 W 65 °C
GeForce RTX 4090 Gainward Phantom 449 W 65 °C
GeForce RTX 4090 Gigabyte 432 W 62 °C
GeForce RTX 4090 Zotac 437 W 67 °C
GeForce RTX 4090 INNO3D iChill X3 429 W 66 °C


Wenn einem hier nichts auffällt.

Die Unterschiede kommen nur wegen leicht unterschiedlicher Leistung und vor allem wegen den Lüftern. Bei 100% sind doch die Temperaturen ziemlich gleich, auch kein Wunder, da der Kühlkörper bei allen fast gleich ist.
Man sieht auch wie schlecht deine Temperaturen bezüglich der Gainward sind. Die Zotac bekommt bei Dir eben die kälteste Zuluft ab.

Serverkarten haben nicht umsonst keine eigenen Lüfter:

https://img.computerunivers.net/images/800/90794187C11E7E88B3E7478C8C149362.jpg

Die werden horizontal angeströmt. Da sich bei Karten mit vertikaler Anströmung, wie bei Konsumerkarten, wegen des geringes PCI-E Slot Abstandes bezüglich Luftstrom, sich selbst blockieren und gegenseitig aufgeheizte Luft anssaugen. Auch ein alt bekanntes Problem bezüglich SLI mit zwei luftgekühlten Karten gewesen.

 

[Pjack]

Ist auch der Fall. 26 K bei ~ 80 L/h pro Karte und 450 W kommt hin.

Die Karten in Reihe zu setzen wird am Ergebnis nichts verbessern.
Natürlich geht dann durch jede Karte mehr Wasser durch, aber 80 L/h reichen vollkommen aus, mehr hat da nur noch wenig Einfluss auf die Temperaturen. Zumal in Summe der Durchfluss der Wasserkühlung sinken würde, da die Karten parallel weniger Widerstand darstellen, als in Reihe.

Wir haben dann also immer noch die gleiche Menge an Abwärme und die selbe Kühlfläche, also auch die selbe Wassertemperatur und in Summe auch nicht mehr Wasser, das durch das System bewegt wird. Da Ändert sich also nichts, außer dass die erste GPU dann halt kühler ist als die letzte.

Hier hilft entweder mehr Kühlfläche, mehr Luftdurchsatz oder niedrigere Raumtemperaturen. Serverseitig würde ich an diesem Aufbau der Wasserkühlung aber nichts ändern, durch den hohen Gesamtdurchfluss passt das auf den einzelnen Karten.

 

[brooker]

Natürlich geht dann durch jede Karte mehr Wasser durch, aber 80 L/h reichen vollkommen aus, mehr hat da nur noch wenig Einfluss auf die Temperaturen.

Die 80l/h sind nicht nur ausreichend, sondern mehr als genug, wenn man sich die Tests auf PCGH anschaut. Dort wurde festgestellt, dass ein Durchfluss von mindestens 35l/h praktisch ausreichend ist. Sprich, mit 80l/h ist hier ein gutes Polster vorhanden und der Durchfluss nicht der Grund für die Temperaturen.

https://www.pcgameshardware.de/Wass.../durchfluss-foerderhoehe-praxis-test-1163623/

... 26 K bei ~ 80 L/h pro Karte und 450 W kommt hin.

... ich sehe die 26° Delta mit Blick auf die Referenzen zu hoch an.

Für 3x 450 W benötigt ein Mora schon deutlich mehr als 1800 rpm.

... woher hast du diese Erkenntnis? Ich stelle sie dabei nicht in Frage, möchte sie aber einordnen können. Und welches Delta wird mit der Drehzahl mit welchen Lüftern bei welcher Abwärme erreicht? Danke.

 

[Duke711]

Natürlich geht dann durch jede Karte mehr Wasser durch, aber 80 L/h reichen vollkommen aus, mehr hat da nur noch wenig Einfluss auf die Temperaturen.

Nö -> Diagramm

 

[brooker]

Die Lüfter laufen momentan eher moderat. Da ist noch deutlich Potential nach oben.

... absolut, schaue mal hier:

https://hardware-helden.de/mo-ra-3-bis-supernova-monsterradiatoren-im-test/#Messergebnisse

 

[Duke711]

... ich sehe die 26° Delta mit Blick auf die Referenzen zu hoch an.

Nicht bei 80 L/h und 450 W

 

[Pjack]

Nö -> Diagramm

Ah jo, im Mittel 3°, das ist natürlich gar nicht wenig und löst dann sein Problem im Sommer.

 

[Sinusspass]

Die Karten in Reihe zu setzen wird am Ergebnis nichts verbessern.

Bisschen schon, aber nichts Weltbewegendes. Seriell ist von dem Temps her immer besser als parallel.

Natürlich geht dann durch jede Karte mehr Wasser durch, aber 80 L/h reichen vollkommen aus, mehr hat da nur noch wenig Einfluss auf die Temperaturen.

Stimmt nicht, kommt arg auf den Verbrauch der Hardware an, wie sehr der Kühler mit dem Durchfluss skaliert.

Zumal in Summe der Durchfluss der Wasserkühlung sinken würde, da die Karten parallel weniger Widerstand darstellen, als in Reihe.

Das stimmt, der Gesamtdurchfluss sinkt. Das holt man mit dem Einzeldurchfluss durch die Komponenten in der Regel wieder raus.

Da Ändert sich also nichts, außer dass die erste GPU dann halt kühler ist als die letzte.

... und dass durch verbesserte Strömungseffekte alle Kühler besser performen.

Hier hilft entweder mehr Kühlfläche, mehr Luftdurchsatz oder niedrigere Raumtemperaturen.

Sollten die 37°C Wassertemperatur am Auslass (kommt mir sogar plausibel vor bei 1000 Umdrehungen der Lüfter und ~20°C Raumtemperatur) stimmen, dann ist das schon mal kein Problem.

Die 80l/h sind nicht nur ausreichend, sondern mehr als genug, wenn man sich die Tests auf PCGH anschaut.

Nur ist dieser Test 8 Jahre alt (klar Physik ändert sich nicht) und verwendet Hardware, die weniger Strom verbraucht. Zum einen vermindern sich dadurch die Einflüsse des Durchflusses, zum anderen sind in dem Test keine hohen Durchflüsse abgebildet (was an der Testmethodik der PCGH bzw. den Anforderungen an den Test liegt), sodass man den nicht unbedingt als Referenz für Durchflusseinflüsse in diesem Szenario nehmen kann.
Schau dir mal meinen an.

... ich sehe die 26° Delta mit Blick auf die Referenzen zu hoch an.

Sie sind vielleicht ein wenig zu viel. Ich würde sie noch als plausibel einstufen.

 

[Duke711]

Ah jo, im Mittel 3°, das ist natürlich gar nicht wenig und löst dann sein Problem im Sommer.

Welche 3° ?

Von 80 zu meinen 170 L/h sind es 5 K.

Mal davon abgesehen das z.B. 60 L/h für über 1 kW bei einem Mora gar nicht ausreichen würden:

Mora 420

 

[Pjack]

Bisschen schon, aber nichts Weltbewegendes.

Ganz genau. Sein Problem ist im Endeffekt die Kühlfläche und die Menge an insgesamt abzuführender Wärme.

Stimmt nicht

80 Liter pro Stunde reichen also nicht aus, ok.

Das holt man mit dem Einzeldurchfluss durch die Komponenten in der Regel wieder raus.

Ist bei dieser Aussage auch der verringerte Durchfluss auf dem Radiator mit berücksichtigt?
Ich würde schätzen, dass er seriell nur noch etwa 160 Liter pro Stunde Durchfluss erreicht.

Welche 3° ?

Schau in dein Diagramm. Beim Heatkiller sind es sogar nur 2° von 80 auf 160 L/h.

Mal davon abgesehen das z.B. 60 L/h für über ein 1 kW bei einem Mora gar nicht ausreichen würden:

Und genau da wird der Durchfluss sinken, wenn die Karten in Reihe sind.

Aber was solls, ihr könnt hier noch seitenweise diskutieren. Die Karten in Reihe zu schalten wird sein Problem nicht lösen.

 

[Sinusspass]

Ganz genau. Sein Problem ist im Endeffekt die Kühlfläche und die Menge an insgesamt abzuführender Wärme.

Wenn die Wassertemperatur stimmt (was sie mit 37°C, ausgehend von 20°C Lufttemperatur auf jeden Fall tut, auch mit Blick auf den Sommer), dann ist die Kühlfläche soweit erst einmal kein Problem. Stimmt die Wassertemperatur nicht mehr, weil sie schon jetzt 50°C erreichen würde, dann wäre das was Anderes.

80 Liter pro Stunde reichen also nicht aus, ok.

Tun sie. Aber mehr bringt noch einen Mehrwert, gerade bei höheren Verbräuchen.

Ist bei dieser Aussage auch der verringerte Durchfluss auf dem Radiator mit berücksichtigt?

Ja. Schau dir meinen verlinkten Test an. Ein Radiator skaliert eher schlecht mit dem Durchfluss. Beim Mora tut sich nach 100l/h wenig, erst ab 300 bekommt man wieder einen ordentlichen Sprung.

Ich würde schätzen, dass er seriell nur noch etwa 160 Liter pro Stunde Durchfluss erreicht.

Kann gut stimmen.

Aber was solls, ihr könnt hier noch seitenweise diskutieren. Die Karten in Reihe zu schalten wird sein Problem nicht lösen.

Das behauptet auch niemand. Das ist nur Optimierung und Spaß am Diskutieren. Faktisch hat er auch kein Problem. Klar kann er jetzt die Anzahl an Radis erhöhen. Um was zu erreichen? 10K bessere Temps? Sicher, als Enthusiast macht man alles für 3K, aber wenn die Karten nur funktionieren sollen, ohne zu throtteln, wo ist das Problem, wenn das Wasser 40°C erreicht?

 

[Duke711]

Schau in dein Diagramm. Beim Heatkiller sind es sogar nur 2° von 80 auf 160 L/h.

Ich kenn da Diagramm und da sind es aber 3,5 K zzgl. Messtoleranzen. Repräsentativ ist die rote oder graue Kurve und da sind es 5 K.

 

[brooker]

@Pjack und @Duke711 wer hat die Daten für die von Euch verwendeten Diagramme erhoben?

 

[Pjack]

Ich habe nur aus dem Diagramm von Duke zitiert.

Wenn der TE in Bastellaune ist, könnte er ja mal testweise eine zweite Pumpe in den Kreislauf einbauen. Würde mich in der Tat interessieren, was zusätzlicher Durchfluss in der Konstellation bringt. Ist auf jeden Fall schneller gemacht, als die parallelen Karten hintereinander zu hängen.

 

[brooker]

@hbaerbel ... wir erreichen demnächsr draußen die 30 Grad. Wie schlägt sich deine WaKü Lösung?

 

[hbaerbel]

Bisher sind nach wie vor nur 3 GPUs umgerüstet. Ich hatte etwas Probleme die passenden Bykski Kühlkörper zu beschaffen für die nächsten 3. Jetzt sind sie auf dem Weg und sollen bis Ende Juni eintreffen.
Die umgerüsteten GPUs schlagen sich großartig. Trotz einer Raumtemperatur von um die 30°C bleibt die Chiptemperatur stets unter 65°C.
Ich geb nochmal Rückmeldung, wenn alle geplanten 6 GPUs unter Wasser stehen.

 

[Drewkev]

Chiptemperatur stets unter 65°C.

HotSpot oder nicht?

 

[hbaerbel]

Was meinst du mit HotSpot?

 

[Drewkev]

Wenn du die Temperatur der GPU misst hast du zwei Werte, einer davon ist der HotSpot und namensgebend der höhere. In der Regel reden wir da von einer Differenz von bis zu 25°C, an diesem richtet sich auf der Takt und so weiter.