Wasser-Kühlung für 12x RTX 4090

[hbaerbel]

Hallo Zusammen,

ich bin gerade erst dabei mich ein wenig in das Thema Wasserkühlung einzulesen.
Die Rechner die ich kühlen möchte sind "ein wenig" außerhalb der Norm.
Ich betreibe 2 AMD EPYC Server mit je 6 RTX 4090 zur Simulation neuronaler Netze. Beide Server sind als Open-Rig aufgebaut. Im Grunde ähnlich wie man es von Mining-Rigs kennt.
Die Abwärme beider Systeme beträgt je nach Anwendung unter Volllast jeweils 3,5 kW wobei die meiste thermische Energie über die GPUs anfällt.
Sind solche Systeme überhaupt sinnvoll mit WaKü-Systemen aus dem Consumer-Bereich kühlbar?
Momentan sehe ich das Problem im Bereich des Radiators. Gibt es aktive Kühler mit Kompresser ähnlich wie bei Split-Klimaanlagen?
Vielleicht hat ja jemand eine Idee oder sogar schon Erfahrung mit ähnlichen Systemen.
Danke schon mal im voraus!
Gruß
Baerbel

 

[Drewkev]

Sind solche Systeme überhaupt sinnvoll mit WaKü-Systemen aus dem Consumer-Bereich kühlbar?

Puh, ich denke nicht. Man könnte zwar 5 Moras oder sogar mehr anschaffen, aber 3,5kW ist eine Menge. Ist sicher irgendwo auch eine Platz- und Kostenfrage.

Warum genau willst du die unter Wasser setzen?

 

[Stefcom64]

Wäre da nicht schon ein Serverschrank mit integrierter Kühleinrichtung geeignet?

 

[hbaerbel]

Danke für die schnelle Rückmeldung.

Warum genau willst du die unter Wasser setzen?

Ich bekomme die Abwärme nicht weg. Im letzten Sommer hatte ich "nur" 10 RTX 3090. Und da hatte ich schon Probleme mit thermische bedingter Leistungsdrosselung auf den GPUs.
Platz ist kein Problem. Die Server haben 50m² nur für sich. Und dass es nicht günstig wird ist mir auch klar. Hatte sogar schon mir Immersions-Kühlungen für ca. 5-10 Tsd € geliebäugelt. Aber auch da muss die thermische Energie irgendwo hin.

 

[Drewkev]

Platz ist da, Geld ist auch da. Du kannst schon die Wasserkühlung selber bauen, aber was wenn die Kühlleistung plötzlich (aus welchem Grund auch immer) rapide abfällt?

Ja in der Praxis ist die relativ zuverlässig aber man kann nie wissen, gibt es überhaupt Wasserblöcke für Epyc Prozessoren oder geht es nur um die Grafikkarten? Industrielle Lösungen sind keine Idee?

 

[fairhext]

Also man könnte natürlich massig MoRas anschaffen aber das ganze schreit ja förmlich nach ner industriellen kühllösung. Z.b mit nem sehr starken chiller

 

[FUSION5]

Man könnte zwar 5 Moras oder sogar mehr anschaffen, aber 3,5kW ist eine Menge.

Das müsste aber schon gut gehen. Vielleicht auch mit drei bis vier Stück. Wenn Lautstärke keine übergeordnete Rolle spielt, mit den NF-A20 PWM-HS von Watercool.

@hbaerbel
Eventuell direkt bei Watercool anfragen, ob die Erfahrungswerte von Systemen im Bereich 3,5kw haben.

Ergänzung (2. März 2023)

Ja in der Praxis ist die relativ zuverlässig aber man kann nie wissen, gibt es überhaupt Wasserblöcke für Epyc Prozessoren oder geht es nur um die Grafikkarten?

SP3 war meine ich Baugleich mit TRX40 und Konsorten

 

[Stefcom64]

Laut Internet gibt es Server die Abwärme von bis zu 35KW erzeugen, diese werden gekühlt mit Industriellen Lösungen. Also, ich würde mich mal schlau machen was die Industrie so bietet in deinen Abwärme-Regionen!

 

[SKu]

Ich gehe mal davon aus, dass die Systeme gewerblich genutzt werden. Da wäre wohl eine Lösung von RITTAL möglich. Die bieten auch Schränke mit Luft/Wasser Wärmetauscher für kleine bis mittlere Systeme an. Die können ohne Probleme 10 is 20 kW an Kühlleistung aufbringen.

 

[Pjack]

Bei 7 kW Abwärme ist es ja nicht nur eine Frage der Kühlung der Systeme, sondern dann auch des gesamten Raumes. Mit der Menge an Abwärme heizt man im Winter bequem 75 m², im Sommer will man das garantiert nicht in einem 50 Quadratmeter großem Raum haben.
Also braucht man zwingend eine professionellere Lösung, die die Wärme auch aus dem Raum bringt.

 

[hbaerbel]

gibt es überhaupt Wasserblöcke für Epyc Prozessoren oder geht es nur um die Grafikkarten? Industrielle Lösungen sind keine Idee?

Die Prozessoren sind nicht das Problem. Da sorgen große Noctua CPU-Kühler für ausreichen Kühlung.
Es geht nur um die Grafikkarten. Ich hab schon ne weile nach industriellen Lösungen recherchiert. Auch das nachrüsten einer großen Klimaanlage hab ich schon in Betracht gezogen. Aber eine Luftkühlung ist immer nur suboptimal. Wasserkühlungen für den kommerziellen Bereich konnte ich bis auf besagte Immersions-Kühlsysteme bisher nicht finden.

Ergänzung (2. März 2023)

Ich gehe mal davon aus, dass die Systeme gewerblich genutzt werden. Da wäre wohl eine Lösung von RITTAL möglich.

Ja, so ist das. Ich werde mir mal RITTAL ansehen.
Danke für den Hinweis

Ergänzung (2. März 2023)

Bei 7 kW Abwärme ist es ja nicht nur eine Frage der Kühlung der Systeme, sondern dann auch des gesamten Raumes. Mit der Menge an Abwärme heizt man im Winter bequem 75 m², im Sommer will man das garantiert nicht in einem 50 Quadratmeter großem Raum haben.

Das zugehörige Geschoss ist ca. 200m² groß. Das halte ich bei geschlossenen Fenstern im Winter locker bei molligen 25°. Mit deiner Sommer-Prognose hast du vollkommen recht. D.h. ich brauch ne Lösung solange es noch kühl ist.

 

[WiP3R]

Alphacool bietet auch Kühllösungen für den Professionellen/Servermarkt an. Vlt. schreibst du denen man ne Anfrage mit Bild des Aktuellen Aufbaus.

 

[fairhext]

https://www.renocold.com/kaltwassersatz/kaltwassersatz-10-kw-chiller

Nen chiller. Sollte das packen. Aber der selber verbraucht natürlich auch einiges..

 

[ueg]

Das Problem mit Chillern wird vermutlich nicht das Kühlen sein, sondern eher der Abtransport der Wärme.
Wir haben auf der Arbeit auch Chiller für unsere Laser und entweder wird der Raum heiß wenn man Luft-Wasser-Chiller verwendet, oder man hat dauerhaft einen riesigen Wasserverbrauch wenn man Wasser-Wasser-Chiller verwendet…

 

[immortuos]

Ich würde da ganz pragmatisch vorgehen und für jeweils 2 GPUs einen Loop anschaffen:
1 x MoRa 3 420 LT
2 x Arctic P14 PWM PST Value 5-Pack
1 x DDC 4.2 PWM
1 x Aqualis DDC 150
1 x Temperatursensor mit G 1/4" Gewinde
1 x DFM Highflow 2 LT
1 x AC Quadro
1 x USB-Kabel A-Stecker auf Miniaturstecker, Länge 200 cm
X x 1M EPDM Schlauch 16/10
6 x 16/10 Schlauchanschluss
6 x Colder NS6 Schnelltrenner

Dann hast du effektiv 6 Loops, die alle separat von Quadros überwacht werden, die MoRas dann möglichst in der Nähe eines Fensters positionieren und dieses bei wärmeren Temperaturen einfach öffnen.
Falls es bei einem Loop aus welchem Grund auch immer Probleme gibt, kannst du dann mit den Schnelltrennern ganz entspannt jeweils eine der GPUs aus dem betroffenen Kreislauf in einen der anderen Kreisläufe integrieren und hast keinen Nutzungsausfall. Eventuell auch über eine zweite Pumpe pro Kreislauf nachdenken.
Von Chillern würde ich absehen, damit hat man noch mehr Abwärme im Raum und nötig ist das bei dem vielen Platz eigentlich nicht.

 

[Sinusspass]

Die Rechner die ich kühlen möchte sind "ein wenig" außerhalb der Norm.
Ich betreibe 2 AMD EPYC Server mit je 6 RTX 4090 zur Simulation neuronaler Netze. Beide Server sind als Open-Rig aufgebaut. Im Grunde ähnlich wie man es von Mining-Rigs kennt.
Die Abwärme beider Systeme beträgt je nach Anwendung unter Volllast jeweils 3,5 kW wobei die meiste thermische Energie über die GPUs anfällt.

Geil. Da gibt es Freude. Mein Maximum war bisher 1,5kW.

Sind solche Systeme überhaupt sinnvoll mit WaKü-Systemen aus dem Consumer-Bereich kühlbar?

Klar, man muss nur ein wenig entschiedener an die Sache rangehen.

Momentan sehe ich das Problem im Bereich des Radiators.

Nö. Ein Gigant 3360 oder 2 Mora 420 "reichen" von der Seite her für 3,5kW. Für ordentliche Temperaturen und weniger unerträgliche Lautstärke der Lüfter würde ich das aber mindestens verdoppeln. Natürlich kannst du auch beide Systeme in einen Kreislauf setzen.
Das ist nicht das Problem. Radiatorfläche kann man praktisch beliebig erweitern. Das Problem liegt woanders, nämlich endgültig beim Durchfluss. Klickst du hier für die Erklärung.
Egal wie du es machst, ob du die Karten seriell oder parallel einbindest, der Durchfluss selbst schwächelt, die letzte Karte bekommt zu warmes Wasser, es ist generell einfach nur schwierig. Da ist die Lösung von @immortuos ganz gut, aber es geht besser. Grundsätzlich brauchst du natürlich mehrere Pumpen und musst den Kreislauf zwischendurch auch in Teilkreisläufe aufsplitten, anders geht es nicht.
Aber das zu bauen wäre einfach nur zu geil.

Gibt es aktive Kühler mit Kompresser ähnlich wie bei Split-Klimaanlagen?

Würde ich lassen, bringt praktisch nix. Du kannst natürlich auch einfach einen Radiator nach draußen setzen, aber allgemein gibt es im PC-Bereich wenig Grund, Kompressoren, Peltier-Elemente oder sonst irgendwelchen Kram einzusetzen. Umso höher die Abwärme, umso schlimmer. Einfache Radiatoren sind immer noch das beste Mittel.

 

[brooker]

... das ist durchaus machbar. Wir haben vor ein paar Jahren das Folding@Home Projekt "OneMillionFolder" mit 5x GTX 970 realisiert und ein Folgeprojekt mit 7x GTX 1070.

Der größte MORA von Watercool macht in Vollbestückung mit Industrie-Lüftern 3KW.

Die alles entscheidende Frage ist ausreichend kühle Zuluft und direkte Abluft.

Der Rest ist mit entsprechender Verschlauung und Hardware möglich.

Welche Temperaturen müssen 24/7 erreicht werden?

Wie sieht es denn damit aus?

 

[Dkonrad]

Einfach immer für 3 Karten nen CW5200 dürfte am effektivsten bzw. Preisgünstigsten sein:
https://www.ebay.de/itm/394073015260

evt. direkt bei S&A bestellen dann wirds günstiger.

 

[hbaerbel]

Danke Zusammen! Mit so viel Support hätte ich nicht gerechnet.

Ich würde da ganz pragmatisch vorgehen und für jeweils 2 GPUs einen Loop anschaffen:
1 x MoRa 3 420 LT
2 x Arctic P14 PWM PST Value 5-Pack
1 x DDC 4.2 PWM
1 x Aqualis DDC 150
1 x Temperatursensor mit G 1/4" Gewinde
1 x DFM Highflow 2 LT
1 x AC Quadro
1 x USB-Kabel A-Stecker auf Miniaturstecker, Länge 200 cm
X x 1M EPDM Schlauch 16/10
6 x 16/10 Schlauchanschluss
6 x Colder NS6 Schnelltrenner

Dann hast du effektiv 6 Loops, die alle separat von Quadros überwacht werden, die MoRas dann möglichst in der Nähe eines Fensters positionieren und dieses bei wärmeren Temperaturen einfach öffnen.

Ein extra Danke für die Zusammenstellung der Komponenten. Das hilft ungemein weiter.
"Bei Bedarf Fenster öffnen" ist witzig. Die sind jetzt schon alle (5) dauerhaft weit angekippt, eines hab ich ganz offen und ein Gebläse davor montiert. Auch bei frostiger Außentemperatur bleibt so die Raumtemperatur bei über 20°C.

Die alles entscheidende Frage ist ausreichend kühle Zuluft und direkte Abluft.

Der Rest ist mit entsprechender Verschlauchung und Hardware möglich.

Welche Temperaturen müssen 24/7 erreicht werden?

Wie sieht es denn damit aus?

Das sehe ich genauso. Der Abtransport der Wärmeleistung ist der kritische Punkte. Ich könnte/müsste die Radiatoren auf jeden Fall nach außen legen. Dann muss ich diese aber auch vor Witterung und Umwelteinflüssen schützen. Wenn ich die GPU-Temperaturen 24/7 auf unter 70°C bringen könnte, auch bei sommerlichen Außentemperaturen, wäre das ein Traum.

 

[Sinusspass]

Mit genug Radiatorfläche und bei der Abwärme auch Durchfluss ist das alles möglich. Was im Kleinen geht, geht auch im Großen, nur braucht es dann entsprechend mehr.