Wassergekühlter Serverschrank

[Deadlock]

Das Institut hat eine 1MW-Kühlanlage, die das Abwasser auf 14°C runterkühlt und noch dicke Reserven hat. Das ist nicht das Problem.

Wir wären die einzigen, die das Kühlwasser für Server nutzen. Die anderen Nutzer sind Labore, die damit ihre Laser usw. kühlen.

Wir würden in keinem Fall blind "das kaufen", was hier vorgeschlagen wird. Ich möchte mich nur gerne informieren, bevor wir zu den einzelnen Anbietern gehen. Außerdem möchte ich gerne etwas Überblick gewinnen, welche Ansätze es gibt usw.

Es wird sich um maximal drei Rackschränke nebeneinander handeln. Platz ist genügend da.

 

[Black-dragon]

Wir haben im Rechnerraum passive, wassergekuehlte Rackruecktueren, zusaetzlich ist bei uns aber noch eine Umluftlueftung ans Kaltwasser angeschlossen, die muss aber so gut wie keine Waerme abfuehren.
Ich wuerde auf keinen Fall ein geschlossenes System verwenden, falls bei so einem System das Kaltwasser ausfaellt heizen die Rechner sich so schnell auf, dass Hardwareschaeden unvermeidbar sind. Ist bei uns mal passiert - die Mainboards schmolzen bzw waren komplett verbogen und das obwohl die Rechner sich selbst natuerlich abgeschaltet haben.

 

[Kleptomanix]

Ich würde mich einfach mal in der Industrie umschauen. Wir verkaufen EDV Schränke mit Klimageräten auf dem Dach oder eben im Seitenteil. Das ist preislich auch noch im Rahmen und recht wartungsarm. Als Schaltschränke werden Rittal TS8 IT benötigt. Diese sind frei konfigurierbar.
https://www.rittal.com/de-de/produc...66ITINFRA1/PRO29845ITINFRA&productID=PRO29845

Die Kühlungen können entweder über externen Wärmetauscher erfolgen, LUFT/LUFT oder LUFT/WASSER oder mit Kühlmittel bei mehr Kühlleistung. Mit Leitblechen kann die Kühlung vorne vor die Racks geführt werden und hinten abgesaugt. Die Abluft gelangt dann natürlich in den Raum. Eine Ablüftung für den Raum wirst du also trotzdem benötigen. Wärme verschwindet ja nicht einfach so, sondern wird an ein anderes Medium abgegeben.

https://www.rittal.com/de-de/product/list.action?categoryPath=/PG0001/PG0800ITINFRA1/PGR1951ITINFRA1

Einfach mal etwas umsehen. Falls du fragen hast kannst du dich gern an mich wenden. Ich habe schon ein paar dieser Schränke bei einem Sportbekleidungshändler mit drei Streifen für die Fördertechnik eingebaut

 

[kullakehx]

Das Institut hat eine 1MW-Kühlanlage, die das Abwasser auf 14°C runterkühlt und noch dicke Reserven hat. Das ist nicht das Problem.

Wir wären die einzigen, die das Kühlwasser für Server nutzen. Die anderen Nutzer sind Labore, die damit ihre Laser usw. kühlen.

Mal von der physikalischen Seite betrachtet: Ihr braucht zur Einhaltung der maximalen Betriebstemperaturen in den Rechnern eine hohe Temperaturdifferenz. Angenommen das Wasser darf 30 Grad warm werden, was schon sehr viel ist, müsstet ihr mindestens einen Volumenstrom von einen Viertel Liter pro Sekunde gewährleisten. Schafft ihr das bis zur Kühlanlage? Auch mit Redundanzen, das heißt mit Pumpen im Leerlauf?

Wäre es denkbar das ihr zumindest die Hauptkomponenten, also CPU und vielleicht ein paar Grafikkarten, direkt mit Wasser kühlt? Wenn ihr irgendwo in den übrigen (2x42 - 56) 28HE einen Wasser-Wasser-Wärmetauscher unterbringt habt ihr einen deutlich geringeren Raumbedarf als bei einem reinen Luft-Wasser-Wärmetauscher. Ganz abgesehen davon könntet ihr dann über Heißwasserkühlung nachdenken, was den Raumbedarf noch weiter senken würde. Ich habe für mein Rack darüber kurz nachgedacht, bin dann aber bei konventioneller Kaltwasserkühlung und Radiatoren hängen geblieben.

 

[Deadlock]

Das Wasser kommt mit einer Temperatur von 14°C aus der Wand.
Die Temperatur, die es nach dem Aufheizen durch die Abwärme hat, ist quasi egal, da die Kühlleistung vorhanden ist. Das Wasser aus der Wand wird immer (!!) 14°C haben. Die Abwassertemperatur ist vollkommen egal.

Wenn ich jetzt richtig gerechnet habe, kommen am Schrank zwischen 0,251 und 1,1 l/s an, je nach Schlauchdurchmesser und -länge, bis zu einer maximalen Schlauchlänge von 7m.

Eine direkte Wasserkühlung irgendwelcher Komponenten kommt leider nicht in Frage. Der Raumbedarf ist nicht kritisch.

@.uNited: Da wir ja wie gesagt das Kühlwasser direkt aus der Wand bekommen und eine Kühlung über Klimaanlagen usw. bauliche Maßnahmen nach sich zieht, die nicht genehmigt würden, ist unser Plan wie folgt:
Das Kühlwasser kommt mit 14°C aus der Wand. Die Abluft wird in den Schränken hinten abgesaugt und erwärmt das Kühlwasser. Die gekühlte Abluft wird den Rechnern vorne zur Verfügung gestellt. Das erwärmte Wasser wandert wieder in die Wand.
Damit wird die Wärme ins Kühlwasser abgegeben und erwärmt nicht den Raum.

 

[0-8-15 User]

Wenn ich jetzt richtig gerechnet habe, kommen am Schrank zwischen 0,251 und 1,1 l/s an

Und wenn ich richtig gerechnet habe, dann braucht ihr bei 1000 l/h eine Rücklauftemperatur von ungefähr 27 Grad, um 15 kW abzuführen.

Da muss schon einiges an Luft bewegt werden, um das Wasser so stark aufzuheizen.

 

[kullakehx]

Das Wasser kommt mit einer Temperatur von 14°C aus der Wand. [...]
Die Abwassertemperatur ist vollkommen egal.

Jein. Der Kühlanlage mag die Abwassertemperatur egal sein - aber nicht deinen Servern. Angenommen(!) du hättest eine Abwassertemperatur von 40 Grad. Dann wäre die Lufttemperatur im Raum mindestens 40 Grad. Das übersteigt im Regelfall die zulässige thermische Belastbarkeit der Komponenten.

Wenn ich jetzt richtig gerechnet habe, kommen am Schrank zwischen 0,251 und 1,1 l/s an, je nach Schlauchdurchmesser und -länge, bis zu einer maximalen Schlauchlänge von 7m.

Bei 1,1l/s landet ihr bei einem deltaT von 3 Kelvin. Das passt. Braucht ihr nur noch entsprechende Wärmetauscher / Radiatoren. Da wäre es meiner Ansicht nach zu prüfen ob ihr mit partieller Direktkühlung nicht günstiger kommt, einfach weil die benötigte Wärmetauscherfläche sinkt -- um Größenordnungen.

Und wenn ich richtig gerechnet habe, dann braucht ihr bei 1000 l/h eine Rücklauftemperatur von ungefähr 27 Grad, um 15 kW abzuführen.

Da muss schon einiges an Luft bewegt werden, um das Wasser so stark aufzuheizen.

Sehe ich genauso.

 

[Deadlock]

Wir werden in jedem Fall zwei Rackschränke benötigen. Daher gibt es die Option zweier 10kW-Anlagen oder eben einer etwas dickeren, die dann beide Schränke befeuert. Mit zwei Anlagen könnten wir unter Umständen (vorausgesetzt, die Anschlüsse sind vorhanden, das muss ich nochmal klären) den effektiven Durchfluss verdoppeln.

@kullakehx: Jetzt verstehe ich, was du meinst. Die Ablufttemperatur der jetzt laufenden Anlagen beträgt 27°C. Die Zuluft ist suboptimalerweise aber schon etwa 20°C warm, vielleicht auch etwas mehr.

Als Orientierung:
Bei zwei Schränken, die verbunden sind und bei denen jeweils eine solche Anlage seitlich dranhängt, klingt das passend?

 

[kullakehx]

Schönes Gerät. Wenn ich das Diagramm richtig deute dann ist die Anlage aber immer noch ein wenig schmalbrüstig.

Angenommen ihr schafft es aus irgendwelchen Gründen nicht die Hardware 1:1 von der Belastung auf beide Schränke aufzuteilen oder ihr habt in ferner Zukunft noch ein Upgrade vor (28HE sind eine Menge Platz und wo Platz ist, ist auch bald ein Gerät). Rechnet also vorsichtigerweise mit einer Abwärme von 10000W statt 7500W. Bei einer Eingangstemperatur von 15 Grad sehe ich eine Schrankinnentemperatur von 35 Grad. Das übersteigt eure bisherige Temperatur um 15 Kelvin, sprich die von dir gemessene Ablufttemperatur wäre 42 Grad. Da hilft es meiner Meinung nach nur die Handbücher zu wälzen. Also, welche Temperaturen sind für eure Hardware zulässig und vor allem, für welche Lufteingangstemperaturen gelten denn die Angaben von der zetbox. Ergänzung: Die Angabe von 12,5kW bezieht sich augenscheinlich auf eine Differenz von 25 Kelvin zwischen Wasser und Schrankinnentemperatur.

Übrigens, ich habe gerade noch einen Thread offen wo ich mich mit lokaler Überhitzung rumschlage. Obwohl die Gehäusetemperatur eingehalten wird, kommt es im Gehäuse vereinzelt zu Hitzefeldern. Ich will damit schreiben: Trotz optimaler Lufteingangstemperatur und unauffälliger Auslasstemperatur kommt es zu thermisch induzierter Abschaltung. Nicht nett.

 

[Deadlock]

Aktuell rechnen wir mit 8kW für den einen und etwas unter 6kW für den anderen.
Beide Schränke hätten jeweils mindestens 10kW Kühlleistung, eher mehr.
Dadurch, dass beide Schränke verbunden wären, hätten wir zumindest "etwas" Redundanz bzw. eine höhere Vorwarnzeit, falls ein Kühlgerät ausfallen sollte.

Bei einer Eingangstemperatur von 20°C haben wir eine Ablufttemperatur von 27°C, Delta T=7°C. Daraus müsste bei 15°C EingangsT eine Abluft von 22°C folgen.
Ist die "Schranktemperatur", von der du redest, die Frisch- oder die Ablufttemperatur?

Wie man unter http://www.zetbox.de/downloads/catalogogeneralecosmotec2010077.pdf sehen kann, kann die Zetbox bei 40°C Ablufttemperatur und 15°C Wassertemperatur eine Kühlleistung von 12,5kW bewältigen. Da die Abluft eher unter 30°C liegen dürfte, ist die Kühlleistung der Zetbox entsprechend geringer (etwas unter 7,5kW pro Stück), das müsste dann mit unserer Verlustleistung ziemlich genau hinkommen. Oder habe ich etwas übersehen?

 

[0-8-15 User]

Da die Abluft eher unter 30°C liegen dürfte, ist die Kühlleistung der Zetbox entsprechend geringer (etwas unter 7,5kW pro Stück)

Die Raumtemperatur wird so lange ansteigen, bis sich entweder die Server abschalten oder die Kühlleistung der Zetbox der abzuführenden Leistung entspricht.

Und wenn ich richtig gerechnet habe, dann wird die Raumtemperatur um ca. 5 Grad ansteigen.
Ablufttemperatur (~ 33 Grad) - Temperaturdifferenz (~ 8 Grad) - aktuelle Raumtemperatur (20 Grad).

 

[kullakehx]

Aktuell rechnen wir mit 8kW für den einen und etwas unter 6kW für den anderen.
Beide Schränke hätten jeweils mindestens 10kW Kühlleistung, eher mehr.

Die Kühlleistung bestimmst du ja erst noch.

Bei einer Eingangstemperatur von 20°C haben wir eine Ablufttemperatur von 27°C, Delta T=7°C. Daraus müsste bei 15°C EingangsT eine Abluft von 22°C folgen.

Theoretisch richtig, aber: Du hast keine Lufteingangstemperatur von 15 Grad. Ich denke wir lesen das Diagramm unterschiedlich.

Ist die "Schranktemperatur", von der du redest, die Frisch- oder die Ablufttemperatur?

Weder noch. Im Diagramm steht auf der Abszisse "Schrankinnentemperatur". Ich lese das Diagramm so: für eine anzustrebende Schranktemperatur x muss die Wassertemperatur soundso sein. Geht auch andersherum: Für deine 15 Grad Wassereingangstemperatur wäre bei 6kW Leistung eine Schrankinnentemperatur von 27 Grad gewährleistet. Bei 8kW wären es 32 Grad. Da die Geräte aber dieselbe Luftmasse bearbeiten könntest du im Mittel von 7kW ausgehen, also einer Lufttemperatur im(!) Schrank von 29 Grad.

Wie man unter http://www.zetbox.de/downloads/catalogogeneralecosmotec2010077.pdf sehen kann, kann die Zetbox bei 40°C Ablufttemperatur und 15°C Wassertemperatur eine Kühlleistung von 12,5kW bewältigen. Da die Abluft eher unter 30°C liegen dürfte, ist die Kühlleistung der Zetbox entsprechend geringer (etwas unter 7,5kW pro Stück), das müsste dann mit unserer Verlustleistung ziemlich genau hinkommen. Oder habe ich etwas übersehen?

Wie gesagt, ich denke sie feuert immer mit voller Leistung. Nur erreicht sie eben bei 8kW Verlustleistung (der Server!) eine Schrankinnentemperatur von 32 Grad, bei 12,5kW wären es 40 Grad. Klingt für mich zumindestens einleuchtend, auch wenn ich mit dem implizierten linearen Zusammenhang noch meine Probleme habe.[1]

Möglicherweise solltest du dort nachfragen und dich vergewissern wie das Diagramm zu interpretieren ist.

Und wenn ich richtig gerechnet habe, dann wird die Raumtemperatur um ca. 5 Grad ansteigen.
Ablufttemperatur (~ 33 Grad) - Temperaturdifferenz (~ 8 Grad) - aktuelle Raumtemperatur (20 Grad).

Verstehe ich nicht. Wie kommst du auf die Zahlen?

______
[1] Sie will aber für 12,5kW Abwärme ein DeltaT von 25K einhalten können -- das ist doch was. DeltaT interpretiere ich hierbei als Differenz zwischen Schrankinnen- und Wasserzuflusstemperatur.

 

[0-8-15 User]

Bei 8kW wären es 32 Grad.

So hab ich das Diagramm auch gelesen.

Verstehe ich nicht. Wie kommst du auf die Zahlen?

Um diese 8 kW über einen Luftmassenstrom von 2900 l/h zu transportieren braucht man aber eine Temperaturdifferenz von ca. 8 K. Also wird sich die Lufteingangstemperatur (und damit die Raumtemperatur?) bei ca. 25 Grad einpendeln?

 

[kullakehx]

Um diese 8 kW über einen Luftmassenstrom von 2900 l/h zu transportieren braucht man aber eine Temperaturdifferenz von ca. 8 K.

Warum? Das ist doch von der Radiatorfläche abhängig. Die 2900l/h sind doch im Schrank, auch wenn im Datenblatt "freie Öffnung" steht. Wo sollte es denn sonst sein?
Das Gerät hat doch 2 Wasseranschlüsse auf der einen und die Radiatoren mit Lüftern auf der anderen Seite. Die Lüfter blasen die Luft durch den Wärmetauscher. Dabei erwärmt sich das Wasser und die nun kältere Luft wird mit eben diesem Volumenstrom zurückgeführt. Wo ist mein Denkfehler?

Also wird sich die Lufteingangstemperatur (und damit die Raumtemperatur?) bei ca. 25 Grad einpendeln?

Nein, siehe oben. Die Server sind in einer Kaltluftzelle eingeschlossen, da erwärmt sich der Raum (idealisiert) gar nicht. Die gesamte Wärme wird vom Wasser abtransportiert und die Innentemperatur wird sich bei den oben genannten 27-30 Grad einpegeln.

 

[0-8-15 User]

Die 2900l/h sind doch im Schrank, auch wenn im Datenblatt "freie Öffnung" steht.

Da liegt wohl mein Denkfehler. Danke für die Erklärung.

Nachtrag:

Ich bin davon ausgegangen, dass die Luft überall im Schrank wärmer als die Raumluft ist. Aber das ist falsch.

 

[kullakehx]

Nicht unbedingt. Wenn die Abwärme der Server gering ist und der Raum hinreichend warm, ist es durchaus denkbar dass die Server im System kühler sind als das Zimmer in dem sie stehen. Hänge doch mal deine Radiatoren im Winter aus dem Fenster und freue dich über Kondenswasser im Rechner

 

[0-8-15 User]

Dadurch, dass die Luft nur innerhalb des Serverschranks umgewälzt wird, heizt sich der Raum nicht auf.

Aber vor und nach dem Wärmetauscher muss die Luft ja trotzdem eine Temperaturdifferenz aufweisen. Diese liegt nicht bei 8 K? Wo ist da mein Denkfehler?

 

[Deadlock]

Gut, das Fazit aus eurer Diskussion scheint zu sein, dass ich für halbwegs gesunde Schrankinnentemperaturen die Kühlung deutlich größer dimensionieren sollte.

Die Rechnung "maximale TDP aller Rechner=zu kühlende Leistung=maximal benötigte Kühlleistung der Wasserkühlung" scheint nicht aufzugehen. Mist.

 

[kullakehx]

Moment mal. Ich denke das kann funktionieren. Ich denke die 12,5kW kommen von der Typisierung der Kühlanlage. Nach meinem Verständnis kannst du ohne Probleme 2 davon einsetzen. Ohne Kontakt zum Hersteller der Anlage wird dir aber keiner eine genaue Auskunft geben können. Zudem musst du klären was die zu verbauenden Komponenten temperaturmäßig vertragen. Auch das kann dir hier keiner abnehmen. Nicht persönlich nehmen, die Diskussion führt an der Stelle ohne genauere Angaben ins Leere.

Zudem: maximale TDP aller Hardware=zu kühlende Leistung: passt.
zu kühlende Leistung=maximal benötigte Kühlleistung der Wasserkühlung: hat nur Aussagekraft wenn du sagst welche Temperaturen du erreichen willst.

Über die 8K muss ich nochmal nachdenken.

 

[Duke711]

Die Rechnung stimmt so nicht. Bei 14 °C Einlasstemperatur muss noch die einfallende Wärme des Raumes berücksichtigt werden. Außerdem beträgt bei einem Kreuzstromkühler die untere Temperaturdifferenz nicht 0 K, sondern z.B. 3 K. D.h. die Abluft aus dem Schrank liegt überhalb der Raumtemperatur und gibt somit eine Teilabwärme an diesem Raum ab, je nach Volumenstrom und einströmender Wassertemperatur. Wenn die Wassertemperatur im Mittel unterhalb der Raumtemperatur liegt, dann trifft nur der erst genannte Aspekt zu.