Wohlfühltemperaturen für EPYC 9374F

[Mac_Leod]

Hi,

ich bin gerade bei der Planung eines wassergekühlten ESX Cluster, welcher initial aus 3x Servern (Poweredge R7625) besteht.
2x EPYC 9374F mit jeweils 2 TB RAM sind gesetzt.
Die Wasserkühlung wird mittels DCU/DLC3000 (CoolIT) realisiert.
Ein Freikühler auf dem Dach, der bis zu 400KW liefert, ist das erste Bindeglied im Kreislauf.

Nun suche ich nach dem Sweetspot für die Wassertemperaturen, welche die Haustechnik liefern muss um die 320W CPUs pro CPU abzuführen.
Dafür benötige ich die Kerntemperatur, welche nicht überschritten werden darf, damit alle Kerne durchgängig 24/7 Ihren base Clock von 3,85 Ghz bzw. 4,1 Ghz Turbo (4,3 1 Core) erreichen.
Tjunction Max sind 100°C, aber Tcase (bin mir nicht sicher ob der Wert so heißt) finde ich nirgends.
Ziel ist es, die Gebäudeheizung mit dem warmen Wasser so gut es geht zu unterstützen, daher muss die Wassertemperatur so hoch wie möglich sein, ohne das CPU Performance flöten geht.

Hat wer Erfahrungen, die hier beitragen könnten?
Danke für die Hilfe.

 

[Shark1705]

Ich kann leider zum Thema nicht viel beitragen, aber darf man fragen was die Server 24/7 bis zur Grenze berechnen oder wird dann künstlich Last angelegt, damit die Heizung dementsprechend unterstützt wird?

 

[Mac_Leod]

hmm ok ich hab mich wohl etwas wirr ausgedrückt.
Es ist eine "normaler" Workloard mit vielen virtuellen Maschinen in einer Buildumgebung.
Eine 100% Auslastung gibt es da wohl nie.
Sobald so ein Zustand erreicht ist, kommt ein weiterer Server dazu.

 

[SaxnPaule]

Ich sehe das Problem gerade nicht. Du wirst doch im Gebäude keine höhere Wassertzieltemperatur als 65°C haben. Falls du FBH hast sogar noch deutlich darunter (~30 °C).

Häng die CPUs als erstes Glied in den Wärmekreislauf und lasse alles was dir zu deiner Inhouse Wunschtemperatur fehlt durch deine Gas- oder Erdwärme Heizanlage zuheizen.

 

[Selber]

Du musst doch eh erst mal im laufenden Betrieb gucken wie hoch dein Delta zwischen Kerntemperatur und Wassertemperatur ist. Glaube in dem Fall ist auch eher die Hotspot- Temperatur das was am ehesten drosseln könnte. Das Delte ist dann abhängig von den verwendeten Kühlern, Wärmeleitpaste und Anpressdruck.

 

[madmax2010]

aber darf man fragen was die Server 24/7 bis zur Grenze berechnen oder wird dann künstlich Last angelegt, damit die Heizung dementsprechend unterstützt wird?

gibt da inzwischen einige Unternehen am Markt, die aber auch oft schnell wiederinsolvent sind. Die Idee: Man stellt Kunden Server nach hauseund schafftsehr verteilte Infrastruktur. Die kunden bekommen 1Gbits Up- und Download bezahlt und dann kommt wonach du fragtest..
Nerdalize hat 2017 oder 2018 auf der Kubecon einen K8s Scheduler vorgestellt, der Temperaturen i Warmwassertank, Luft im Haus, Zieltemperaturen, Duschverhalten und tatsaechliche Last mit im Hinterkopf hat.

BTT:
Zen4 kerne boosten nach temperatur. Ich finde gerade auf anhieb zu den neuen Epycs wie hoch das sein sollte, aber sei dir mal sicher, dass deine iDRAC dir eine mail schreibt, wenn die CPU zu warm wird.

Ist es nicht billiger und effizienter, On Demand kappa in eine RZ zu mieten, wenn man die Leistung gerade braucht? So etwas amortisiert sich daheim i.d.r nicht, wenn es nur 2-3 Server sind.

 

[Pyrukar]

oha,
also mir schießen da gerade einige Fragen durch den Kopf:

1. Was ist das für ein Gebäude
2. Gibt es einen HLS Planer und wenn ja was hält der von dieser Aktion? Gibt es einen Gebäude Energie ausweis, und was hält der (bzw. der Ersteller) von einer Stromdirektheizung? (Ja technisch ist das Prozesswärme, und somit gute Energie verwendung, aber erklär das mal deinem Energieberater
3. Was machst du mit der Abwärme, wenn gerade im Sommer keine Heizung benötigt wird?
4. Wie Professionell soll das ganze am Schluss sein? Heimwerker in den eigenen Vier Wänden - LTT Poolheizung - Professionelle Fachfirma im Serverzentrum? Gerne mal deine eigene Einschätzung in dieser Range abgeben!
5. Um Wie viel (k)W reden wir hier?

So und jetzt mal die einschätzung eines HLS Planers der das Projekt nicht kennt:
1. Lass es wenn das ganze eine Hobby Idee ist und oder es sich um Weniger als 1-2kW Leistung handelt. Es ist den Aufwand nicht wert.
2. Wenn es ein Neubau ist und die Abwärme bei über 1kW bis ca 4kW liegt könnte man z.B. eine Booster Luftwärmepumpe in den Raum hängen der dann dauerhaft dem Raum wärme Entzieht. So könnte man z.B. das Warm Wasser relativ kostengünstig auf die Gewünschte Hochtemperatur bringen ... stellt sich nur die Frage welche:
Propan im Serverraum würde ich kritisch sehen ... ggf CO2 als Kältemittel. Setzt natürlich voraus, dass du eine Wärmepumpe hast die dein Gebäude effizient mit 35°C Wärme versorgt. Wenn du sowieso einen Gaskessel oder Pellets/Öl hast dann macht das Vorhaben vermutlich nie (wirtschaftlich) Sinn.
3. Die Wirtschaftlichkeit darf sowieso ganz stark angezweifelt werden ... es gibt gründe warum Solarthermie Zellen (die Warmwasser auf dem Dach Produzieren) inzwischen immer seltener Nachgefragt werden. Und ich kenne derzeit ein Projekt bei dem in einer Industrieanlage sogar 5 kW Kompressorenleistung nicht genutzt sondern weiterhin Aktiv weggekühlt wird, weil es Wirtschaftlicher war.

gruß
Pyrukar

 

[Mac_Leod]

@SaxnPaule
aktuell sind tatsächlich um die 60° angepeilt, aber falls ich irgendwas übersehe kann man das jetzt noch anpassen.

@Selber
DELTA messen kann ich erst, wenn alles verbaut ist, aktuell geht es um die Konzeption.
Leider lässt sich Dell nicht in die Karten schauen, was für Komponenten auf den CPUs montiert werden.
Wenn ich es richtig verstanden hab, rüsten die CoolIT Jungs die Server aus, mal sehen was ich in Erfahrung bringen kann.

@madmax2010
Die Grundsatzdiskussion wie und wann sich Compute und CO in der Cloud harmonisiert bruachen wir nicht führen, denn unterm Strich hast du Recht. Nur ändert das am Plan nichts
Natürlich gibts für die bestehende ESX Umgebung ein Monitoring, welches diese Art an Problemen meldet.

Ergänzung (9. Oktober 2023)

@Pyrukar
Es geht um ein 4 stöckiges Gebäude, welches unser aktuelles Büro Gebäude erweitert.
Der neue Serverraum umfasst 16 Racks mit jeweils 47 HEs und stellt also eine Erweiterung des aktuellen 4 Rack Serverraums.
Initial werden 2 Racks mit Clienswitches und 1 Rack mit besagten wassergekühlten Servern ausgestattet.
Kalte Luft kommt der Raum über 2 Rittal LCPs.

Der Freikühler auf dem Dach kann bei Bedarf 400KW liefern, logischerweise liefert er im Sommer mehr als im Winter.
Ist es nicht immer Hobby

 

[Pyrukar]

@Mac_Leod also du willst in ein Bestandsgebäude "nur" den Serverraum Erweitern und die Abwärme sinnvoll nutzen?! die Bisherige Abwärme wird komplett auf dem Dach Weggekühlt?!
Leider hast du nicht Gesagt, welche Heizungstechnologie bisher im Gebäude ist. Wie gesagt, bei einem "Verbrenner" Wärmeerzeuger macht das Vorhaben Wirtschaftlich nach derzeigiger Prognose vermutlich nie Sinn.

Also Weiterhin die Frage:
1. Wie viel Elektrischen Strom frisst dein Serverraum, es geht mir ja nicht darum was dein Kühlturm maximal kann. und wie viel Leistung soll hier neu installiert werden (das sollte dir Dell vermutlich im Datenblatt verraten) von dieser Leistung ist im Besten Fall vermutlich 50% Sinnvoll nutzbar.
2. Wie Sieht die bisherige Heizung aus? (Ich gehe mal davon aus, dass das Gebäude euch gehört und ihr solche Änderungen nicht einem Vermieter schmackhaft machen müsst)
2.1 Muss dort sowieso Modernisiert werden?
2.2 Ist Genügend Platz im Heizungsraum verfügbar?
2.3 Wie wird im Büro das Warmwasser bereit gestellt?
3. Wenn es sich um eine Größere Umbaumasnahme handelt dann Sucht euch einen Ordentlichen HLS Planer der euch sowas wirklich auch Plant. Das geht nicht einfach mit ich habe hier Energie X und möchte die jetzt hier einspeißen. Hydraulik ist ein Arschl**** und Deutsche DIN Normen und TÜV Prüfer sollten hier auch berücksichtigt werden.
4. Ich weis nicht wie das bei Proffessioneller Wasserkühlung im Serverbereich aussieht, aber die Normale Endnutzer Hardware hat bei ca 40-45°C ihr Betriebslimit erreicht. Und ich würde vermuten, dass die CPUs sich bei 40°C auch wohler fühlen als bei 60-65°C die du für Zentrale Warmwasserbereitung und Heizkörperheizung üblicherweise hast. Das was du hast ist für Viele Wärmepumpen zu warm als eingangstemperatur und zu kalt um im Bestand damit was Sinnvolles anzufangen.
5. Wenn dein Server wirklich über 50-100kW Abwärme Produziert (abschätzung von deinem Kühlaggregat) dann stellt sich mir die Frage 1. Kannst du so viel Wärme im Gebäude überhaupt irgendwo nutzen? Wie viel qm Bürofläche hast du denn auf allen 4 Stockwerken und wie viel Heizungsenergie benötigt das Gebäude übers Jahr verteilt?

Gruß
Pyrukar

 

[Scirca]

Kaufn paar normale 19" Server von einem OEM deiner Wahl mit 5 Jahren NBD, damit fährste besser als wenn du jetzt so ne bastel Lösung machst.
Toll das du dir da massiv viele wilde Ideen einfallen lässt, mach aber lieber die wichtigen Sachen richtig als so eine Bastel Lösung.

 

[Skysnake]

60 Grad kannst du mit coolit Hybrid Kühllösung vergessen. Rechne mal mit 35 Grad inlet und max 50 Outlet. Eher 45 Outlet.

Denk aber dran das du mit der Kaltluft für VRMs und Dimm usw deutlich kühler bist als mit dem CPU Kühler. Sprich du heizt mit dem CPU Kühler den Luftstrom...

Und du brauchst nen custom Lüfterprofil sonst wird das nichts. Entweder bruzelt dir dein System abseits der CPU oder du ballert massig Strom durch die Lüfter die hoch drehen.

Ich sage es ja ungern, aber für 3 Server brauchst den Aufriss nicht machen. Wenn ihr mal bei 200kW+ seid könnt ihr euch das nochmals überlegen.

 

[Mac_Leod]

Ich weiß nicht wie das in anderen Firmen läuft, aber ich kann die Fragen aktuell nur wenig bis gar nicht beantworten, denn ich bin nicht der GU.
Von der einzelnen Gewerken über die Ausführung bis zum GU oben drüber hab ich aktuell wenig Berührungspunkte.
Meine aktuelle Aufgabe ist für die Planer die gewünschte Wassertemperatur zu liefern.

Aktuell ist die Berechnungsgrundlage für 8 Racks mit jeweils 47 HEs.
Mit 20 bestückten Servern pro Rack (+ top of the rack switches).
Dell setzt 1000W pro Server an, also sind es 40KW um die es geht.

Die Sinnhaftigkeit kann gern wieder und wieder, angezweifelt werden, nur wird sich daran nichts ändern.

@Skysnake
Lüfterprofile sind definitiv ein Thema

 

[Skysnake]

Meine aktuelle Aufgabe ist für die Planer die gewünschte Wassertemperatur zu liefern.

Die ist an sich durch die verwendeten Kühler vorgegeben. Es gibt

Max Inlet
Min Inlet
Delta aka Spreizung

Und das wars dann auch. Aus den drei Werten ergebe sich die Betriebspunkte der Kühlung, wenn die Kühlleistung groß genug ist um zu Regeln. Wenn nicht, kommt halt noch die Außentemperatur dazu.

Vergiss aber bitte auch nicht, das es gewisse Min/Max Vomumenströme gibt. Und dann noch ein paar Dutzend andere Punkte die man Bedenken sollte, damit man am Ende ein vernünftiges System hat.

Aktuell ist die Berechnungsgrundlage für 8 Racks mit jeweils 47 HEs.

Mit 20 bestückten Servern pro Rack (+ top of the rack switches).

Was willst du mit so einen low density Design bei Wasserkühlung. Nach deinen Werten wären das 20kW pro Rack. Also bitte plane ein das du 80kW+ in einem Rack gehandhabt bekommst.

Dell setzt 1000W pro Server an, also sind es 40KW um die es geht.

Und wohl schon das erste Verständnisproblem. Von dem kW pro Server geht nur ein gewisser Teil ins Wasser. Je nachdem können das nur 50-80% sein.

Ich möchte ja keinem zu nahe treten, aber das wirkt jetzt nicht unbedingt so als ob da jemand mit Erfahrung bezüglich WaKü in Rechenzentren dran sitzt.

 

[Mac_Leod]

Absolut richtig, es ist das erste Projekt mit Wasserkühlung, für alle beteiligten Fachplaner.
Niemand der Planer hat bisher so ein Thema gehabt, alles ist neu und wir gehen es an.
Wie oben erwähnt, habe ich einen Dienstleister mit am Tisch (CooIT Systems) der nichts anderes macht als sich mit dem Thema auseinander zu setzen.

Und von den Jungs kommt eben die Frage nach den CPU "Wohlfühltemperaturen".
Daraus ergeben sich doch genau die Werte Inlet und Delta um die Temperaturen dauerhaft zu erreichen.

Zum Thema Berechnung über die tatsächliche Energie, welche durch Wasser abgeführt werden muss, bin ich bisher folgenden Weg gegangen:
Im aktuell verwendeten Cluster sind zwei Xeon Gold Prozessor 6354 mit einer TWP von 205W im Einsatz.
Laut iDRAC verbraucht ein Server im Schnitt 520W (ohne zusätzlich Disks außer dem BOSS Controller + 2 HBAs SFP+ 25GBit)
Also überschlagen, die Summe von 2xTWP + 110W

Im neuen Cluster dann zwei EPIC 9374F mit einer TWP von 320W verbaut.
Mit der Rechnung der obigen Server landen wir schon bei 750W, die in irgendeiner Art abgeführt werden muss.
Interessant wäre nun noch wieviel eine Netzwerkkarte verbraucht, muss ich nachlesen.
Vom Bauch her sind es mindestens 600W pro Server, welche über Wasser weg müssen.
Pro Rack wären das dann 12KW (600Wx20 Server).

Nach Abstimmung mit den Fachplanern wird initial 1 Rack mit dem Wasserkühlungssystem komplett ausgestattet, welches dann die 3 Start Server beinhaltet und 1800W in den Wasserkreislauf ab gibt.

Perspektivisch stehen dann noch zusätzlich 8 freie Racks zur Verfügung, welche mit Wasserleitungen und Strom ausgerüstet werden, aber initial leer dastehen und bei Bedarf genutzt werden.
Nur kann niemand abschätzen wo die Reise hin geht.
Müssen wir demnächst für unsere Kunden Dinge tun, welche Nvidia Karten beinhaltet um im Bereich ADAS/Autonomen Fahren zu unterstützen, sind ganz schnell weitere 10KW in Wasser abzuführen.

Mir immer wieder zu unterstellen, dass ich nicht an alles denke und man merkt das ich mich zum ersten Mal damit beschäftige, könnt ihr gern immer wieder, nur führt das zu keinem besseren Ergebnis.

Falls es interessant ist, kann ich noch einen aktuellen Grundriss vom RZ anhängen.

 

[Skysnake]

Das ist kein Vorwurf sondern eine reine Feststellung ohne Wertung. Ich habe den Eindruck, dass du dich sehr auf die Fachplaner verlässt. Laut eigener Aussage haben die aber auch keine Erfahrung. Und das passt zu dem was ich mir schon gedacht hätte.

Meiner Meinung nach geht ihr völlig falsch an das Thema ran. Sich da auf CoolIT zu verlassen halte ich für bedenklich. Die werden euch ja nur für kleine Teilbereiche etwas liefern und nicht das Gesamtsystem verantworten.

Entsprechend der Fragen und Ausführungen würde ich erwarten, dass die Gesamtverantwortung bei euch liegt. Da machen sich dann alle Beteiligten bei Problemen ganz schnell nen schlanken Fuß und fangen mit dem Fingerpointing an.

Ich kann euch nur empfehlen jemanden mit 1st Hand Experience zu holen. Der muss noch nicht mal die Verantwortung haben, aber nen paar Dutzend "dummer" Fragen stellen. Dann wird das auch was. Denn am Ende ist das alles kein Hexenwerk, aber man muss ein Problembewusstsein haben.

 

[Mac_Leod]

Ich bin ja auch für jeden Hinweis dankbar.
Und am Ende haben wir die Verantwortung dafür, dass das Konzept auf geht das stimmt natürlich.

Nach deinem letzten Post bin ich auf der Suche nach Firmen, welche ähnliche Projekte umgesetzt haben.
Leider gibt es im Osten nicht eine einzige Firma, welche so eine Information veröffentlicht hat.
Mal sehen ob ich was finde.

Als Anhang der Planungsstand, aktuell steht nur der Rohbau.
Mit warm/kalt Gang Schottung.
Auf der linken Seite werden dann 2 Racks Wassergekühlt, die gegenüberliegende Seite initial komplett leere Racks.

 

[Skysnake]

Sehe ich das richtig, das ihr einen inrow Kühler für 7 Rack vorsieht, also die Racks keine Zwischenwände haben?

Ich sehe da auch Türen mit Sichtfenster. Ich hoffe das ist nicht tatsächlich so. Versorgung kommt von oben?

Btw die Tür sieht ziemlich niedrig aus. Sicher das da ein Rack aufrecht auf nem Hubwagen durch passt?

Mir fehlt die Verrohrung und Stromversorgung da noch.

Ich weiß ehrlich gesagt nicht, was ihr mit so viel Racks wollt. Mit 400kW Kühlleistung bekommst du keine 10 Racks versorgt. Da scheinen mir Leute mit nem Rechnerraumsdesign aus dem letzten Jahrtausend tätig zu sein.

Ich sehe z.b. absolut keinen Sinn in nem Warmgang, wenn ihr auf WaKü geht.

Schaut euch doch mal Uni Dresden oder HLRN an bezüglich WaKü.

Wenn der Rohbau steht, hoffe ich ihr wart großzügig bezüglich Flächenlast. Ne Tonne+ pro Quadratmeter ist nicht verkehrt.

Was sollen eigentlich die kurzen Racks vorne?

Ergänzung (14. Oktober 2023)

Kalte Luft kommt der Raum über 2 Rittal LCPs

Ähm das ist mir gerade aufgefallen. Wenn ich das sehe, dann bringen die mur 12kW Kühlleistung. Damit bekommst du ein max zwei Racks versorgt bei Hybrider Kühlung.

Ich denke ihr verrennt euch da total in was. Wenn das eine Ding wirklich pro Reihe die Kaltluft bereitstellen soll, dann Gz am Ende der Reihen kommt da nichts vernünftiges mehr an.

Ihr solltet definitiv mal schauen wie viel Luftduechsatz die Inrow Kühler schaffen und wie viel Server ihr braucht für den gleichen Durchsatz. Das sind nicht viele. Ich würde auf <<50 pro inrow Kühler tippen. Im Zweifel eher so was im Bereich von 30-40.

Sprich ihr bekommt ziemlich schnell backflow und dann verglühen sich die Server....

Wie viel würdet ihr denn für Consulting bei dem Thema springen lassen?

 

[Mac_Leod]

Sehe ich das richtig, das ihr einen inrow Kühler für 7 Rack vorsieht, also die Racks keine Zwischenwände haben?

ja das kommt in der Grafik nicht gut rüber, es sind Rittal Racks die natürlich von einander getrennt sind

Ich sehe da auch Türen mit Sichtfenster. Ich hoffe das ist nicht tatsächlich so. Versorgung kommt von oben?

Die komplette Verkabelung kommt von oben über Steiger, Sichtfenster gibt es nicht.
Die Racktüren sind komplett Luftdurchlässig, welcher dieser Racks von hier es sind, kann ich noch nicht sagen.

Btw die Tür sieht ziemlich niedrig aus. Sicher das da ein Rack aufrecht auf nem Hubwagen durch passt?

guter Punkt, nehm ich mir mit

Mir fehlt die Verrohrung und Stromversorgung da noch.

Mir fehlen die Pläne aktuell auch, geplant ist ein separater Batterie Raum, für die USVs.

Ich weiß ehrlich gesagt nicht, was ihr mit so viel Racks wollt. Mit 400kW Kühlleistung bekommst du keine 10 Racks versorgt. Da scheinen mir Leute mit nem Rechnerraumsdesign aus dem letzten Jahrtausend tätig zu sein.

Da es hier nicht darum geht, so viel wie möglich Compute reinzupacken, also die Packungsdichte nicht maximiert werden muss, ist der Ansatz hier ein anderer. Klein starten und vorbereitet zu sein.
Effektiv sind es in der höchsten Ausbaustufe 40x 2HE Server auf der linkten Seite.

Aus finanzieller Sicht, macht es Sinn, schon alle Racks inkl. Medienzuführung hinzustellen.
Daher wird die Rechte Seite aufgestellt und mit allen Medien versorgt.
Mehr aber erst Mal auch nicht, also gibt es da initial keine Abnehmer.

Ich sehe z.b. absolut keinen Sinn in nem Warmgang, wenn ihr auf WaKü geht.

Es ist eben die Hybridlösung und keine reine Wasserkühlung.
Storage, 2,5 Racks voll mit Access 48 Port Switchen, und einige andere Dinge lassen, sich stand heut nicht mit Wasser kühlen.

Schaut euch doch mal Uni Dresden oder HLRN an bezüglich WaKü.

Dahin haben wir sogar Connections, danke mach ich.

Wenn der Rohbau steht, hoffe ich ihr wart großzügig bezüglich Flächenlast. Ne Tonne+ pro Quadratmeter ist nicht verkehrt.

jep, die genauen Werte such ich raus, hab was mit 1,4T/qm im Kopf.

Was sollen eigentlich die kurzen Racks vorne?

Der Statiker unbedingt unbedingt einen Riegel so, dass man die Racktüren nicht mehr auf bekommt, wenn Die normale Länge genommen wird.

Ähm das ist mir gerade aufgefallen. Wenn ich das sehe, dann bringen die mur 12kW Kühlleistung. Damit bekommst du ein max zwei Racks versorgt bei Hybrider Kühlung.

Im aktuell vollen RZ mit 4 Racks was wir betreiben steht ein LCP welche 30KW an Kühlleistung bringt. (40KW Varianten gibt es glaub ich auch) Wie kommst du auf 12?

Ich denke ihr verrennt euch da total in was. Wenn das eine Ding wirklich pro Reihe die Kaltluft bereitstellen soll, dann Gz am Ende der Reihen kommt da nichts vernünftiges mehr an.

Laut Spec der LCPs und dem Rittal AP, reicht in einem geschotteten Kaltluft Gang, die Luft bis maximal 4 HEs nach Links und rechts.
Du hast natürlich recht, dass nicht mehr wirklich viel kalte Luft bei den hinteren Racks an kommt, daher ist hier die Idee:
Die 2,5 Racks voll mit Access Switchen auf Äußersten Racks zu verteilen, denn der Kühlbedarf ist relativ niedrig.

Ihr solltet definitiv mal schauen wie viel Luftduechsatz die Inrow Kühler schaffen und wie viel Server ihr braucht für den gleichen Durchsatz. Das sind nicht viele. Ich würde auf <<50 pro inrow Kühler tippen. Im Zweifel eher so was im Bereich von 30-40.

Sprich ihr bekommt ziemlich schnell backflow und dann verglühen sich die Server....

Schau ich mir an, danke

Wie viel würdet ihr denn für Consulting bei dem Thema springen lassen?

Ich frag mal nach, aktuell sind in dem Bereich keine weiteren Kosten vorgesehen, was aber nicht nein heißt.

 

[Skysnake]

ja das kommt in der Grafik nicht gut rüber, es sind Rittal Racks die natürlich von einander getrennt sind

Hmm... seitliche Trennung. Also müssen alle Kabel über das Top bzw den Boden (Sockel) geführt werden. Das verhindert manche kurzen Wege. So lala, aber wenn man wirklich kapselt dann passt das schon

Die komplette Verkabelung kommt von oben über Steiger,

Das ist gut. Ich hoffe ihr habt aber genug Platz eingeplant um später alles min doppelt so groß zu realisieren.

Abstände von Stromschienen und TabOut Boxen beachten!

Sichtfenster gibt es nicht.
Die Racktüren sind komplett Luftdurchlässig, welcher dieser Racks von hier es sind, kann ich noch nicht sagen.

Warum macht ihr das? Das ist so ein 2000er Design. Ihr beraubt euch damit unglaublich viel Flexibilität, da ihr immer eine Mischung der Temperaturen habt. Die Warme Luft mischt sich im Warmgang und im Kaltgang seid ihr durch die Komponente mit dem Bedarf an kältester Luft begrenzt...

Heutzutage macht man eher Backdoor Heat Exchanger oder nimmt gleich geschlossene Racks mit inrow Kühlern. Entweder im 1:1 Verbund oder 2 racks 1 Kühler. Wichtig gedämmte Racks für das Zeug was mit Wakü läuft.

Für den Legacy Kram kann man dann entweder mit den Backdoor Kühlern arbeiten oder mit Kalt und Warmgang. Ich würde da aber eher nicht auf den Kaltgang verzichten wollen.

Mir fehlen die Pläne aktuell auch, geplant ist ein separater Batterie Raum, für die USVs.

USV raus ist gut. Die sind zu dick mit den Temperaturen im Allgemeinen.

Da es hier nicht darum geht, so viel wie möglich Compute reinzupacken, also die Packungsdichte nicht maximiert werden muss, ist der Ansatz hier ein anderer.

Worum geht es dann? Bis jetzt hättest du von Hybrid gekühlten Servern für Buildsysteme gesprochen. Das wars.

Ich kann dir nur so viel raten. Pack die Server ziemlich dicht. Es hat eigentlich nur Vorteile. Zudem schau das ihr genug Platz für die Verteiler von Strom und Wasser habt. Wie gesagt, schaut das das doppelte rein passt zu dem was aktuell erforderlich ist.

Aus finanzieller Sicht, macht es Sinn, schon alle Racks inkl. Medienzuführung hinzustellen.
Daher wird die Rechte Seite aufgestellt und mit allen Medien versorgt.
Mehr aber erst Mal auch nicht, also gibt es da initial keine Abnehmer.

Ja, aber überlegt euch wirklich was ihr betreiben könnt. 400kW sind nichts. Für mich sind das 5 Racks aktuell und ich Plane für die Zukunft mit weniger....

Ich kenne in Rechenzentren eigentlich nie ein echtes Platzproblem, sondern immer nur Kühlung und Stromzufuhr weil die Infrastruktur kacke ist und es einfach nicht verpackt. Deswegen sind die Racks ja heute oft nur noch zu 1/3 oder weniger gefüllt.

Es ist eben die Hybridlösung und keine reine Wasserkühlung

Ja, aber siehe oben, es gibt bessere Lösungen....

Storage, 2,5 Racks voll mit Access 48 Port Switchen, und einige andere Dinge lassen, sich stand heut nicht mit Wasser kühlen.

1G Switche? Die großen Dinger gibt es auch mit Wasser. Aber klar so low Power Zeug gibt es damit nicht. Das sollte man aber eben auch abtrennen.

Was heißt bei dir aber voll? Bei nem 48 Port Switch sehe ich als "voll" an, wenn für 48Ports inkl Routing <=3U verwendet werden auf das komplette Rack.

Btw habe ich schon erwähnt das Kabelführingssysteme überwiegend ein Drecks sind, der nicht wirklich gut funktioniert wenn die Racks wirklich vom sind?

Btw wenn es 1G Switche sind dann vertragen die auch durchaus 40°C auf der kalten Seite und 60 auf der warmen. Muss man aber mit dem Hersteller abklären, das er den Kopf hin hält Wenn's Probleme gibt....

[
QUOTE="Mac_Leod, post: 28704432, member: 1708"]
Der Statiker unbedingt unbedingt einen Riegel so, dass man die Racktüren nicht mehr auf bekommt, wenn Die normale Länge genommen wird.
[/QUOTE]
Ok, das ist blöd könnt ihr aber für Netzwerknutzen. Habt da ja scheinbar viel.

Im aktuell vollen RZ mit 4 Racks was wir betreiben steht ein LCP welche 30KW an Kühlleistung bringt. (40KW Varianten gibt es glaub ich auch) Wie kommst du auf 12?

Google hatte mich auf die Seite gebracht und da stand 12kW.

Laut Spec der LCPs und dem Rittal AP, reicht in einem geschotteten Kaltluft Gang, die Luft bis maximal 4 HEs nach Links und rechts.

Denkfehler!

Das sind Schönwetterangaben. Es kommt auf die tatsächlichen Volumenströme an. Wenn die Systeme mehr durchpusten als der inrow Kühler, dann kommt es immer zu backflow. Zudem kann Luft durch den Kühler gepresst werden, was die Lüfter auf Dauer schädigt.

Du hast natürlich recht, dass nicht mehr wirklich viel kalte Luft bei den hinteren Racks an kommt, daher ist hier die Idee:

Da kommt im Zweifel gar nichts mehr an...

Die 2,5 Racks voll mit Access Switchen auf Äußersten Racks zu verteilen, denn der Kühlbedarf ist relativ niedrig

Ob das tut? SFP+ bzw QSFP+ Module usw brauchen teils recht kühle Temps damit die nicht überhitzen.

Ich frag mal nach, aktuell sind in dem Bereich keine weiteren Kosten vorgesehen, was aber nicht nein heißt.

Wie gesagt, schaut das ihr nicht die Verantwortung für das Funktionieren des Gesamtsystems habe, sondern ne Firma/Planer.

Ansonsten ist nach dem Umbau vor dem Umbau.

Vor allem ihr wollt den Raum ja sicherlich 10 Jahre+ nutzen. Da entwickelt sich einiges weiter.

Vor allem ein Punkt der gerne unterschlagen wird ist Dynamik. Ich würde nen Kasten Bier drauf verwetten das eure Planer von konstanten Lasten ausgehen. Das ist aber bullshit heutzutage bei allem was Compute anbelangt. Für storage und Switche ist es noch immer ne valide Annahme, aber definitiv nicht für Compute. Und das kann dir das Genick brechen.

Ich habe nicht erst einmal erlebt das die Jungs und Mädels aus der Gebäudetechnik panisch angerufen haben weil ihre Kühlsysteme vor die Wand gefahren sind obwohl davor geoßmaulig gesagt wurde ich könne mit dem neuen System Gas geben. Ihre Systeme würden das locker schaffen.

Auf Bypass schalten USVs sind auch immer gut. Genau wie abschaltende Crack Units.

Nen Kollege von mir hat auch mal das Licht im kompletten Gebäude aus gemacht. Also Hauptsicherung abgeworfen...

Ah habe ich erwähnt, das ich noch nen Dutzend oder zwei weitere Punkte habe auf die man achten sollte?