Bericht High Performance Computing: Ohne Wakü ist die Leistung in Zukunft nicht mehr zu bändigen

ABIT4ever schrieb:
Der eigentlich geile Shit sind doch Immersionskühlungen, also gleich die kompletten Server in Öl versenken. :)
Was soll daran toll sein? Extrem unpraktisch bei Hardwaredefekten, die in Rechenzentren in ganz anderen Frequenzen auftreten als bei einzelnen Rechnern, teuer und um Radiatoren wird man da trotzdem nicht rum kommen, viel zu wenig Oberfläche.
 
immortuos schrieb:
Was soll daran toll sein? Extrem unpraktisch bei Hardwaredefekten, die in Rechenzentren in ganz anderen Frequenzen auftreten als bei einzelnen Rechnern, teuer und um Radiatoren wird man da trotzdem nicht rum kommen, viel zu wenig Oberfläche.
Naja nicht zu wenig Oberfläche aber das Öl in Fluss zu halten dass es nicht lokale Hotspots gibt ist halt sicher ein Superaufwand .

Es geht ja nicht darum viel Wärme über eine lange Zeit aufzunehmen und im der Region X langsam zu verteilen sondern es geht daum viel Wärme in kürzester Zeit abzutransportieren und da ist Öl aufgrund der hohen Viskosität halt semioptimal.
 
  • Gefällt mir
Reaktionen: Haldi
@immortuos

In solchen HPC-Rechenzentren wird keine Komponente mehr repariert. Wenn von 5.000 Servern in fünf Jahren 100 ausfallen, lässt man sie einfach aus. Auch bei den DLC-Kühlungen wird keiner hingehen, irgendwo einen defekten RAM-Riegel zu tauschen. Lohnt einfach nicht.

 
Debian User schrieb:
Es gibt keinerlei Nachweis, dass der Klimawandel menschengemacht ist. Das ist reine Ideologie. Die Klimamodelle haben so viel Aussagekraft wie Kaffeesatzlesen.
Wenn einige Menschen für die Auswertung von Zahlen des letzten Jahrhunderts nicht den Grips inner Birne ham, sondern auch noch die vorliegenden wissenschaftlich bestätigten Schlussfolgerungen in Frage stellen und als Ideologie hinstellen, kann man halt auch nicht mehr helfen 😜
 
  • Gefällt mir
Reaktionen: WiP3R, tso, ###Zaunpfahl### und 3 andere
Armadill0 schrieb:
Ich arbeite zwar selbst in der Branche und wir sind auch auf diese Produkte angewiesen, aber ich habe bei diesen exorbitant wachsenden Verbräuchen einfach ein schlechtes Gefühl.
Ich ebenso, aber dann solltest du doch selbst gut genug wissen, dass die effizienz der Hardware mit jeder Generation steigt und der Verbrauch von Rechenzentren in Perf/Watt immer weiter zunimmt. Wie soll die Politik denn deiner meinung nach durch regeln noch mehr effizienz erzwingen? Der verbrauch von rechenzentren steigt einzig und allein dadurch, dass noch schneller als die HW effizienter wird mehr (zusätzliche) HW verbaut wird, weil wir in jedem Aspekt unseres täglichen Lebens immer mehr berechnen und vernetzen.

Austronaut schrieb:
ob mehr leistung auch immer gleich mehr stromverbrauch sein muss? irgendwann ist man mit wakü auch am ende.
latiose88 schrieb:
Wie macht man die natur noch mehr kaputt, in dem man noch stromdurstige Hardware bringt. Haben die alle nicht von dem Debakel von Intel dazu gelernt.
siehe oben. die Hardware wird immer effizienter = verbraucht weniger. Wir schieben halt nur einfach immer mehr neue HW in die Rechenzentren, weil wir immer mehr und mehr Rechenleistung benötigen.

latiose88 schrieb:
nvidia wird das selbe vorgeworfen wie bei intel auch. man muss heutzutage selbst nachhelfen wenn man sparsame Hardware haben will. wenn man eine rtx 4090 auf 140 Watt drosseln würde, dann bliebe da auch nicht mehr viel übrig von der rohleistung.
du meintest sicherlich das gegenteil, oder? denn selbst bei 150W wird eine 4090 noch ca 80-90% ihrer ursprünglichen leistung haben. Das ausquetschen auf letzter rille ist ein Konsumenten-/Konkurrenzproblem.
Konsumenten achten im gegensatz zu unternehmen seltenst auf Verbrauch/Effizienz und so geht es nur darum einen längeren (Balken) als die Konkurrenz zu haben.

ayngush schrieb:
Damals(tm) in den 80ern und Anfang der 90er wurden die "Mainframes" / "Hosts" (Großrechner im Host-Terminal-Betrieb) samt und sonders vollständig oder manchmal auch nur einige Schaltkreise mit Wasser gekühlt.
Keine Sorge Opi ;) Auch heute© noch werden die echten IBM Mainframes ausschließlich wassergekühlt. Quelle: ich hab selbst ein paar z16 unter meinen fingern.

ABIT4ever schrieb:
Mich wundert, dass hier fast ausschließlich Direct-Liquid-Lösungen für die heißen Komponenten zum Einsatz kommen. Der eigentlich geile Shit sind doch Immersionskühlungen, also gleich die kompletten Server in Öl versenken. :)
Dann aber weniger mit Öl und eher mit spaßiger Suppe wie 3M Novec. Aber DAS ist dann wirklich nochmal eine deutliche Nummer mehraufwand als "nur" Wasserkühlung. Denn die kann man oftmals relativ einfach an die bestehende Klimaanlage anschließen.

joel schrieb:
Ist das nicht ein unfassbarer Aufwand der da betrieben werden muss?
Auch der finanzielle Aufwand wird nicht ohne sein.
Passt da überhaupt die bestehende Infrastruktur?
Sieht mir mehr nach einer ABM Maßnahme aus, wartungstechnisch ist das nochmal eine Herausforderung für die IT.
In rechenzentren zählt eigentlich nur eines: TCO (total cost of ownership), also was dich die hardware im laufe ihres lebens kostet.
Da ist alles dabei: Einkaufspreis, Leistung/Watt, Platzverbrauch (Fläche/HE im Rack),...
Und für viele unternehmen lohnt es sich - wir sind auch gerade dabei unsere RZs nach und nach auf wasserkühlung umzustellen. Denn was viele nicht bedenken, nicht nur der stromverbrauch und die kühlung kosten geld, sondern auch die RZ Fläche. Teils ist die sogar teurer als die anderen beiden sachen, sodass man alles dafür tut die compute density, also rechenleistung pro fläche/volumen zu erhöhen und da ist WaKü trumpf, weil man viel kompakter als mit luftkühlung bauen kann.

Hat man früher bei uns (die kühlung) mit 5kw pro rack geplant, was mal ein volles rack gewesen ist, kann man jetzt teils nur noch eine handvoll server in den gleichen schrank bauen und der rest MUSS leer bleiben - eine enorme platzverschwendung.
Deswegen wird jetzt teils direkt wassergekühlt wie im artikel skizziert und teils wird bei älterem kram der intake und/oder exhaust der racks wassergekühlt, sodass man jetzt problemlos 50kw pro Rack verbauen kann.


KarlsruheArgus schrieb:
Doch gute CPU Lüfter brauchen auch nur 2W und kriegen je nach Kühler >150W gekühlt. Also mind. 1 zu 75, da sind 1 zu 15 wie hier beschrieben ein schlechter Witz und eher ein Indiz dafür das die Kühlflächen nicht ausreichend dimensioniert sind.
Schon mal einen serverlüfter in der hand gehabt? Handelsübliche lüfter brauchen da 50-100W und du hast meist 5-8 davon pro server. D.h. im normalbetrieb (nicht vollast) ist ein faktor von 10-20:1 von Rechenleistung zu Lüfterstromverbrauch ziemlich normal, sodass mir 1kW Lüfter für 15kW compute nicht sehr abwegig erscheinen.
 
gur_helios schrieb:
Nicht gegen alles hilft auch immer ein Kraut. :heul:
Ergänzung ()

SlB schrieb:
Wenn einige Menschen für die Auswertung von Zahlen des letzten Jahrhunderts nicht den Grips inner Birne ham, sondern auch noch die vorliegenden wissenschaftlich bestätigten Schlussfolgerungen in Frage stellen und als Ideologie hinstellen, kann man halt auch nicht mehr helfen 😜
Tja, warum wohl glauben immer noch zig- oder gar hundertausende Menschen in den USA, dass die Erde eine flache Scheibe ist?
https://www.dlr.de/next/desktopdefault.aspx/tabid-12657/22082_read-50426/
;)
 
  • Gefällt mir
Reaktionen: cruscz und gur_helios
ABIT4ever schrieb:
In China gingen allein letztes Jahr Kohlekraftwerke mit einer Leistung von über 50.000 MW ans Netz.
Und wir diskutieren darüber, ob wir ein paar "Exa-Scale" Rechenzentren mit 20 oder 30 MW bauen?

NIEMAND auf der Welt, außer einer ganz kleinen vorlauten grünen Blase in der westlichen Welt, interessiert sich für den Stromverbrauch oder CO2-Emissionen. Das, was beispielsweise Deutschland durch den Umbau der Wärmeversorgung für etliche Milliarden Euro auf Produkte wie Wärmepumpen an CO2 in den kommenden 20 Jahren bis 2045 einsparen will, verbrauchen allein die Chinesen an einem einzigen Tag. Von zusätzlich 1,5 Mrd. Indern und den restlichen Schwellenländern, die in den nächsten 30-40 Jahren noch wirtschaftlichen Aufschwung auf unser Niveau erleben wollen, reden wir mal gar nicht.
Aber China installiert aber gleichzeitig auch mehr an Solar: https://www.ecowatch.com/china-new-solar-capacity-2023.html
Oder wenn du es lieber hier in schön ausformuliert und sehr multiperspektivisch lesen möchtest:
https://www.n-tv.de/wirtschaft/Klim...die-es-nie-brauchen-wird-article24942548.html
 
Gr.mm schrieb:
Schon mal einen serverlüfter in der hand gehabt? Handelsübliche lüfter brauchen da 50-100W und du hast meist 5-8 davon pro server. D.h. im normalbetrieb (nicht vollast) ist ein faktor von 10-20:1 von Rechenleistung zu Lüfterstromverbrauch ziemlich normal, sodass mir 1kW Lüfter für 15kW compute nicht sehr abwegig erscheinen.
Und da ist noch nichtmal die RLT-Anlage für Frischluftversorgung und Präzisionsklimaschränke zur Kühlung der Raum in Raum Serverlandschaften durch die Doppelböden dabei :freak:
 
FranzDurst schrieb:
Das mag für Deutschland ein Problem sein, viele Länder dieser Erde können doch aber u.a. mittels AKW, Wasserkraft etc. relativ neutral große Menge Strom produzieren.

Strom ist theoretisch in Hülle und Fülle verfügbar und nutzbar und auch unser Verbrauch muss massiv steigen, wenn alles elektrisch laufen soll.
Strom in Hülle und Fülle wird es jedenfalls mit AKWs nicht geben:

Energiebilanz-nuklearindustrie.png

Quelle: https://wua-wien.at/images/stories/...nergiebilanz-nuklearindustrie-kurzfassung.pdf

Ansonsten sinkt der Anteil von Atomstrom weltweit seit einem Vierteljahrhundert:

Atomstrom.png

Quelle: https://www.iwd.de/artikel/atomkraft-zwischen-auslaufmodell-und-leuchtender-zukunft-558091/
 
  • Gefällt mir
Reaktionen: cruscz, Weyoun und Kazuja
@CDLABSRadonP...

Zitat aus dem n-tv Link: "Viele Kohlekraftwerke werden nur in Spitzenzeiten eingesetzt, wenn der Stromverbrauch besonders hoch ist. Im Sommer zum Beispiel, wenn die Menschen ihre Klimaanlagen einschalten."

--> Genau. Dann, wenn Solar am meisten liefert (im Sommer, tagsüber), werden die Kohlekraftwerke zugeschaltet. Klingt logisch.

Ich würde eher sagen: Abends werden jeden Tag die Kohlekraftwerke zugeschaltet, weil dann die PV nix mehr liefert.

Sorry, sowas kann man einfach nicht mehr ernst nehmen. 🤡
 
Naja der Atromanteil sinkt relativ aber nicht absolut man baut halt mehr anderes dazu

Dafür steigt halt der CO2 Ausstoss jedes Jahr.

Dnen die Welt ersetzt halt keine Kohle und Gas duch EE die bauen zusätzlich EE zu zusätzlich Kohle zu zusätzlich Gas und auch zusätzlich Kernkraft nur halt von einem etwas mehr als vom anderen

In absoluten Zahlen ist das halt anders.

https://www.vdi-nachrichten.com/technik/energie/atomstrom-weltweit-auf-rekordkurs/

Es ist halt so wie wenn sich jemand zusätzlich zu seinem 8 Zylinder SUV ein E-Auto kauft und einen Verbrennersportwagen und mehr mit seinnen Vebrennern fährt als je zuvor - der wird halt auch nicht dann zum Weltretter auch wenn dann 33% seiner Autos elektrisch sind.

Die bestehenden und kommenden Riesen-Rechenzentren werden wie BitCoin Mining hauptsächlich verlässlichen und 24/7 günstigen Strom verbraten. Weil das halt beides Systeme sind deren Sinn es ist Strom so schnell es geht in maximalen Profit umzuwandeln.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: peru3232
Debian User schrieb:
Es gibt keinerlei Nachweis, dass der Klimawandel menschengemacht ist. Das ist reine Ideologie. Die Klimamodelle haben so viel Aussagekraft wie Kaffeesatzlesen.
Beschäftige dich mal mit dem radioaktiven Zerfall von Kohlenstoff und den Absorptionsbanden von CO2.
Und das ist knallharte Physik die ganz bestimmt nicht mit dem nächstbesten Youtube-Onkel diskutiert oder sich nach diesem richtet.

Der Versuch eine Physik zu definieren die sich einer Ideologie unterwirft ist schon mal gescheitert: https://de.wikipedia.org/wiki/Deutsche_Physik
 
  • Gefällt mir
Reaktionen: bad_sign, ###Zaunpfahl###, Kazuja und 2 andere
Hallo zusammen,

kenne mich mit den Kühlungsformen nicht wirklich aus, aber welche Vorteile hat denn eine Wasserkühlung gegenüber der Luftkühlung?

Ich hätte bei einer Wasserkühlung immer etwas Angst, dass da was passieren könnte, Stichwort Strom und Wasser.
 
Hicks404 schrieb:
Die Diskussion gab es in Frankfurt schon (die Stadt mit den meisten RZs in D). Mein letzter Wissensstand ist, dass die Temperatur der Abwärme zu niedrig ist um als Fernwärme genutzt zu werden. Traditionell wird hier anscheinend mit 100-150°C gearbeitet.
Es gab 2023 wohl Überlegungen und Pläne mit dem massiven Aufkommen von Wärmepumpen das Thema nochmals neu anzugehen, ich habe aber keine Ahnung wie das ausgegangen ist.
Hier wird Fernwärme per Wärmepumpe aus Meerwasser geholt:
https://www.ingenieur.de/technik/fa...aermepumpe-der-welt-heizt-100-000-daenen-ein/
 
Naja Wasser hat halt ein extrem viel höhere Wärmekapazität als Luft.

Luft hat halt eigentlich extrem wenig Materie die Wärme transportieren kann - das meiste ist halt "leerer Raum"
 
ABIT4ever schrieb:
In China gingen allein letztes Jahr Kohlekraftwerke mit einer Leistung von über 50.000 MW ans Netz.
Und wir diskutieren darüber, ob wir ein paar "Exa-Scale" Rechenzentren mit 20 oder 30 MW bauen?
Das ist eine Folge von schlechten und ineffizienten Management:

https://www.n-tv.de/wirtschaft/Klim...die-es-nie-brauchen-wird-article24942548.html
 
  • Gefällt mir
Reaktionen: Kazuja und Weyoun
Moritz Velten schrieb:
kenne mich mit den Kühlungsformen nicht wirklich aus, aber welche Vorteile hat denn eine Wasserkühlung gegenüber der Luftkühlung?
effizienz und höhere serverdichte in den schränken, beides kann viel geld einsparen im vergleich zu luftkühlung. Erfordert aber natürlich erstmal hohe investitionskosten

Moritz Velten schrieb:
Ich hätte bei einer Wasserkühlung immer etwas Angst, dass da was passieren könnte, Stichwort Strom und Wasser.
Da das keine DIY bastellösung ist, sondern vom hersteller kommt wäre mir das im Einkauf egal. Der hersteller garantiert das es dicht ist und repariert/haftet bei ausfall.
 
Okay....
Arbeitet jemand hier auf dem Gebiet Wakü oder ist sonst sehr begabt im Thema Physik/Thermodynamik und kann mir hier ein par Fragen beantworten?
Nehmen wir mal an die laufen mit Wasser und nicht einer anderen Kühlflüssigkeit.
  • Was ist die Maximale Fluss Geschwindigkeit des Wassers?
Wird ja auf der Kühfläche reduziert weil die wesentlich grösser ist als der G1/4" Anschluss. Aber ab wann fliesst das Wasser zu schnell um thermisch wärmeenergie aufnehmen zu können.
Oder ist das irrelevant weil die 8? GPU blöcke Alle Seriel geschalten sind? Parallel kann ja nicht garantiert werden das alle gleichmässig gekühlt werden. Also hat das Blade dann 8 Separate eingänge oder die werden in Serie gekühl?
Dann ist da die Frage des Druckes. Je schneller das Wasser fliesst desto mehr Druck entsteht oder? Für wie viel bar sind solche Leitungen / Kühlblöcke / Anschlüsse ausgelegt?
  • Wassertemperaturen?
Vorlauf Nachlauf Temperaturen? Raum Temperatur darf nicht unterschritten werden wegen Konsens Wasser Bildung. Oder ist das alles Lackiert? Bei 70-90°C wird die effizient vermutlich extrem drunter leiden und über 100° funktioniert nur wenn der Druck extrem hoch ist. Was eine stabile verschlauchung benötigt... Und auch für CPU/GPU nicht mehr hilfreich ist.
Was sind so normal Werte für Rechenzentren?

ganz schnell ändern und anschließend alles direkt von Supermicro kommen
Mhmmm.
Hat Supermicro vor EKWB zu kaufen? Hab gehört denen geht's momentan finanziell nicht so gut. XD
 
Zurück
Oben