News Nvidia & Supermicro: Wie (AI-)Rechenzentren einen kühlen Kopf bewahren

[Volker]

Am Thema Kühlung kommt die IT-Industrie in Anbetracht der exponentiell steigenden Verlustleistung von CPUs und GPUs im (AI-)Rechenzentrum nicht mehr vorbei, das wurde schon zur ISC 2024 deutlich. Auch auf der Hot Chips 2024 steht das Thema im Fokus. Ein Überblick der Präsentationen von Supermicro und Nvidia.

Zur News: Nvidia & Supermicro: Wie (AI-)Rechenzentren einen kühlen Kopf bewahren

 

[eastcoast_pete]

Irgendwie macht "Kühlung" als Thema bei "Hot Chips" auch viel Sinn - in jeder Hinsicht 😁!

 

[Blubbsy]

hmm... also irgendwie erschrecken mich die Leistungsdichten nicht so, wenn ich denke dass im Inverter von BEVs ca. 1.8kW/cm² weggekühlt werden. Bei kleineren Chipflächen, dafür höheren Temperaturen (max. Junction Temperatur von ca. 160 -- 170°C).
Mal aus Neugier mal in die Simulation kloppen und schauen wie das bei ähnlichen Randbedingungen aussehen würde

 

[Nitschi66]

@Volker
Rein vom Aufbau verstehe ich den Einschub hier nicht:

(Data Center Power Efficiency, PUE).

Ich kenne es so, dass man nach so einem Komma das davorstehende zusammenfasst. PUE steht aber für Power Usage Effectiveness und nicht für Data Center Power Efficiency.

Wie viel Wärme pro cm² kann aktuell abgeführt werden: 200 Watt pro cm² oder 230 W/cm²?

Entscheid dich mal :-P

 

[eastcoast_pete]

Von der Auslegung der Server in größeren Anlagen abgesehen (wenn's geht, von vornherein für Flüssigkühlung entwerfen und bauen) ganz abgesehen fand ich v.a. auch das Thema interessant, ob and wann man bei immer feineren Strukturen in den Chips auch an die Grenze der möglichen Wärmeabgabe kommt. Da die Fertigungsknoten jetzt laut Marketing Englisch auf 2 nm und kleiner zu marschieren ist die Frage dann, ob der Abstand zwischen den Strukturen auch entsprechend verkleinert werden kann, oder ob hier die Wärmeabgabe dem Grenzen setzt, die zumindest bei Silizium basierten Halbleitern und konventioneller Kühlung (Luft, Flüssig, aber eben nicht Flüssigstickstoff) nicht unterschritten werden kann.

Ergänzung (26. August 2024)

hmm... also irgendwie erschrecken mich die Leistungsdichten nicht so, wenn ich denke dass im Inverter von BEVs ca. 1.8kW/cm² weggekühlt werden. Bei kleineren Chipflächen, dafür höheren Temperaturen (max. Junction Temperatur von ca. 160 -- 170°C).
Mal aus Neugier mal in die Simulation kloppen und schauen wie das bei ähnlichen Randbedingungen aussehen würde

Die Frage ist allerdings, ob das Gating in Transistoren in Nanometer Strukturgrößen dann auch bei Taktfrequenzen im Gigahertz Bereich weiterhin fehlerfrei bleibt. Inverter müssen, soweit ich weiß, sowas ja eher nicht bewältigen.

 

[Legalev]

Und der einhergehende enorme Stromverbrauch + entsprechender Umweltbelastung war kein Thema?

 

[Aduasen]

Enormer Stromverbrauch ist jetzt nicht zwingend umweltbelastend, wenn er denn klimaneutral erzeugt wird.

 

[eastcoast_pete]

Und der einhergehende enorme Stromverbrauch + entsprechender Umweltbelastung war kein Thema?

Ein Aspekt der Kühlung von Server, die mich (schon vor Jahren) fast umgehauen hat ist, wie viel Strom die Kühlung von Servern in klassischen Racks verbraucht. Da sind schnell mal 50 - 80 Wh pro Schublade (Drawer) drin, und die kommen ja noch zu den 300 - 500 Wh, die die CPUs usw direkt verbrauchen. Wenn man hier den Energieverbrauch der Kühlung um ~ die Hälfte verringern kann, sind bei großen Serverfarmen Einsparungen im einstelligen Megawatt Bereich möglich.
Was auf den Rechnern dann gemacht wird (zB KI Zeug), und ob das jeweils sein muss bzw insgesamt Sinn macht ist dann noch eine ganz andere Frage.

 

[Legalev]

Enormer Stromverbrauch ist jetzt nicht zwingend umweltbelastend, wenn er denn klimaneutral erzeugt wird.

Bezieht sich jetzt auf KI, aber die Rechenzentren werden ja immer mehr.
Ich bin wahrlich KEIN Grüner und werde das auch nie.
Aber für sehr bedenklich halte ich die Entwicklung trotzdem.

z.b. "Wenn Sie in ein Flugzeug von London nach New York steigen, belaufen sich Ihre Kohlenstoffemissionen auf 986 Kilogramm. Aber um einen Algorithmus zu trainieren, emittieren wir 284.000 Kilogramm", sagt Brevini. "Warum reden wir nicht darüber, wie wir diesen CO2-Fußabdruck verringern können?"

Bill Gates setzt auf KI – aber auf welche?​

Vor etwa einem Monat musste auch Microsoft eingestehen, dass KI sich schlecht mit der Verringerung des CO₂-Abdrucks verträgt. Dem hauseigenen Jahresbericht zufolge sind Microsofts Treibhausgasemissionen in jedem der vergangenen drei Jahre gestiegen. Sie liegen mittlerweile um rund 30 Prozent über dem Wert von 2020. Der Wasserverbrauch des Konzerns hat sich im selben Zeitraum sogar fast verdoppelt . Die Unternehmensspitze führt das explizit auf den Bau immer neuer Rechenzentren zurück.

 

[olligo]

@Legalev alles mit der Hoffnung, dass man mit dem Ergebnis am Ende die Welt doch noch verbessert und neue Möglichkeiten findet, all dies zu bekämpfen oder halbwegs in den Griff zu bekommen.

Wo genau die Reise hinführt, wird sich dann in spätestens 3 oder 5 Jahren zeigen denke ich.
Wenn bis dahin mit den großen KI Systemen noch keine bahnbrechenden Dinge erschienen sind, sollten wir uns in der Welt mal fragen, ob wir nicht einen Gang zurückschalten sollten.

 

[T-Horsten]

Enormer Stromverbrauch ist jetzt nicht zwingend umweltbelastend, wenn er denn klimaneutral erzeugt wird.

Und was ist mit der erzeugten Abwärme?

 

[KlaasKersting]

@T-Horsten Was soll damit sein?

Wenn du Strom durch Windkraft oder PV erzeugst und Rechner die Energie wiederum als Wärme abgeben, findet dadurch keine Erwärmung der Erde statt.

Energieerhaltungssatz.

(Ja, wir ignorieren hier natürlich einiges was die Fertigung, Bau, Entsorgung usw. angeht)

 

[supermanlovers]

"Dass Rechenzentren in der Nähe von Wohnsiedlungen bereits zum Heizen genutzt werden...Wie nachhaltig das am Ende aber wirklich ist, steht auf einem anderen Papier."

Was kann darin nicht nachhaltig sein? Das man erstmal 10km Leitung legen muss?

Ich finde wir sollten versuchen die gesamte Wärmeenergie der Industrie nutzen (sofern praktisch umsetzbar)

 

[Ruebennase]

Und was ist mit der erzeugten Abwärme?

Die Kühlt sich wieder ab bzw passt sich die Normale Umgebungstemperatur an.

 

[T-Horsten]

Energieerhaltungssatz?

Und schon wird der enorme Stromverbrauch, auch wenn klimaneutral erzeugt, zum Problem.

 

[Malefiz123]

Enormer Stromverbrauch ist jetzt nicht zwingend umweltbelastend, wenn er denn klimaneutral erzeugt wird.

Funktioniert aber nur, wenn das Rechenzentrum entweder an ein Netz angeschlossen ist, dass hauptsächlich / ausschließlich mit Ökostrom betrieben wird (Norwegen usw) oder den Strom selbst lokal Klimaneutral erzeugt. Was die absolute Ausnahme sein dürfte.

Grundsätzlich darf erst einmal davon ausgegangen werden, dass ein hoher Energiebedarf umweltschädlich ist. Ausnahme bestätigen die Regel

 

[Boimler]

Enormer Stromverbrauch ist jetzt nicht zwingend umweltbelastend, wenn er denn klimaneutral erzeugt wird.

Ja und Nein. Insgesamt sind die Energieressourcen endlich, auch erneuerbare Energien sind auf Platz und Umweltbedingungen angewiesen. Die Freude um die vielen eingesparten kWh blendet aus, dass man trotzdem einige Megawatt mehr im Gesamtverbrauch stehen hat. Das ist ein bisschen wie mit Rabattcoupons, bei denen man zuschlägt und dabei natürlich trotzdem Geld ausgibt, das man ohne den Coupon komplett eingespart hätte. Abgesehen davon sind da die Bilanzen der Herstellung von Serverfarmen nicht mit eingerechnet. Fazit ist eigentlich: Jedes nicht gebaute Center ist ein Beitrag zum Umweltschutz.

Energieerhaltungssatz?

Die Menschheit verbraucht aktuell 1/10000 der Energie, die die Sonne jährlich zur Verfügung stellt. Den Löwenanteil davon machen fossile Energieträger aus, also Energie, die nicht mal direkt von der Sonne kommt. Man will also bis zum Ende des Jahrhunderts 1/10000+ an Sonnenergie (und das sind letztlich alle Erneuerbaren) komplett erneuerbar entnehmen. Das klingt jetzt nicht viel, aber so viel Platz ist dann eben doch nicht für Solarparks und Windturbinen.

 

[GrumpyCat]

Ich bin gespannt, wann die Hoster anfangen, die Kunden nach verbrauchten kWh abzurechnen, dann erledigt sich dieses "wir basteln irgendwas planlos mit ML rum" vermutlich von alleine.

Genaugenommen bin ich erstaunt, dass z.B. AWS nicht jetzt schon Energie separat abrechnet, die sind da sonst auch immer die Ersten, die die Hand aufhalten (feste IP: kostet. IOPS: kostet. Bandbreite: Kostet. Volumen: Kostet. API-Calls: Kosten. Und alles gerne doppelt oder dreifach berechnet und großzügig aufgerundet).

 

[AGB-Leser]

Warum? Was interessiert mich als Nutzer des Servers der Stromverbrauch? Ich bin doch nicht schuld, dass der Anbieter ineffiziente Server nutzt. Ich zahle den Stundenpreis und fertig, ist der zu hoch, gehe ich halt woanders hin

 

[Nordwind2000]

KI abschalten - Gehirn nutzen - Energie sparen - Kosten senken - sinnvoll investieren - KI abschalten

Just my 2 cents