News Supercomputer: Paraffinöl kühlt 3.512 CPUs an der TU-Wien

[newHeilandV2.4]

ich bin offenbar der erste der denkt, dass das Ganze auch eine riesige Schweinerei ist.
Dort eine Komponente auszuwechseln...

Ok, bin nur der Zweite.

 

[Cool Master]

So schlimm ist das nicht wie man glaubt. Handschuhe an, Bauteil raus, neues rein fertig. Man muss das deffekte halt einfach nur gut verpacken beim weg bringen.

 

[LukS]

ich bin offenbar der erste der denkt, dass das Ganze auch eine riesige Schweinerei ist.
Dort eine Komponente auszuwechseln...

Ich stelle mir das nicht so schlimm vor. Komponente Raus aus dem Öl und kurz Abtropfen lassen. Dann mit Luftdruck abblasen und schon kann man damit arbeiten ohne voller Öl zu werden. Dafür gibt es sicher einen kleinen Behälter oder Raum, bei dem man von außen mittels Handschuhen rein greifen kann. Sogar mein Opa hatte damals in seinem Elektrofachgeschäft so einen Raum um die Fernseher usw von Staub zu befreien.

 

[mayjestro]

Find ich ja gut dass wir einen Teraflops Computer auf der TU Wien haben, aber in den Zeichensälen könnten sie mal die alten CAD-Rechner gegen Zeitgerechte PC's tauschen!

 

[Fritzler]

Statt Luftkühlung durch stromfressende Ventilatoren setzt man auf Paraffinöl

Genau und Pumpen funktionieren mit viel Liebe *Gesichtspalme*

 

[helionaut]

Genau und Pumpen funktionieren mit viel Liebe

Vermutlich nicht. Aber sie sind in der Hinsicht effizienter, da der benötigte Volumenstrom bei Flüssigkeiten geringer ist als bei Luftkühlung mit Ventilatoren und dass nur eine Pumpe notwendig ist, wohingegen bei Luftkühlung jede Komponente zusätzlich einzeln gekühlt werden muss.

 

[DaBzzz]

Ich stelle mir das nicht so schlimm vor. Komponente Raus aus dem Öl und kurz Abtropfen lassen. Dann mit Luftdruck abblasen und schon kann man damit arbeiten ohne voller Öl zu werden. Dafür gibt es sicher einen kleinen Behälter oder Raum, bei dem man von außen mittels Handschuhen rein greifen kann. Sogar mein Opa hatte damals in seinem Elektrofachgeschäft so einen Raum um die Fernseher usw von Staub zu befreien.

Staub und Öl sind ein klein wenig unterschiedlich Und: Schonmal mit dicken Handschuhen (Neopren etc., eben dauerbeständig) an der Hardware gefummelt?

Abtropfen ist wahrscheinlich auch so ne Sache. Wenn das angesprochene "Paraffinöl" tatsächlich eher dünnes Mineralöl ist (hallo lieber Übersetzer? Wikipedia verlinken und dann nicht gegenchecken, was denn nun für ne Suppe gemeint ist?), dann bleibts ne ziemliche Sauerei, denn wirklich entfernen kann mans nicht. Vielleicht mit Chemie (-> doof) oder hartem Wasserstrahl (-> auch doof).
Wenns aber eher Richtung Paraffin geht, dann ist das Zeug bei Raumtemperatur tendenziell FEST oder zähflüssig, und wird nur bei Erwärmung dünnflüssiger. Das bleibt dann erst recht eklig auf allem hängen, Säuberung hängend über 24 Stunden in ner beheizbaren kleinen Kammer oder so.
Betrieb an der Phasengrenze fest-flüssig kann ich mir weniger vorstellen, denn das wär für den Zirkulationsbetrieb nicht geeignet. Und ein Kühlmittel soll halt auch gleich die Wärme von der heißesten Stelle abführen, einen Brocken Paraffin, der noch oben aufm Kühlkörper hängt und aufs Schmelzen wartet, fänd ich seltsam...

 

[10hmbAir13]

Auf wieviel Grad C + wird das Praffinöl in den Wärmemtauschern aufgeheizt?


540.000 Watt Aufnahme....
wär mal interessant, wieviel 1 kWh dort kostet. Daimler zahlt 5 euro Zent, der Verbraucher knapp 30.


Mit Paraffin/Wasser-Dispersionen haben schon E-Car-Entwickler gearbeitet,
zwecks Kühlung der Batterieen
http://www.elektronikpraxis.vogel.de/waermemanagement/articles/383866/

 

[gunage]

540 KW... da hat nen bugatti veyron ja mehr leistung

 

[pipip]

@Verbrauch
Zahlt sowieso Vaterstaat, ist eine öffentliche Einrichtung.

 

[10hmbAir13]

@Verbrauch
Zahlt sowieso Vaterstaat, ist eine öffentliche Einrichtung.

falsch.
Der Steuerzahler bezahlt per Umlage....siehe Autobahnmaut für Fussgänger usw.

 

[Kowa]

Nur weil man es machen kann, muß es noch lange nicht sinnvoll sein. Schlußendlich ist das ein Prestigeprojekt einiger Profs. Was es kostet 40t-Rechner unterzubringen ist nicht erwähnt, womöglich muß die Etage darunter mit Pfeilern stabilisiert werden. Hinzu kommen Löschanlagen für Parafinöl. Das Öl, welches sich mit Chemie und Brandhemmern anreichert ist in ein paar Jahren dioxinbelasteter Giftmüll.
Der Wartungsaufwand muß gigantisch sein. Von dem Geld hätte man sicher 100 Praktikanten/HiWis mit einem anständigen Gehalt versorgen können.

Ich denke, eine einfache WaKü, wie sie seit Jahrzehnten im Großrechnerbereich erprobt sind, hätte es auch getan. Wirklich neu wäre mal eine Hochtemperaturkühlung, die das Kühlwasser erst bei 80°C abpumpt, damit kann man dann auch sinnvoll Wasser erhitzen und desinfizieren. Sonderliche OC-Partys werden die ja damit ohnehin nicht veranstalten.

 

[HighTech-Freak]

Ich sehe das ehrlich gesagt inhaltslosen Text:
um weiviel effizienter ist die Öl-Kühlung im Vergleich zu herkömmlicher Kühlung? ab wann rechnet sich das? die Wärmetauscher und Ölpumpen kosten nichts?

Sehe ich auch so... Der relevante Informationsfetzen fehlt hier. Nämlich die Effizienz im Vergleich zu zB Luftkühlung & einer gewöhnlichen Klimaanlage.
Anschaffungskosten dürften letztlich keinen großen Unterschied machen, da beides nicht gratis ist und vermutlich ähnlich viel kostet. Ölbadkühlung ist aber letztlich wesentlich simpler, fast wartungsfrei und hat einige weitere Vorteile im Vergleich zu zB Luftkühlung: Keine lokalen Hotspots, gleichmäßige Kühlung der Bauteile, dadurch potentiell erhöhte Lebensdauer.

@Kowa: Ich glaube nicht, dass Anschaffung und Wartung exorbitant teuer sind. Ganz im Gegenteil. Vom Gewicht her sind 19" Racks nicht viel leichter. Für beides brauchst Du einen entsprechend massiven Boden. Wasserkühlung ist von den Komponenten her aufwändig, teuer und ersetzt Luftkühlung nur zum Teil, da in High-Density-Racks die verbliebenen Komponenten wie Netzteile und Chipsätze sowie zB RAID-Controller ebenfalls aktiv gekühlt werden wollen... Das geht bedeutend einfach, wenn man das Ding in einem Ölbad versenkt. Das haben auch schon genug private Projekte bewiesen.
Ölbad im Vergleich zu einer vollwertigen WakÜ kostet ca die Hälfte. Durch Synergie-Effekte bei 40 Servern, schmälert sich das zwar, aber unterm Strich wird die Öl-Lösung wohl doch noch günstiger sein...

 

[fevdlp]

Und wie wird die Zirkulation bewerkstelligt?

wie wärs mit Lesen? Das kann doch net so schwer sein?!

Den Austausch der 35 Tonnen Kühlflüssigkeit übernehmen sechs Pumpen,

 

[Jeppo]

Erinnerungen werden wach:
http://www.tomshardware.de/Eigenbau-ol-PC,testberichte-1342.html

 

[cruse]

Mein erster Gedanke, als ich das Bild gesehen habe, war:

Müllcontainer! Die haben das Teil in 21 Mülcontainer gebaut!

würde pappe reinwerfen - war mein erster gedanke

Hinzu kommen Löschanlagen für Parafinöl. Das Öl, welches sich mit Chemie und Brandhemmern anreichert ist in ein paar Jahren dioxinbelasteter Giftmüll.
Der Wartungsaufwand muß gigantisch sein. Von dem Geld hätte man sicher 100 Praktikanten/HiWis mit einem anständigen Gehalt versorgen können.

jo ich glaub ne (schaum-)löschanlage wird da vorschrift sein. ka.
ist auch nicht billig ^^


hab grad mal nach dem preis gegoogelt.
das (nicht leitende und elektrisch isolierende) öl ist billiger wie ne wakü !
für 10 eus ne wanne, MB, Graka und den ganzen kram rein, öl rein.
für 150€ biste dabei ! (geschätzt)

 

[LukS]

Staub und Öl sind ein klein wenig unterschiedlich Und: Schonmal mit dicken Handschuhen (Neopren etc., eben dauerbeständig) an der Hardware gefummelt?

Abtropfen ist wahrscheinlich auch so ne Sache. Wenn das angesprochene "Paraffinöl" tatsächlich eher dünnes Mineralöl ist (hallo lieber Übersetzer? Wikipedia verlinken und dann nicht gegenchecken, was denn nun für ne Suppe gemeint ist?), dann bleibts ne ziemliche Sauerei, denn wirklich entfernen kann mans nicht. Vielleicht mit Chemie (-> doof) oder hartem Wasserstrahl (-> auch doof).
Wenns aber eher Richtung Paraffin geht, dann ist das Zeug bei Raumtemperatur tendenziell FEST oder zähflüssig, und wird nur bei Erwärmung dünnflüssiger.

Ich glaube der Newsersteller meint eigentlich Mineralöl. Auch auf der Herstellerseite wird nur von Mineralöl geredet. Mineralöl kann bei Zimmertemperatur fast die Viskosität von Wasser haben.
Hier die Herstellerseite des Kühlsystems: http://www.grcooling.com

Zum Thema arbeiten an der Hardware habe ich eigentlich gemeint das es da einen Raum gibt indem man das mit Druckluft abbläst.
Im Prinzip geht das Arbeiten an der Hardware aber einfacher. Mann muss dazu nicht mal das Kühlsystem abschalten. Hier sind Produktvideos von deren Seite:
https://www.youtube.com/watch?v=EZmm7P1mPZs
und hier:
https://www.youtube.com/watch?v=U5eXsSHVopY
Hier gefunden: http://www.grcooling.com/server-maintenance/


Edit:
@cruse
Zum Thema Feuer hab ich was in der FAQ von denen gefunden:

Q: What are the fire code requirements?

A: An International Building Code (IBC) and International Fire Code (IFC) review of our system by a Fire Protection Engineering & Code Consulting Firm determined that our GreenDEF coolant is Class IIIB with an NFPA-704 flammability rating of 1 on a scale of 4 (water = 0). Accordingly, CarnotJet™ does not require supplemental fire suppression systems beyond those utilized by most data centers.
More details are available upon request.
- See more at: http://www.grcooling.com/faqs/#sthash.8nIecOc9.dpuf

Da das Mineralöl so schlecht brennt wird nicht mal eine automatische Löschanlage gebraucht.

 

[DaBzzz]

Das sind mal interessante Zusatzinfos, danke für die Verlinkung

Vom Hersteller:

Q: What exactly is GreenDEF™ liquid coolant?

A: GreenDEF coolant is a high-performance blend of dielectric mineral oils. It is non-volatile, non-toxic, clear, and is similar to mineral oils found in cosmetic and medicinal products. So it’s safe, environmentally stable, cheap to deploy and extremely long lasting.

Ich glaub trotzdem nicht, dass man als Arbeiter da handschuhfrei drin rumfingern sollte. Auch für medizinisches Weißöl gibts natürlich Sicherheitsdatenblätter, also Hinweise für Leute, die da täglich mit hantieren. Mal vom erstbesten Gurgeltreffer:

4. Erste-Hilfe-Maßnahmen
Allgemeine Hinweise:
Beschmutzte, getränkte Kleidung sofort ausziehen.
[...]
nach Hautkontakt:
Bei Berührung mit der Haut sofort abwaschen mit Wasser und Seife. Bei andauernder Hautreizung Arzt aufsuchen.

Geeignete Löschmittel:
Wassersprühstrahl, Kohlendioxid, Löschpulver, Sand, Wassernebel und Schaum.
Aus Sicherheitsgründen ungeeignete Löschmittel:
Wasservollstrahl.

(was lustiges, so noch nie gelesen

Persönliche Schutzausrüstung:
Allgemeine Schutz- und Hygienemaßnahmen:
Nach der Arbeit für gründliche Hautreinigung und Hautpflege sorgen. Keine produktgetränkten Putzlappen in den Hosentaschen mitführen. Bei der Arbeit nicht essen, trinken, rauchen, schnupfen. Vor Nahrungsmitteln und Getränken fernhalten.

Handschutz: Schutzhandschuhe aus folgenden Materialien tragen: NBR (Nitril) / Neopren / Viton (Permeationslevel 5 – 6), Kat. Ll gem. EN 388
Augenschutz: Schutzbrille mit Seitenschutz bei erhöhter Spritzgefahr zusätzlich Gesichtsschutzschild.
Körperschutz: Schwer entflammbare, ölabweisende Schutzkleidung.
Allgemeiner Schutzmaßnahmen: Dämpfe nicht einatmen. Berührung mit den Augen und der Haut vermeiden. Bei der Arbeit Schutzkleidung, Schutzhandschuhe und Schutzbrille / Gesichtsschutz tragen.

Akute Toxizität / Reizwirkung / Sensibilisierung:
LD50: Akut: Oral > 5000 mg/kg Ratte.
LD50: Akut: Dermal > 3000 mg/kg Kaninchen
Reizwirkung Haut: nicht reizend
Reizwirkung Auge: nicht reizend
Sensibilisierung Haut: nicht sensibilisierend
Sensibilisierung Atemwege: nicht sensibilisierend

Erfahrung aus der Praxis:
Das Einatmen thermischer Zersetzungsprodukte in Form von Dampf, Nebel oder Rauch kann Gesundheitsschädlich sein. Häufiger Kontakt kann insbesondere nach Antrocknen zu Haut- und Augenreizungen führen.
Allgemeine Bemerkungen:
Bei bestimmungsgemäßem Gebrauch und bei Beachtung der beim Umgang mit Mineralölprodukten üblichen Vorsichtsmaßnahmen sind keine besonderen Gefahren durch das Produkt bekannt.

Also nicht uneingeschränkt fürs Personal zu empfehlen, und natürlich bringt jeder direkte Hautkontakt auch Verunreinigungen ins Öl (Fette, Öle, Haare, der übliche Dreck eben), die dann langsam z.B. die Isolationseigenschaften verschlechtern. Partikel werden ja vermutlich beim Durchlauf nahe der Pumpe in nem Filter gesammelt. Was der Kerl da zeigt, kann man mal als Demo auf nem Ausstellungsstand machen, aber nicht täglich als Servicetechniker.

 

[LukS]

Ich glaub trotzdem nicht, dass man als Arbeiter da handschuhfrei drin rumfingern sollte. Auch für medizinisches Weißöl gibts natürlich Sicherheitsdatenblätter, also Hinweise für Leute, die da täglich mit hantieren. Mal vom erstbesten Gurgeltreffer:

Es kommt immer drauf an, was für ein Mineralöl die verwenden. Es gibt ja zig verschiedene. Manche davon kann man sogar bedenkenlos Essen. Diese werden beispielsweise zum schmieren von Industrieanlagen in der Nahrungsmittelproduktion verwendet. Andere wie Babyöl schmieren wir sogar auf unsere Haut. Also verallgemeinern darfst du das nicht das Mineralöle schädlich für den menschlichen Organismus sind.

 

[DaBzzz]

Das sind eben genau Weißöle, von denen das Datenblatt stammt. Es gilt weiterhin der alte Spruch "Die Dosis macht das Gift", und bei beruflicher Exposition sollte man sich da dran halten. Kein Crememischer hat seine Pfoten ständig in der Creme, kein Bademeister oder (Mineral-)Wasser-Analytiker hat ständig nasse Haut, und nur das allergesündeste Nahrungsmittel der Welt zu essen führt dennoch zur Mangelernährung. Sicherheitsdatenblätter für Alltagsstoffe sind wie gesagt Hinweise für Leute, die tagtäglich damit zu tun haben, denn außer sauberer Luft fällt mir kein "Stoff" ein, dem man sich unbegrenzt exponieren sollte.