WaKü für Multi-GPU System

firespot

Lt. Junior Grade
Registriert
Dez. 2011
Beiträge
342
Tag,

Für eine numerische Applikation (Arbeit) soll ein Multi-GPU System gebaut werden (Anwendungszweck: GPGPU; System wird komplett neu erstellt). Da sollen mindestens 2, ev. bis zu 4 Radeon 7970 rein, aber trotz der gewaltigen Hitzeleistung noch einigermassen leise / gut gekühlt bleiben. Daher die Idee von Haus aus auf WaKü setzen. CPU (vermutlich Sockel 1155) kann u.U. per Wa mitgekühlt werden, muss aber definitiv nicht; es geht v.a. um die GPUs.

Ich habe keinerlei Erfahrung mit WaKü, haber aber schon genug "normale" Rechner komplett zusammen- oder umgebaut.
Für das System gilt (Garanatie etc.) dass keinerlei physische oder settings-mässige Modifikation der Grakas / CPU stattfindet; konkret also kein OC was Temps erhöhen würde oder undervolten, aber auch kein rumbasteln an den Einzelteilen - als GraKas werden die Powercolor HD 7970 LCS genutzt (WaKü-block bereits vorgebaut; http://geizhals.at/de/739525).

Ziel: die enorme Graka-Wärme abführen und einigermassen leise bleiben (muss nicht komplett silent sein, aber eben nicht laut).

Gehäuse kann sich gerne explizit nach der WaKü richten / integriert haben, sollte aber nicht grösser als Big-Tower sein (Empfehlungen gerne willkommen !). WaKü kann, wenn es nicht anders geht, auch extern sein, rein intern wäre deutlich präferiert wobei eben mit bis zu 4 Grakas gerechnet werden muss. Budgetlimit gibt es nicht wirklich, es soll robuste, gute Qualität haben und Mehrkosten sind dann absolut OK, aber kein Luxus. Aussehen, Beleuchtung etc. ist irrelevant.

Frage: Was brauch ich da nun für WaKü - Komponenten und was kann man empfehlen zum weiter studieren. Wie gesagt mindestens 2 Graka werden verbaut, ev. bis zu 4. Kann ich mehrere Grakas an einem Gesamt-WaKüsystem anschliessen, oder braucht jede Graka ihre eigenes geschlossenes System? Ich würde es gut finden wenn ich zumindest je 2 an einem System anbinden kann. Was muss ich konkret beachten?

Danke Euch !
 
Hi,

bei so vielen Grafikkarten würde ich definitiv auf eine externe Lösung setzen, schon alleine um im Sommer Reserven zu haben (Stichwort: MO-RA). Mit so etwas, einem Ausgleichsbehälter, genug Schlauch und einer leistungsfähigen Pumpe sollte das kein großes Problem darstellen. An den MO-RA evtl noch Lüfter dran (für den Notfall). Grafikkarten die bei 100% Last längere Zeit arbeiten werden sehr heiß, vor allem wenn es 4 Stück im Kreislauf sind!

VG,
Mad
 
also bei 4grakas die evtl. wassergekühlt werden sollen, bekommst die wakü nicht intern unter

big tower und den mo-ra3 extern an die gehäusewand montieren (mobo seite)

und wie von 4m< l33 angesprochen, solltest du auf sockel 2011 umsteigen wegen bessere lane anbindung
 
Ich würde zwecks Kühlung auch ein Mo Ra3 9x140 empfehlen. Ich habe so einen letzte Woche bei Ebay geschossen. Hier mal der Größenvergleich zu einem doch recht großen Cosmos S Bigtower:

Abmessung Tower inkl. Mora3
L-B-H (690x 350 x 590) mm
Komplettgewicht bei 4 wassergekühlten GPUs um die 35-38 kg

Mit dem Ding denke ich sollte man 4x HD7970 im Zaun halten können. Ich würde allerdings großzügig Platz lassen in alle Richtungen wegen Luftzufuhr. Unbedingt leise ist das dann auch nicht, weil der Mora3 ist nicht auf Passivbetrieb ausgelegt.

Welche Art Anwendungssoftware soll genutzt werden? Ich frage nur weil ggf. Nvidia GPUs besser sein könnten je nachdem welche Hardwarebeschleunigung die Software unterstützt.

Wenn etwas Zeit ist lohnt es sich ggf. noch zu warten, weil wohl bald (November) neue GPU-Computing optimierte "Grafikkarten" von Nvidia (Kepler GK110) und Intel (Xeon-Phi) vorgestellt werden. Aber ich denke dann ist man bei 4x solcher Karten im 10.000+ € Bereich.

Mfg

C170DAW
 
Zuletzt bearbeitet:
Danke erstmals. Werde das Mo-Ra3 und Zubehör mal studieren (scheint nach Bild ja ein Monster zu sein :freak: :o !).

Vermutlich wird mal mit 2 Grakas begonnen, die 2 zusätzlichen wären optional. Würde man dafür eine interne Lösung unterkiegen ? Und könnte ich, wenn die beiden anderen Grakas auch angeschafft werden, einfach eine 2. WaKü derselben Bauart dann extern dazugeben? Anders gesagt, intern beginnen und erst wenn wirklich 4 Grakas zum Zug kommen die interne WaKü um eine weitere externe erweitern?

Sockel 1155 vs. 2011:
Das ist etwas schwierig zu entscheiden, eher wäre 1155 präferiert. Ich dachte beim Gigabyte G1.Sniper 3 (http://geizhals.at/764686) komm ich auf zweimal PCIe 3 x16 oder viermal PCIe 3 x8 (lese ich so von der Herstellerseite) und ein 2011 kommt auch nicht auf mehr lanes?

Grakas sollen fix Radeon 7970 sein; auf die 7990 oder neue Gens kann nicht mehr gewartet werden, und Nvidias sind hardwareseitig nicht so gut geeignet.
 
Hi,

mach das nicht, fang gleich richtig an. Lieber betriebst du den Mora dann passiv, aber erst intern und dann extern und dann doch beide und vielleicht doch extern - ne ne, mach es richtig oder gar nicht :)

Nvidias sind hardwareseitig nicht so gut geeignet.

Wieso das wenn man fragen darf?

VG,
Mad
 
Bei 1155 ist alles über x16 über einen zusätzlichen Chip geregelt, hier nachzulesen:

http://www.enthusiastpc.net/articles/00003/2.aspx

Geschickter wäre auf jeden Fall 2011, musst aber jeder selber wissen...

Ein normaler Mora (9x120 oder 4x180) müsste bereits reichen um 4 Karten zu kühlen.
Wäre ja aufgeteilt 2x120 pro Karte und 1x120er fürn Prozessor, allerdings je mehr Kühlfläche desto leiser...
 
Wenn 2 HD7970 feststehen dann steht schonmal ein Stromverbrauch von rund 500 Watt zu Buche. Dafür reicht meiner Meinung nach ein 360er Radiator nicht mehr aus. Das ist aber die gängige Größe die noch intern in normale Gehäuse passt. Wenn es ein Big Tower sein soll unterstützen einige auch 480er Radiatoren intern. Ob das aber für 4x HD7970 reicht mag ich bezweifeln. Diese haben laut Test einen Stormverbrauch von rund 900 Watt. Wobei Stromverbrauch ungleich Verlustwärme ist.

Generell finde ich es besser den Radiator außerhalb des Gehäuses anzubringen weil dann die Wärme nicht im Gehäuse verbleibt. Vorteil außerdem, der Tower muss nicht so groß sein.

Hier ein Beispiel eines auf interne Wasserkühlung optimierten Gehäuses.
 
Zuletzt bearbeitet:
Frage:
Muss das Ding wirklich unterm Schreibtisch stehen?
Meiner Meinung nach ist so ein gerät in einem Serverraum besser aufgehoben...
und es wird einfach mit einem Remoteserver drauf zugegriffen.

Vermute mal das ihr Simulationssoftware drauf laufen lässt, die meisten erlauben das einbinden von Clustern (wobei der cluster bei euch aus 1xPC besteht :) )
 
Hallo,

ich habe Dir einen Warenkorb in Aquatuning erstellt. So ungefähr sollte es aussehen. Sollte ich etwas vergessen haben, bitte korrigieren.

https://www.aquatuning.de/shopping_cart.php/bkey/139e714b8f6d143495a0de07eba7977f

ich gehe davon aus, dass Du 1155 Board und i7 nehmen wirst. Den Radiator kann man an der Seite (rechts) des Gehäuses befestigen.

Als Gehäuse würde ich das hier empfehlen:

http://www.caseking.de/shop/catalog...NZXT-Switch-810-Big-Tower-schwarz::18205.html

Wenn Du dieses Gehäuse nimmst und wirklich vor hast 4xGrafikkarten zu kaufen würde ich Dir noch zusätzlich 280-er radiator emfehlen. Den kannst Du dann im Case befestigen.

http://www.aquatuning.de/product_info.php/info/p9269_Phobya-G-Changer-280.html

Gruß
Kurt
 
Zuletzt bearbeitet:
Bevor wir uns zu sehr in Details verlieren welche Hardware genau zum Einsatz kommt oder wo das Ding genau steht, wieder zur Ursprungsfrage, nämlich dem generellen setup so einer WaKü.

Hab mir den Mo-Ra 3 angeschaut. Das ist doch "nur" ein Radiator, oder? Wie gesagt ich bin Neuling auf WaKü-Feld, aber ich vermute ich brauche dann wohl noch Tank, Pumpe, Schläuche etc. Werden Tank und Pumpe intern verbaut oder auch wieder extern? Wie gross muss so ein Tank sein, nach was genau richtet sich die Leistung die die Pumpe erbringen muss (also was muss ich da beachten)? Und wie schliesst man die Grakas an? -> einfach alle seriell (die letzte ist ja dann arm dran) oder kann man den Wasserstrom splitten und parallel versorgen etc?

Danke !

EDIT: @kurtmania gerade dein Post gesehen ich schaus mir durch !
 
ich ignoriere einfach mal alles schon geschriebene und geh von der annahme aus das system sollte absolut stabil laufen und nicht viel wartung oder aufsicht benötigen

wenn dem so ist würde ich zu allererst auf sockel2011 gehen mit dem board hier http://geizhals.at/700142
weil das ist nunmal auf stabilität ausgelegt und bietet ohne zusatzchip das was auch die teuren sockel1155 boards liefern (ohne zusatzchip deswegen weil 2 dedizierte 8fach anbindungen sind einfach besser als 2 16fach anbindungen die aber in nem chip wieder auf 2x8fach quasi aufgeteilt werden)
der kleine 4kerner sollte ja mehr als reichen

zur wakü jetzt

der mora bietet sich einfach an weil der selbst bei nem lüfterausfall noch einige zeit die temps im unkritischen bereich halten kann
ich würde wenn dann aber den 4x180er nehmen und übergangsweise die 32mm starken phobya lüfter nehmen, bis die noiseblocker e-loop in 180mm wohl anfang nächstes jahr kommen (hab gerade die ankündigung nicht genau vor augen, kann auch 1.quartal oder so gewesen sein)

um den radi anzuschließen würde ich schnellkupplungen von koolance nehmen undzwar da die vl3n serie
was die anderen hersteller so anbieten ist eigentlich als schrott oder spielzeug zu bezeichnen und das lässt sich koolance leider auch so bezahlen-.-

als pumpe würde ich ne aquastream xt von aquacomputer nehmen in der ultraversion, zum einen hat man da eine modifizierte eheim pumpe, also eine pumpe für die ewigkeit und zum anderen bietet die usb anbindung der pumpe gute überwachungsmöglichkeiten (und mit nem durchflussmesser dazu wirds noch besser) außerdem bietet aquacomputer auch nen sehr guten service im falle das mal was ist
wenns ruhig sein soll muss die pumpe natürlich entkoppelt werden mit z.b. nem shoggy sandwich

beim agb bieten sich slot agbs an, da die meist so gefertigt sind das die plexiteile nicht zu spannungsrissen neigen, was gerne mal bei röhrenagb's passiert vorallem bei relativ aggressiven kühlmitteln
oder man nimmt gleich einen von den neuen aquacomputer agbs, weil echtglas und delrin juckts kein stück was man da so für flüssigkeiten verwendet
was die größe angeht ist das nicht so nen thema, es kommt auf den aufbau des agb's an
nen swiftech micro-res funktioniert z.b. zuverlässig selbst bei 300lph, andere agbs mit einem vielfachen des fassungsvermögen haben teilweise schon ihre probleme bei 100lph

aufjedenfall würde ich einen ablasshahn mit einplanen und wenn möglich auch noch eine füllmöglichkeit ohne extra den deckel vom agb zu öffnen

die cpu kann man auch noch gleich mitkühlen, weil die 30€ für z.b. nen aquacomputer cuplex kryos delrin stören ja nicht und man hat seine ruhe

mit 16/10er oder 16/11er schlauch macht man nix verkehrt, aber 11/8er reicht genauso
muss auch nicht tygon sein, masterkleer reicht meistens auch
aufjedenfall höherwertige anschlüsse verwenden so ab alphacool oder ek, bei drehbaren winkel lieber noch ne stufe höhergehen und koolance/enzotech/bitspower kaufen
weil je günstiger die anschlüsse umso billiger werden ;) und vorallem bei den drehbaren winkeln wird das deutlich die noname dinger bremsen den durchfluss wie sonstwas, bei alphacool gehts dann mitm bremsen aber die neigen ab und an zum tropfen
ob schraubanschluss oder tüllen ist relativ egal, ich finde tüllen besser, weil wenn man da die tülle ein oder zwei mm größer als der innendurchmesser des schlauches kauft bekommt man eine super dichte und stabile verbindung und zur not kann man immernoch den schlauch sichern

die grakas würde ich parallel anströmen, weil grakakühler im normalfall eh nicht so viel durchfluss brauchen
entweder mit den variablen sli verbindern von koolance oder enzotech oder schauen ob nicht direkt ne brücke von ek passt
(der kühler auf der karte ist ja von ek, vlt muss man sogar diese brücken nehmen, weil ek manche kühler nur mit einseitigen anschlüssen ausgestatt hat, und da funktionieren die normalen sli verbinder natürlich nicht)
 
als pumpe würde ich ne aquastream xt von aquacomputer nehmen in der ultraversion, zum einen hat man da eine modifizierte eheim pumpe, also eine pumpe für die ewigkeit und zum anderen bietet die usb anbindung der pumpe gute überwachungsmöglichkeiten (und mit nem durchflussmesser dazu wirds noch besser)

Man braucht eigentlich keine Ultra Version der Pumpe, wenn man sowieso aquero dazukauft, da man die Funktionen die zusätzlich die Ultra Version hat (Lüftersteuerung, Temperatur-und Drehzahlüberwachung), Aquaero auch hat. Den Lüfterausgang bei der Pumpe darf man nur mit max. 5W belasten, dagegen kann man an aquaero alle Lüfter anhängen.

edit: Die hochwertigen Anschlüße finde ich auch edel. Ich kann mir auch vorstellen dass sie auch qualitativ mehr bieten. Ich habe aber die normalen Aquatuning Anschlüße und die machen eigentlich auch seine sache. Bis jetzt habe ich 3 PC mit Wasserkühlung gebaut und noch keiner von den Anschlüßen war undicht oder so was ähnliches.

In der Regel sollte die Wassertemperaturdifferenz im Kreislauf nicht über 2K liegen, sonst ist der Wassermassenstrom zu niedrig.

Es kann sein dass bei PC die paralleleDdurchströmung der Grakas nicht so viel ausmacht, aber praktisch macht es mehr Sinn die Grakas in Serie zu schalten. Man hat zwar höheren Druckverlust, aber die Pumpe schafft das schon :). In der Industrie sind die parallel geschalteten Wärmeübertrager sehr unbeliebt.
 
Zuletzt bearbeitet:
die ultra weil man sich damit das aquaero spart
das soll ja kein rechner zum zocken oder sonstwas werden, sondern der soll die ganze zeit voll ausgelastet rechnen
da kann man die lüfter einfach fix auf 7V laufen lassen und gut ist

ultra version das man halt noch nen durchflussmesser zur erkennung von verstopfungen/pumpenausfall nutzen kann und um noch nen zweiten messpunkt im kreislauf zu haben

nen aquaero braucht man ja nur wenn die auslastung des rechners schwankt und man immer möglichst niedrige rpm werte der lüfter haben will



und was die parallel geschichte angeht, hat man 4 identische kühler und alle arbeiten schon super wenn man nur ein viertel des durchflusses jeweils hat kann man ruhig die möglichkeit mitnehmen die pumpe etwas weniger arbeiten zu lassen
und zumindest bei 2 karten kann ich sagen das sich der volumenstrom fast perfekt 1:1 aufteilt, weil dank plexikühlerdeckel und sli verbinder könnt ich jedesmal beim entlüften gut mitverfolgen wie die verteilung ist :D
 
Hi,

Danke euch erstmals, ich wühle mich durch die Infos durch und studiere das in Ruhe weiter.
Irgendwie habe ich mir das einfacher vorgestellt :o; die Idee von max. 2 stinknormalen luftgekühlten Grakas in einem gut belüfteten System gewinnt wieder an Reiz ;), schon alleine aus den Haftungsgründen.
 
Warum wegen Haftung? Kauf entweder EVGA Grakas (damit verlierst Du keine Garantie beim Kühlerwechsel) oder hier:

http://www.caseking.de/shop/catalog...atercooled-with-aquagrATIx-HD7970::19288.html

Ist zwar 30-40 € teurer aber mit der Garantie.

Preislich gesehen ist es natürlich vorteilhafter eine Luftkühlung zu haben und Aufbau ist auch um einiges einfacher.

oder Du kaufst Dir das hier:
http://www.arctic.ac/en/p/detail/index/sArticle/569/sCategory/2182

und kühlst die CPU damit:
http://www.caseking.de/shop/catalog...per-Mega-Red-Vortex-Edition-140mm::17576.html
 
aber bei zwei 7970s die die ganze zeit am rechnen sind musste den rechner dann wirklich in nen serverraum stellen :D
 
Zurück
Oben