Multi GPU System für wissenschaftliche Berechnungen

[Medione]

Hi Leute,

ich bräuchte Beratung zu einem System, das für neuronale Netzwerke/Deep Learning verwendet werden soll. Das Budget ist knapp, da es sich um ein Uni Projekt handelt (es gibt in dem Sinne keine Obergrenze, aber es sollte nicht mehr als nötig kosten). Ich möchte die einzelnen Komponenten selbst zusammenbauen.

Zur Beschleunigung eignen sich nur Grafikkarten von NVidia, so dass ich an die GTX 1080 ti gedacht habe. Die Software ist in der Lage, die Jobs auf mehrere Grafikkarten aufzuteilen. Die CPU sollte mindestens 8 Kerne haben und es sollten mindestens 64 GB RAM vorliegen.

1.) Wie viele Grafikkarten kann man maximal in einem System verbauen? Ich habe schon Systeme mit 4 Karten gesehen. Geht auch mehr?
2.) Welche CPU/MB würdet ihr vorschlagen?
3.) Welches Netzteil/Gehäuse/Kühlung schlagt ihr vor?

Danke für die Tipps!

LG

 

[cvzone]

Es kommt hier extrem stark auf die verwendete Software an. Eine Nvidia Quadro könnte erheblich schneller als die 1080 Ti sein, oder auch nicht. Wie gesagt, es liegt ganz an der Software.

Bezüglich der CPU, in Hinblick auf den Geldbeutel ist hier AMDs Ryzen 1800X wohl genau dein Ding.

Bezüglich der Anzahl der Grafikkarten kommt es wieder stark auf die Software an. Diese müssen nicht zwangsläufig mit SLI laufen, daher könnte jedes Board, was 4 GPUs unterstützt, möglichgerweise geeignet sein. Wobei Ryzen dann wohl aktuell keinen passenden Untersatz liefert.

Du müsstest dir als aller erstes mal deine geplante Software genau ansehen, und was diese wie nutzen kann! Uns fehlen hier einfach wichtigte Informationen, um Dir eine sinnvolle Empfehlung geben zu können.

 

[nitech]

Eignen sich für dieses Aufgabe nicht die Quadro Karten viel besser?
Rechnet die CPU mit oder ist sie nur für die Verteilung zuständig?
Bei 4 Grafikkarten gibt es glaube ich momentan nur Intelsystem (x99?) die das Unterstützen, oder du kannst warten bis AMD Naples herausbringt, dort wird es sicher auch Mutterplatinen geben die 4 oder auch mehr Grafikkarten unterstützen (nicht zu verwechseln mit SLI da ja deine Software die Grafikkartein einzeln ansprechen kann brauchst du darauf keine Rücksicht nehmen)
Wenn 2 genügen ist auch eine Ryzenplattform interessant, vor allem auch wegen der Möglichkeit ECC-Ram zu verwenden (unterstützung seitesn der Mutterplatine vorausgesetzt)

 

[HominiLupus]

Die Anzahl wird vom Platz auf dem Board bestimmt: pro Karte meist 2 Slots Minimum und dann müssen die eigentlich auch mit Wasserkühlung gekühlt werden. Die sind dann so nah aufeinander, die Lüfter können dann die Luft nicht ansaugen.
ATX hat höchstens 7 Steckplätze. Wenn jede Karte mind. 2 braucht, gehen nicht mehr als 4.
Man könnte mit Riserkabeln arbeiten wenn die Anbindung mit PCIe x1 wie z.B. bei Bitcoin reicht. Aber das wird auch tricky weil die Kabel sehr kurz sein müssen und man kein normales Gehäuse mehr nutzen kann.

Wieviel PCIe Durchsatz zur Karte brauchst du?

Mach dich schlau wann Ryzen für Server (Naples) kommt. Das könnte was sein für dich preislich wenn es nicht zu weit in der Zukunft ist. Der Vorteil dort ist: viele PCIe Lanes und wahrscheinlich günstig.
Sonst: Intel LGA2011-3. Wegen Wissenschaft und so ein Xeon Server mit ECC. Da geht dann immer mind. 128GB RAM. Wir können aber nicht sagen wie schnell der sein muss. Wir kennen dein Programm ja nicht.
Netzteil so was http://geizhals.de/enermax-platimax-1200w-atx-2-4-epm1200ewt-a683501.html?hloc=at&hloc=de Nicht unbedingt dieses aber eben so ca. gutes 1200W Netzteil.

Gehäuse ein Bigtower deiner Wahl und ein verdamt großer Radiator für die Wakü. Mo-Ra oder so was. Vielelicht 2 Kreisläufe fürs Wasser.

 

[Lübke]

da für deine aufgabe kein sli erforderlich ist, ist die grenze für die zahl der grafikkarten die zahl der pci-e schnittstellen auf dem mainboard. gibt durchaus systeme mit 7 grafikkarten für solche einsätze.

das platzproblem durch die dualslottkühler kannst du dabei mit einer wakü lösen.

 

[Medione]

Die Library, die wir verwenden werden, steht noch nicht fest. Wir haben allerdings Kontakt mit einer Gruppe, die da bereits Erfahrung hat, und die verwenden ein Setup mit 4x Titan X. Die schicken mir auch bald eine genaue Spezifikation zu, wie deren Setup aussieht.

Es wäre schon extrem toll, wenn man Ryzen verwenden könnte, obwohl man da schon bei 64 GB am Anschlag des Speichers wäre.

Gibt es für Ryzen noch keine MBs, die 4 GPUs unterschützen?
Was ist dafür eigentlich die Voraussetzung?

 

[HominiLupus]

Genug PCIe Lanes und dann Slots auf dem Board
Ryzen hat aber genauso wie LGA1151 Kaby Lake zuwenig Lanes.

Ryzen hat 16 von der CPU, 8 vom Chipsatz oder so. Das ist eben zu wenig wenn du mind. 8 pro Karte haben willst.
Es geht schlicht nicht ausser mit Naples der Servervariante von Ryzen: da hat die CPU dann 32 und das würde reichen.
"Solutions are slated to launch sometime in the first half of 2017 " ist alles was ich gefunden habe. Vorgestellt wurde Napels am 7. März 2017.

 

[cvzone]

Die Anforderungen sind an sich recht simpel. 4 x16 Slots, Platz auf dem Board und genug PCIe Lanes von CPU/Chipsatz.

Da aber der 0815 User sowas nicht braucht, bist du hier mit "günstiger" Consumer Hardware schnell stark eingeschränkt.

 

[Lübke]

@a_engels: ich würde sagen ihr braucht entweder viele gpu oder viele cpu (nach der aufgabenbeschreibung tippe ich stark auf gpu, da einfache aber massenhafte shader hier ideal sein sollten). ich würde also am unterbau in sofern sparen, als dass ich ein normales (aber schon hochwertiges) mainboard mit möglichst vielen pci-e 16 schnittstellen und einen potenten prozessor nehmen würde und den ganzen rest in gpus und ram buttern.

das hier wäre z. b. n nettes brett, dazu nen 6800k und 128 GB ram, sollte eigentlich als unterbau genügen denke ich: http://www.mindfactory.de/product_i...11-3-Quad-Channel-DDR4-CEB-Retail_976843.html

 

[cvzone]

Problem dabei ist aber halt, dass diese "einfachen" CPUs nicht genug Lanes bieten und kein ECC Support oder zuwenig RAM unterstützen. 4 Slots alleine rechen da vermutlich nicht aus und man wird aufgrund der nötigen CPU schon im hochpreisigen Workstation/Server Bereich landen.

 

[mediafrost]

Mir fällt da nur spontan folgendes ein: Nvidia DGX-1

Musste nix fummeln und kommt fix und fertig daher und hat den Vorteil das auch der Support gegeben ist. Hier würde ich in Anbetracht der Umstände nichts selber zusammen schustern.

 

[AS2370]

Wenn ich mich richtig erinnere, war die günstigste Lösung mit der höchsten DP Rechnenleistung die Tahiti XTL.

Da habt ihr dann etwas über 1Tflop, für um die 65-200€ pro Karte per ebay
oder mit etwas glück eine hd7990 New Zealand mit zwei Tahiti XT2 pro Karte.

Die Chips sind recht beliebt, wenn es um verteiltes rechnen geht....milkyway@home etc

Sofern keine DP Leistung relevant ist.....vergesst das geschriebene einfach

 

[Fujiyama]

Warum mietet ihr euch nicht die Rechenleistung an?

 

[Mihawk90]

das platzproblem durch die dualslottkühler kannst du dabei mit einer wakü lösen.

Das problem kann man auch mit einer eigenen Konstruktion und Riser-Kabeln umgehen:

Gibt es für Ryzen noch keine MBs, die 4 GPUs unterschützen?

Theoretisch schon, da du für wissenschaftliche berechnungen nicht allzuviel bandbreite brauchst kannst du auch eine Titan X an PCIe 2.0 x1 anbinden, selbst das würde reichen, da die schnittstelle nur zum austausch der "fertigen" Daten da ist, das braucht weit weniger bandbreite als beim Spielen. Es gibt einige AM4 Boards die mehr als nur die 2 PCIe 3.0 x8 haben.

 

[DaMoffi]

Die Bitcoining-Experten haben damals die AsRock-Boards mit Sockel 1150 genutzt: http://geizhals.de/?cmp=1161388&cmp=1046460&cmp=1508678

Dann halt mit 6 GPUs.

Und eben etwas selber gebastelt ... siehe hier:

https://www.youtube.com/watch?v=t3iup26oUN4

Aber keine Ahnung, ob sowas auch für euch in Frage kommt ...

 

[mediafrost]

...da es sich um ein Uni Projekt handelt (es gibt in dem Sinne keine Obergrenze, aber es sollte nicht mehr als nötig kosten)

Alleine mit dieser Aussage sind sämtliches zusammen gefrickelte Geräte passe. Klar ist alles möglich aber habe noch keine Uni gesehen die sich n Wust irgendwo in den Serverraum stellt

 

[wahli]

Die Library, die wir verwenden werden, steht noch nicht fest. Wir haben allerdings Kontakt mit einer Gruppe, die da bereits Erfahrung hat, und die verwenden ein Setup mit 4x Titan X. Die schicken mir auch bald eine genaue Spezifikation zu, wie deren Setup aussieht.

Dann mach das mal und melde dich dann wieder.

Interessant wäre noch zu wissen, ob die CPU auch an den Berechnungen beteiligt ist oder nur organisiert.

Muss alles in einem Rechner stecken?
Oder kannst du auch mehrere Rechner im Netzwerk rechnen lassen?
Evtl. ist es ja billiger/einfacher, wenn du x Rechner mit jeweilse 2 NVidias rechnen lässt, die im Netzwerk zusammen geschalten sind. Dann kannst du klein anfangen und jederzeit erweitern. Und es wird pro Rechner keine extremen Zustände geben, was die Kühlung, Netzteil, usw. betrifft.

 

[savuti]

Mir fällt da nur spontan folgendes ein: Nvidia DGX-1

Musste nix fummeln und kommt fix und fertig daher und hat den Vorteil das auch der Support gegeben ist. Hier würde ich in Anbetracht der Umstände nichts selber zusammen schustern.

Wenn man mal eben 200.000,- Holzdollar übrig hat, wieso nicht...

 

[Trase]

Hi,

mehr als 4 Karten geht, ist aber wahrscheinlich für dein Projekt überdimensioniert?

http://www.bressner.de/high-performance-computing/gpu-computing/?gclid=CKDcoP382tICFRc8GwodSN4AEQ

Gruß

 

[wahli]

Nvidia DGX-1

Zitat von NVidia:
"The NVIDIA DGX-1 is available for purchase in select countries and is priced at $129,000*. DGX-1 service and support at additional cost. - See more at: http://www.nvidia.com/object/deep-learning-system.html#sthash.49XARgVK.dpuf"

Genau das richtige für ein Uniprojekt