Kleine Deep Learning Workstation mit 2 GPUs

[frankwalter]

Hi, im Prinzip stehen die Grafikkarten und auch einige andere Maße (z.B. 2TB SSD, 64GB RAM) schon fest. Nur ich kenne mich mit den genauen Produkten/Bezeichnungen was alles außer die Grakas angeht nicht besonders aus und würde mich über eine Liste mit Komponenten freuen, die gut harmonieren und auch mit den 2 schnellen Grakas arbeiten können

1. Was ist der Verwendungszweck?
Deep Learning Training & Inference auf den GPUs unter Ubuntu.

1.3 Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, …)?
Umso kleiner das Gehäuse und umso leiser, umso besser.

1.4 Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt?
Ansteuerung soll generell nur über SSH stattfinden, aber es soll natürlich möglich sein zur Not auch mal irgendeinen x-beliebigen Bildschirm dran zu klemmen. Der muss überhaupt keine Erwartungen erfüllen und vielleicht ist es ja sogar möglich den an die CPU Grafikeinheit zu klemmen damit er keine Graka blockiert.

2. Vorhandene/Geplante Komponenten

• Arbeitsspeicher (RAM): 64GB (es soll aber Platz sein, dass ich evtl. auf 128GB nachrüste)
• Mainboard: Keine Präferenz
• Netzteil: Keine Präferenz
• Gehäuse: Keine Präferenz (Umso kleiner, umso besser & es darf nicht leuchten)
• Grafikkarte: 2x Nvidia 1080 TI (Eine "Asus GeForce GTX1080TI-11G Founders Edition" besitze ich bereits, falls das eine Rolle spielt)
• HDD / SSD: 2 TB SSD (keine HDD)
• Prozessor: Präferiert wird Intel mit mind. 6 Kernen

3. Wie viel Geld bist du bereit auszugeben?
Solange die Komponenten gut harmonieren und Preis/Leistung halbwegs stimmt spielt Geld nicht so eine große Rolle.

4. Was ist die geplante Nutzungszeit (in Jahren)?
Uff, schwierige Frage, solange wie möglich würde ich mal sagen.

5. Wann soll gekauft werden?
asap

6. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen?
Habe einen Freund mit Erfahrung der mir beim zusammenbauen hilft.


Danke euch, hoffe habe alles richtig gemacht und das wurde hier nicht schon x-mal gefragt

 

[Fujiyama]

Von welcher Software reden wir?
Professionell oder Hobby?

 

[usb2_2]

Du solltest schon am besten ATX nehmen, damit du es leise kühlen kannst. Wäre denn der Platz generell da oder hast du dafür keinen?

Ansonsten vielleicht ein Define Mini C oder etwas in die Richtung

 

[frankwalter]

@Fujiyama
Also ich nutze hauptsächlich die zwei Frameworks TensorFlow & Pytorch mit Python und die benutzen CUDA bzw. NVIDIA cuDNN. Laufen soll alles auf Ubuntu. Ich habe hier mal einen Link rausgesucht, da steht genau was Amazon auf seinen Servern für's Deep Learning vorinstalliert - Am Ende läuft es auf fast genau das gleiche bei mir hinaus: https://aws.amazon.com/marketplace/pp/B077GCZ4GR

Ich werde ihn für Hobbyprojekte sowie Professionell einsetzen.

@usb2_2
Sorry, ich weiß ehrlich gesagt gar nicht was ATX bedeutet, habe es mal gegoogelt, also eine spezielle Norm Bauteile in einem Gehäuse anzuordnen? Du meinst dafür bräuchte ich generell ein größeres Gehäuse? Naja sagen wir es so, Platz ist schon ein heiliges Gut in meiner Wohnung, aber wenn es anders nicht geht und die Komponenten sonst nicht optimal funktionieren, müsste ich diesen Kompromiss eben eingehen und größer planen

 

[usb2_2]

Also ATX ist insgesamt größer, meistens sind die Gehäuse aber vor allem höher. Du brauchst aber eh Platz für die beiden GPUs.

Willst du den PC hinstellen, wie üblich, willst du einen liegenden PC, der irgendwo reinpasst oder willst du einen stehenden aber nicht sehr hohen PC oder in etwa sowas? Das sind jetzt nur mal Beispiele gibt ganz viele.

 

[frankwalter]

Die "oder in etwa sowas" Variante finde ich am passendsten. Alternativ stehend.

 

[usb2_2]

Dann wird die Kühlung zwar etwas schwerer, vor allem mit SLI, aber es ist generell möglich. Wenn deine zweite GPU ebenfalls so kurz ist (max 29cm) dann passt es mit dem Fractal Design Node 804, das ist vom Volumen abert schon wieder über 40 Liter, das spart also keinen Platz zu anderen Gehäusen.

Ähnlich ist noch das Corsair Air 240, da passen auch 2 GPUs rein, der CPU Kühler muss aber kleiner sein und du hast weniger Platz zwischen den GPUs, das hießt die Kühlung ist auch wieder schlechter.

 

[frankwalter]

Dann lieber einen gewöhnlichen, stehenden, der dann halt etwas größer (in der Höhe) ist, aber wo die Kühlung gut und relativ leise funktioniert.

 

[usb2_2]

Muss es denn Intel (8700k) sein oder kann es der in Anwendungen schnellere und günstigere Ryzen 7 2700x sein?

Eine 1080ti hast du ja schon, dann empfehle ich eine zweite mit besserer Kühlung zu nehmen und da deine jetzige relativ laut ist auch ein gedämmtes Gehäuse.

Dazu natürlich ein gutes Mainboard, wie das X470 Gaming Pro Carbon, RGB musst du dann aus machen, das haben die leider. Da bekommst du aber insgesamt Maximal 64GB RAM rauf. Für mehr musst du sonst auf eine andere Plattform wechseln.

Das wäre dann TR4 mit dem Threadripper 2950x, die anderen unterstützen nicht genug RAM.

 

[painomatic]

Hier gibt es einen Test zu Tensorflow und Hardware, vielleicht noch ganz interessant für dich:

https://www.pugetsystems.com/labs/h...1080Ti-RTX-2070-2080-2080Ti-and-Titan-V-1267/

Kenne mich mit der Materie zwar kaum aus, aber müssten nicht die neuen Nvidia Karten durch die Tensorkerne einen Vorteil beim Deep Learning haben.

 

[frankwalter]

Eine 1080ti hast du ja schon, dann empfehle ich eine zweite mit besserer Kühlung zu nehmen und da deine jetzige relativ laut ist auch ein gedämmtes Gehäuse.

@usb2_2 Oh, ich wusste gar nicht dass es da Unterschiede gibt. Dann würde ich vielleicht darüber nachdenken meine aktuelle an den Mann zu bringen und lieber zwei "leiste" zu kaufen. Woran merke ich denn den Unterschied?

X470 Gaming Pro Carbon und Ryzen 7 2700x mit 64Gb klingen schonmal gut

Kenne mich mit der Materie zwar kaum aus, aber müssten nicht die neuen Nvidia Karten durch die Tensorkerne einen Vorteil beim Deep Learning haben.

@painomatic Ja auf der einen Seite bieten die Tensorcores einen erheblichen Speedbost aber nur wenn man seinen Code auf FP16 Precision umschreibt, was noch nicht unbedingt alle Bibliotheken gut unterstützen. Außerdem spricht für mich noch dagegen, dass sie 1. nagelneu und deswegen noch ganz schön overpriced sind und 2. einige Anwender von ausfällen der 2080ti berichten. Deswegen bleibe ich erstmal bei den guten alten 1080ti's. (Die reinen 2080er wären zwar eine gute Mittellösung haben aber leider nur 8GB Speicher was mir zu wenig ist.)

Aber diese NVLinks die in dem Beitrag erwähnt werden zum Verbinden zweier Karten klingen interessant. Habe gerade mal gegoogelt bei der 1080ti gibt es nur "SLI HB Bridges", die sollte man schon auf jeden Fall verwenden, oder?

 

[usb2_2]

Woran merke ich denn den Unterschied?

Du kannst dir hier auf Computerbase diverse Tests zwischen Referenzdesign/Blower/Founders Edition und Partnerkarten mit anderen Kühlern. Die besseren Kühler sind natürlich leiser.

Zur CPU ist halt die Wahl ob du später mehr RAM und mehr Kerne willst. Teuer ist TR4 für die Leistung nicht, wenn man sich die Angebote von Intel anguckt. Weißt du, ob du mehr als 8 Kerne und mehr PCIe Bandbreite brauchen kannst? Dann solltest du auf TR4 oder eben X299 setzen.

Brauchst du eigentlich ECC RAM? Also Arbeitsspeicher mit Fehlerkorrektur?

Wenn du das entschieden hast bastel ich Mal eine erste Liste mit Komponenten. Bei dem Gehäuse und weiteren Sachen kann man natürlich wählen.

dass sie 1. nagelneu und deswegen noch ganz schön overpriced sind

Wenn du FP 16 nutzen kannst dann nimm die trotzdem. Einfach eine Karte mit anderem PCB, als die Nvidia FE. Die kosten dann auch kaum mehr.

PS: du hast uns nicht im Beitrag markiert. Wenn du ein @ machst dann schreib einfach nur den Namen dahinter wie weiter oben schon.

Es gibt kaum noch 1080ti zu kaufen. Da muss man dann gucken, was wirklich noch verfügbar ist. Teuer sind sie alle.

Dann noch zur SSD. Willst du nur eine nehmen oder 2 und davon dann eine für Daten, die billiger ist und eine NVME für den Rest.

 

[frankwalter]

@usb2_2 Danke wie immer schonmal für deine schnelle Antwort. Also mal alles nacheinander:

• Zwischen 2080ti und 1080ti schwanke ich immer noch, aber die 11GB brauche ich auf jeden Fall. Wenn ich richtig recherchiert habe, dann müsste die “EVGA RTX 2080 Ti XC Ultra Gaming” (1500€) eine besonders leise sein, oder? Passt dann auch der NVLink oder ist der nur für die FE? Sorry bis gestern wusste ich nichtmal dass es von jeder Grafikkarte so viele Varianten gibt
• Ich denke, dann bauen wir es mit 64GB so dass ich ggf. auf 128GB aufrüsten kann. Aber diese ganzen Kerne die die meisten Threadripper mitbringen wären für mich wirklich verschenktes Geld. Ich denke der “niedrigstkernige” 1900X (8 Kerne) wären aber noch ein guter Kompromiss. Gehen mit dem auch perspektivisch die 128GB?
• Motherboard dann das was zum Threadripper passt.
• RAM braucht kein ECC
• SSD brauche ich nur eine

 

[usb2_2]

Gut dann würde ich sagen, dass es ein sehr gutes Board mmit guter Kühlung für die Spannungswandler sein sollte, DDR 4 3200 aber ich weiß nicht, wie gut der Threadripper damit und vor allem mit Timings klar kommt, damit es wirklich leise ist 3 gute Lüfter von be quiet! oder Noctua ein schallgedämmtes Gehäuse. Bei der CPU solltest du schon mindestens 12 Kerne nehmen, das kostet ja jetzt kaum mehr. Bei einer Workstation kann das aber nützlich sein. Ob du eine teurere und dafür schnellere SSD willst musst du selbst wissen.

Dann wäre erstmal sowas mein Vorschlag. Welche 2080ti am besten ist kann ich dir nicht sagen. Da es eine Workstation werden soll muss es aber eine sein, die gut und lange läuft. Zu dem Threadripper solltest du vielleicht noch auf andere Antworten warten, vielleicht weiß ja jemand ob es da eine sinnvollere Option gibt. Die neuen wären natürlich immer besser, der alte 12 Kerner kostet aber einiges weniger.

 

[frankwalter]

@usb2_2 Wirklich vielen dank für deine vielen nützlichen Hinweise und Empfehlungen!

Ich habe gelesen, bei dem Board kann man die LEDs nicht ausschalten. Wäre schon doof, wenn es aus den Lüftern leuchtet, gäbe es da eine gute alternative?

Hardwaremäßig ein Spitzenboard das BIOS ist eine Katastrophe. Im BIOS ist keine numerische Eingabe möglich, 240 W TDP bedeuten ewiges drücken der "+" Taste, Die vielen bunten LEDs kann man überhaupt nicht ausschalten, es sieht aus wie eine Bauerndisco.

 

[usb2_2]

Das geht in Software.

Users looking to make use and set their own RGB LED profiles will need to do so by installing the MSI Mystic Light software via the provided CD, or download the latest version directly from the support section

Und natürlich gäbe es andere Mainboards, die haben aber teilweise Probleme mit der Kühlung oder brauchen kleine Lüfter. Das MSI läuft ohne.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[frankwalter]

Okay, dann bin ich beruhigt

Und mit schnellerer SSD meinst du z.B. die Crucial P1? Die hat so einen "M.2" Anschluss, würde das auch auf das Board passen?

Edit: Neben der schnelleren SSD habe ich dann doch noch zwei offene Fragen:

• Ich brauche ja sicher auch noch ein Netzteil, welches könnte ich da nehmen?
• Bei den 2080ti's bzw. Grakas allgemein bin ich wirklich noch nicht so dahinter gestiegen. Spielt es für mich eine Rolle ob die 2, 2.5 oder 3 Slots beanspruchen? Bei den Lüftern nehme ich einfach mal an, umso mehr (3), umso besser. Und woran ich die Lebensdauer ablesen kann, weiß ich schon gar nicht Da viele ja gar nicht lieferbar sind, habe ich mir jetzt z.B. die Gigabyte GeForce RTX 2080 Ti Gaming OC 11G ausgeguckt. Oder ist es schlecht, dass sie von haus aus overclocked ist? Ihr merkt, ich bin wirklich am Ende meines Lateins

 

[usb2_2]

Ja ein Netzteil habe ich ganz vergessen. Je nach GPUs brauchst du da einiges an Leistung, da das aber noch offen ist weiß ich es nicht so genau. Da kann dir sicher jemand weiterhelfen. Sonst gibt es ganz gute Rechner dafür online.

Die GPUs leben eigentlich alle lang genug, das ist nicht das Problem. Die können auch mit 2 großen Lüftern gut gekühlt sein, es kommt mehr auf den Kühlkörper an. Lange Garantie und guter Kühler dürfen es aber schon gerne sein.

 

[frankwalter]

Okay, dann weiß ich bescheid!

Kannst du mir noch sagen ob so eine SSD Crucial P1 SSD ins Board passt oder was z.B. eine schnellere Alternative zur MX500 wäre?

Edit: Diese M.2 Karten haben so einen krassen Speedboost, den hätte ich schon sehr gern. Interessant z.B. auch die Samsung SSD 970 EVO 2TB, M.2 (MZ-V7E2T0BW)

 

[usb2_2]

Die Samsung ist sehr gut laut Test auf CB, du wolltest aber Preis Leistung und real merkst du da nicht so viel. Am besten insgesamt ist wohl die 970 Pro.

Passen tun sie alle, das Mainboard hat ja M.2 M Key, steht auf Geizhals dabei was da an Slots ist. Klick dich da ruhig noch ein bisschen durch.

Kauf ein gutes Netzteil, kein billiges. Das ist sehr wichtig.