Workstation statt Google Cloud (Deep Learning)

[Alan.K]

Hallo Freunde,

die Google Cloud macht mich aktuell etwas arm. Wir zahlen seit Monaten über 1000€/Monat für das Training unserer Deep Learning Modelle. Das ist einfach langfristig too much. Es war okay um herauszufinden was wir benötigen, jedoch sollte das Training in Zukunft kostengünstiger sein.

Was schlagt ihr vor? Muss ich auf etwas besonderes achten oder einfach wie bei jedem Custom Build einfach drauf los?

Beste Grüße,


1. Möchtest du mit dem PC spielen?

• Wenn kein DL Training läuft, dann mal etwas Battlefield 2042.

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder CAD nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?

• Nein

3. Hast du besondere Anforderungen oder Wünsche (Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?

• Google hat mir die Tesla P100 gegeben. RTX 3090 mit 24GB VRAM sollte dementsprechend ausreichend sein.
• 128GB Ram sollten es Minimum sein (Threadripper dürfte zu teuer sein)

4. Wieviele und welche Monitore möchtest du nutzen? Anzahl, Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Wird FreeSync (AMD) oder G-Sync (Nvidia) unterstützt? (Bitte mit Link zum Hersteller oder Preisvergleich!)

• Einen Monitor

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten? (Bitte mit Links zu den Spezifikationen beim Hersteller oder Preisvergleich!)

• Nein

6. Wie viel Geld bist du bereit auszugeben?

• 5'000,00 €

7. Wann möchtest du den PC kaufen? Möglichst sofort oder kannst du noch ein paar Wochen/Monate warten?

• Sofort

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von freiwilligen Helfern)?

• Selbst

 

[HerrRossi]

Guck dir das Teil mal an, ob das für eure Zwecke ausreichend ist: https://iot.asus.com/products/AI-accelerator/AI-Accelerator-PCIe-Card/ Vllt. kann man auch 2 oder mehr Karten in einen Rechner stecken?

Hier ein Video von LTT dazu:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[madmax2010]

@HerrRossi nett fürs inferencing, aber nicht fürs training. Die Coral TPUs die mandarauf verbeuen kann, lassen sich auch so in jedem PCIe / M.2 PCIe Slot verbauen.

@Alan.K was trainiert ihr denn mit welchem stack? Wie sehen eure Datensets aus? Habt ihr mal auf einer Aktuellen TPUv3 trainiert? Damit laesst sich i.d.r deutlich kosteneffizienter als mit Nvidia Karten trainieren

 

[konkretor]

Reichen euch wirklich 24 GB ?
Meine Kollegen ballern gerade die A40 Karten mit 48 GB RAM voll.

Zu dem sind die A40 Karten gut lieferbar

Wenn du jeden Monat 1000€ an Google zahlst jetzt aber nur ein Budget von 5000€ ausgeben willst. Solltest du nochmals in dich gehen was die lokale Lösung dir wirklich Wert sein soll.

Stromkosten bitte auch bedenken

Kommt immer auf die Software an. Die fehlt noch....

 

[Alan.K]

Die RTX 3090 könnte man durch Memory Pooling auf 48GB VRAM bringen.
Wie gesagt, das aktuelle Modell läuft auf den 16GB VRAM von der Tesla P100.
Müsste dementsprechend ohne Probleme auf einer RTX 3090 laufen.

Mir erschließt sich aktuell nicht der Vorteil einer RTX A40 beziehungsweise RTX A6000.
Die A100 ist mit über 10'000,00€ schon hochpreisig.

@HerrRossi nett fürs inferencing, aber nicht fürs training. Die Coral TPUs die mandarauf verbeuen kann, lassen sich auch so in jedem PCIe / M.2 PCIe Slot verbauen.

@Alan.K was trainiert ihr denn mit welchem stack? Wie sehen eure Datensets aus? Habt ihr mal auf einer Aktuellen TPUv3 trainiert? Damit laesst sich i.d.r deutlich kosteneffizienter als mit Nvidia Karten trainieren

Über Google haben wir maximal nur die P100 bekommen. Kosteneffizient sind die Business-Varianten alle nicht. Zumindest suggerieren das die meisten Benchmarks.

 

[madmax2010]

TPUs gibt es nicht in allen zonen - Glaube in Eropa nur in West4a. Gleiches gilt fuer diverse NVidia Karten wie die A100 / V100
Die 3090 ist schon nicht bloed & wenn man sein experiment entsprechend aufbaut kann man dank NVlink auch mit merheren Karten gescheit parallel arbeiten.

eine A100 hat den Listenpreis 10.000 Euro - Wenn ihr eine Firma / Uni seit lohnt es sich einfach mal einen Distributor anzurufen und "Was letzte Preis" zu machen.

Bei professioneller Hardware sind 40-60% Preisnachlas nicht unueblich wenn man lieb fragt.

 

[Alan.K]

Was haltet ihr von dem Setting. Habe bereits fast alles bestellt. Sollte morgen ankommen. Bitte laut schreien, wenn etwas nicht passt.

Das Setting sieht jetzt folgendermaßen aus (Preise in netto):

CPU	AMD Ryzen 9 5950X	AMD Ryzen™ 9 5950X, Prozessor (alternate-b2b.de)	637.83 €
Netzteil	Asus ROG Thor 80 PLUS Platinum Netzteil	ASUS ROG Thor 80 PLUS Platinum Netzteil, modular - 120… (caseking.de)	293.28 €
SSD	Samsung 970 EVO Plus 2 TB	Samsung 970 EVO Plus 2 TB, SSD schwarz, PCIe 3.0 x4, NVMe 1.3, M.2 2280, intern (alternate.de)	219.33 €
Mainboard	ASUS ROG STRIX X570-E GAMING WiFi II	ASUS ROG STRIX X570-E GAMING WiFi II, Mainboard (alternate-b2b.de)	326.89 €
GPU	Aorus GeForce RTX 3090 Xtreme Waterforce 24G	https://www.caseking.de/gigabyte-ao...t2IzeaaPjZo-1634549487-0-gqNtZGzNAqWjcnBszQyl	2'158.18 €
Gehäuse	ASUS ROG Strix Helios	ASUS ROG Strix Helios, Tower-Gehäuse schwarz, Tempered Glass (alternate-b2b.de)	263.87 €
CPU Kühlung	Gigabyte Aorus Waterforce X 360	Gigabyte Aorus Waterforce X 360 Komplett-Wasserkühlung… (caseking.de)	184.79 €
RAM	G.Skill DIMM 128 GB DDR4-3600 Quad-Kit	G.Skill DIMM 128 GB DDR4-3600 Quad-Kit, Arbeitsspeicher schwarz, F4-3600C18Q-128GVK, Ripjaws V (alternate-b2b.de)	484.87 €

 

[madmax2010]

Das mit den Wasserkühlung en würde ich lassen. Nett für kiddies die bling bling wollen, aber nutzlose Geldverschwendung in professionellen Systemen.
Vor allem so eine aorus waterforce würde ich bleiben lassen.
Das Netzteil solltest du zurück schicken. Das ist bestenfalls ne Überraschung.
Zu dem Preis der 3090 bekommst du auch ne v100, mit Glück eine a100. Hast du da mal angefragt?
Bei der evo970 bin ich mir auch nicht ganz sicher welchen use case sie zu dem Preis bedienen will.

 

[Alan.K]

@madmax2010 , danke dir für deine Antwort.

Das mit den Wasserkühlung en würde ich lassen. Nett für kiddies die bling bling wollen, aber nutzlose Geldverschwendung in professionellen Systemen.

Soweit ich weiß, bringt es beim OC schon etwas. Ob ich es dann wirklich ausreize: Idk. Trotzdem kann ich darauf verzichten und einen anderen CPU Kühler draufbauen.

Das Netzteil solltest du zurück schicken. Das ist bestenfalls ne Überraschung.

Ich muss gestehen, dass ich bisher noch kein ASUS Netzteil hatte. Fand aber nett, dass man die Leistungsaufnahme ablesen kann. Bewertungen scheinen auch nicht schlecht zu sein.

Bei der evo970 bin ich mir auch nicht ganz sicher welchen use case sie zu dem Preis bedienen will.

Wenn der RAM nicht reicht, dann kann ich etwas an Daten auf die SSD werfen. Auch wenn ich Kalkulationen durchführe und dann auf Dateien zugreife (lesen/schreiben), dann dürfte die SSD auch hier mehr bringen.

Zu dem Preis der 3090 bekommst du auch ne v100, mit Glück eine a100. Hast du da mal angefragt?

Beim Preis war nicht viel zu machen, sodass ich einfach mitunter die beste 3090 picken wollte. Deswegen diese 3090 genommen.

 

[madmax2010]

Ok, das Netzteil scheint die 1200w Version von de. Die hier zu sein: https://geizhals.de/seasonic-prime-platinum-1300w-atx-2-4-ssr-1300pd-a1749578.html überraschend gut für relabled, aber etwas überteuert.

Wenn der RAM nicht reicht, dann kann ich etwas an Daten auf die SSD werfen. Auch wenn ich Kalkulationen durchführe und dann auf Dateien zugreife (lesen/schreiben), dann dürfte die SSD auch hier mehr bringen.

Schon sinnvoll, aber die 970evo ist im plv. Nicht das tollste. Die 980 pro kostet dann auch kaum mehr, schafft aber fast 1. 000.000 iops.

Die CPU wird halt sehr warm. Ob da nun ein Fuma2 für 50 Euro oder eine Wasserkühlung drauf streckt macht da. Keinen Unterschied.
Overclocking bringt in 2021 nicht mehr viel. Die Kerne laufen an ihren limits.

 

[Paradox.13te]

Meiner Meinung nach kommst nicht an einer richtigen Workstation vorbei. Wo ein Wille ist , da ist auch ein Weg.

Nur mal ein kleines Beispiel was etwas über dein Budget liegt.

Intel Xeon W-3323, 12C/24T, 3.50-3.90GHz
Supermicro X12SPA-TF
Noctua NH-U12S DX-4189
8x Micron RDIMM 16GB, DDR4-3200, CL22-22-22, reg ECC
Fractal Design Meshify 2 XL
FSP Hydro PTM Pro 1200W ATX 2.52
Kingston KC2500 NVMe PCIe SSD 2TB
+die GPU die du wahrscheinlich schon bestellt hast:

Macht ca. 5391€

Falls die Frage kommen sollte warum kein AMD Ryzen Threadripper PRO. Das lag einfach daran das er sofort das System kaufen will und die verfügbaren Mainboards den Preis noch einmal um 155- 255€ angehoben hätte.

 

[KarlsruheArgus]

@Alan.K
So ganz verstehe ich die Zusammenstellung aus #7 nicht.
Es ist doch eine Workstation geplant ?
In Workstations hat RAM mit XMP Profilen nix verloren sondern mit JEDEC Settings also 3200CL22 bei 1.2V dazu ist jegliches OC tabu, eher UV und selbst da nur durch Begrenzung des PPT auf 105W statt 142W.

Das Asus MB und PSU sind auch fehl am Platz und vollkommen drüber.
PSUs: Fractal Ion+ 2 Serie, Corsair RM(x) Serie, Seasonic Focus/Prime Serie alle mit >800W.
MB: X570 im 200 bis 250€ Bereich

 

[Alan.K]

@Alan.K
So ganz verstehe ich die Zusammenstellung aus #7 nicht.
Es ist doch eine Workstation geplant ?
In Workstations hat RAM mit XMP Profilen nix verloren sondern mit JEDEC Settings also 3200CL22 bei 1.2V dazu ist jegliches OC tabu, eher UV und selbst da nur durch Begrenzung des PPT auf 105W statt 142W.

Wieso sollte ich den RAM UV. Vor allem, wenn ich die Leistung von den Dingern brauche? Ist dies jetzt nur aufgrund der Stromersparnis?

 

[Paradox.13te]

Wieso sollte ich den RAM UV. Vor allem, wenn ich die Leistung von den Dingern brauche? Ist dies jetzt nur aufgrund der Stromersparnis?

Du brauchst Leistung setzt aber auf ein Dual Channel System mit 4 Riegeln mit max RAM Ausbau. (Deine Anforderung war ja Minimum 128GB. Keine Option auf mehr RAM)Deine Idee auf die SSD auszulagern kannst du machen kostet dich aber Leistung. Selbst wenn eine Optane einbauen würdest. Ob du überhaupt 3600MHz zum laufen bekommst steht in den Sternen. Wenn Pech hast fällst auf 2666MHz zurück. Du verlierst massiv an Bandbreite. Genau das was du doch wolltest oder nicht ?

 

[Alan.K]

Dann doch lieber noch eine Bibel mitbestellen falls es eng wird...

Habe jedoch gelesen, dass es einige Dudes gibt, welche es mit einem ähnlichen Setting auf sogar wesentlich höhere Werte gebracht haben.

 

[Paradox.13te]

Kein Problem 🙂
Wir können dich nur beraten. Die Entscheidung musst du am Ende selber treffen denn du musst ja damit glücklich werden.

 

[KarlsruheArgus]

Wieso sollte ich den RAM UV.

Der RAM wird nicht UV, Fehler meiner seits da ich davon ausging das du weißt was das PPT (PowerPackageTarget) ist.
Mit UV war die CPU gemeint von 142W auf 105W.

Vor allem, wenn ich die Leistung von den Dingern brauche?

Der Unterschied zwischen JEDEC und XMP Settings sollte einem auch bekannt sein.

XMP Profile können auf dem jeweiligen System laufen, der garantierte Wert ist aber nach JEDEC.

Willst du die höchste Zuverlässigkeit bleibt man bei JEDEC RAM und der ist bei ZEN3 3200CL22 / 1.2V
https://geizhals.de/?cat=ramddr3&xf...828_DDR4~5830_DIMM&sort=t&hloc=at&hloc=de&v=e