Server vs. Workstation - das unmögliche 19" Gehäuse

[wolfgangesgang]

Moin Leute,
es steht wieder mal Rechnerbau an. Es soll eine transportable 19 Zoll Rack-Workstation für den professionellen Einsatz werden, z.B. ein Threadripper Pro 5965WX (24 cores), RTX A5000, 3080/3090 auf ASUS Pro WS WRX80E-SAGE SE (E-ATX).

Folgende Features des Aufbaus wären wünschenswert:

• Systemstabilität: redundante Netzteile, Kühlung mit redundanten Fans / Pumpen, hochqualitative Boards und GPUs, ECC-RAM
• mechanische Stabilität: kleiner CPU Kühler oder WaKü, Befestigungsmöglichkeiten oder vertikale Montage von GPU und Erweiterungskarten
• geringe Lautstärke: Server-Pegel sind leider nicht möglich

Jetzt wollte ich mal hören, welche Ideen Ihr so dazu habt. Wenn ich mir etwas wünschen könnte, wäre das Gehäuse die Synthese aus:

• einem Dell 7920 Workstation Rack-Server (zu lang, laut, teuer)
• einer HP Z8 (zu teuer, Befestigung GPU und PCI-e evtl. nicht optimal, kein redundantes Netzteil)
• dem kurzen 4HE Silverstone 19" Gehäuse für WaKü (nicht gerade hochqualitativ, Befestigung GPU und PCI-e evtl. nicht optimal)

Mir ist schon klar, dass das nicht so einfach ist oder gar nicht existiert. Aber ein bisschen spinnen macht doch Spaß! Es gibt ja auch Firmen, die Custom-Gehäuse herstellen - und wenn man ein paar Exemplare davon bestellen würde, lohnt sich das ja u.U. sogar.

Fragen, die ich mir stelle:

• macht eine vertikale Befestigung der PCI-e Karten wie im Dell wirklich Sinn? Wie genau müssen die Karten in die Halterungen passen? Sind die Riser wirklich zuverlässig (da gibt es ja seit PCI-e 4.0 noch mehr Probleme)? Gibt es außer Server-Chassis überhaupt vernünftige Gehäuse mit vertikaler Montage? Ich brauche min. 1x GPU plus 2 Erweiterungskarten..
• eigentlich würde ich gerne einen riesigen CPU Kühler (TR Pro: 280W) vermeiden, damit der Transport nicht so an der Fassung zerrt und wie es z.B. im Silverstone wäre, nicht die Befestigungsschiene der PCI-e Karten verdrängt (oder eh viel zu hoch für das Gehäuse ist). Aber eine WaKü mit 2 Pumpen einzubauen wäre schon auch seeehr speziell und würde alle Aio Systeme ausschließen.. Was tun?
• anstelle das Unmögliche zu versuchen - nicht lieber eine relativ konventionelle Bauform wählen, z.B. mit dem silverstone und stattdessen den äußeren Schutz per shock-proof case usw. erhöhen?

Was meint Ihr?
Cheers
W

 

[madmax2010]

Ruf bei einem Systemhaus an. Lass dir das ding zusammenstellen und handel den Preis runter.

macht eine vertikale Befestigung der PCI-e Karten wie im Dell wirklich Sinn? Wie genau müssen die Karten in die Halterungen passen? Sind die Riser wirklich zuverlässig (da gibt es ja seit PCI-e 4.0 noch mehr Probleme)? Gibt es außer Server-Chassis überhaupt vernünftige Gehäuse mit vertikaler Montage? Ich brauche min. 1x GPU plus 2 Erweiterungskarten..

volkommener Standard bei allen Servern unter 2HE. Ich habe damit nur 1x Probleme erlebt. Als der Azubi sie nur halb eingesteckt und einen Kurzschluss verursacht hat.

Soll der Server in ein transportables Rack?

was soll darauf genau laufen?

 

[wolfgangesgang]

Hey,
ja, der Rechner / mehrere davon sollen in ein transportables Rack.

Es sollen laufen z.B. Vmix oder die Adobe Creative Suite.

Ruf bei einem Systemhaus an.

Du meinst sowas wie Thomas Krenn oder so?

 

[wrglsgrft]

Interessantes Projekt. Kommerzielle Nutzung?

Was mir bei der ganzen Geschichte abgeht: Warum transportabel?
Wie oft soll transportiert werden?
Mit was soll transportiert werden?
Wie weit bzw. lang soll transportiert werden?
Mit was für Umgebungsbedingungen und Temperaturen ist zu rechnen?
Wie schnell nach Transport muss das System einsatzbereit sein?
Was ist mit Peripherie?

 

[madmax2010]

eher sowas wie
https://www.git.de/
https://www.mcl.de/
Die Preise die du online siehst sind Listenpreise und damit eher als Verhandlungsgrundlage zu sehen.
und wenn du 2-3 auf einmal kaufst, fallen die Preise auch ins bodenlose
Frag vor allem, wie es mit Wartungsvertraegen aussieht. Wenn die Luftfeuchtigkeit oder die Temperaturen eine Weile ueber den erlaubten werten liegen, verweigern so ziemlich alle Hersteller gern Reparaturen.
Selbiges gilt wenn eigene Teile verbaut werden.
Ich sehe schon wie der first Level bei HPE die Valium raus holt wenn er von einem rollbaren Rack hoert..
Bei Sowas -> Supermicro und gut ist

hab mal auch die Epyc CPUs im Auge. Die sollten sogar mit 24 Kernen in unter 2 Monaten lieferbar sein
Je nachdem wie viele GPUs verbaut werden sollen, kann schon der winzige HP DL325 G10 sein was du suchst.
(aber ehh.. sind halt laut. Aber 500-800w wollen auch wieder raus.. Reicht zum Socken trocken. Angeblich. Habe ich gehoert.

Habt ihr die Server GPUs im Blick?

Die Leute habe ich mal auf einer Messe kennen gelernt und die preise klangen auch fair:
https://www.boston-it.de/default.aspx
Da ging es eher um machine Learning, aber sie bauen halt auf Supermicro Basis bis zu 8 GPUs in die Server

Ergänzung (15. November 2021)

Meh. Wenn ich an die Unterhaltung aus dem Gaming bereich denke, wuerde mich echt mal interessieren, wie sich serever Netzteile mit einer RTX3080 verhalten..

 

[painomatic]

@wolfgangesgang: Ich habe jetzt schon seit über 10 Jahren z.B. die HP Workstations im Einsatz und sehr, sehr selten Hardware Ausfälle gehabt. Bisher hatte ich nur einmal mit einer Z800 mit einem defekten Mainboard und ein defektes Netzteil. Verstehe die Redundanz, aber das kostet halt immer etwas mehr.

Ich habe gerade ebenfalls für Vmix und die Creative Cloud HP Z4 Workstations angeschafft und die sind fast jede Woche auf Produktionen 2-3x im Einsatz ohne jegliche Probleme. 30 weitere Z4 Workstation laufen bei mir in der Postproduktion seit dem letzten Jahr fast rund um die Uhr für eine aktuelle Musikshow im Fernsehen und auch hier keine Probleme.

Ich habe mir für die Workstations passende Cases von Casetec bauen lassen. Es gibt auch passende Rackkits von HP.

VG

 

[snaxilian]

redundante Netzteile

Hast du für das System eine USV und redundante und vor allem unabhängige Stromzufuhr? Nein, dann lass den Schwachsinn mit redundanten Netzteilen und kauf lieber eins als Ersatz auf Halde oder ne ganze Workstation als Ersatz.

kleiner CPU Kühler

Das und leise Lüfter in Kombination erzwingen eigentlich auch passende Luftleitbleche/-vorrichtungen (heißt nur so, in der Regel aus Plastik

WaKü

Wie du selbst erkannt hast sind zwei Pumpen parallel sehr aufwendig eher nicht so einfach machbar. AiO Kühlungen sind Single Points of Failure.
Was bleibt sind also mehrere Lüfter und vorzugsweise Luftleitbleche/-vorrichtungen und noch wichtiger: Eine sinnvolle Alarmierung bei Ausfall von Lüftern. Die besten Redundanzen bringen dir gar nix wenn du nicht mit bekommst, wenn etwas ausfällt um es zeitnah zu tauschen.

Anstatt teure Sonderanfertigungen beim Case zu nehmen oder irgendwelche Hardware die du einzeln kaufst, nimm was von der Stange und dann lieber 1-2 Modelle mehr falls du adhoc Austausch/Ersatz brauchst oder entsprechende Wartungs-/Serviceverträge und für die Daten Backups.

 

[wolfgangesgang]

Guten Morgen,
danke schonmal für Euren Input. Hier noch ein paar Infos:

Die Rechner sind für den professionellen Einsatz gedacht, d.h. sie wandern in Rollcases von Veranstaltung zu Veranstaltung. Deswegen sollte man davon ausgehen, dass sie nicht wie rohe Eier behandelt werden und dass es auch mal etwas wärmer werden kann. Video-Encoding ist zudem ein Task, der die CPUs recht stark fordert, auch wenn sie nicht voll ausgelastet sind. Tatsächlich haben wir ab und an mehrere Stromkreise / USVs zur Verfügung, sowie andere Geräte, die doppelte PSUs besitzen.

Die Maschinen sollten zukunftsfähig, d.h. etwas überdimensioniert sein. Wir brauchen CPU Power, viele CPU lanes für min. 2x mehrfach Video-Capture Karten (UHD) und 10G LAN für NDI.

Wir haben selbst 2 neue Z4s rumzustehen, die wir günstig bekommen haben und die ich ganz OK finde. Aber:

• zu wenig Erweiterungsmöglichkeiten (2x 16 und 1x 8 lanes, PCI-e 3.0)
• 1x 16 für GPU und wegen fehlendem onboard 10G LAN fällt der 8x slot dafür weg
• konventioneller Gehäuseaufbau, keine Befestigungsmöglichkeiten für die GPU, "normaler" CPU Kühler
• in unserem Fall throttelt der 10980XE außerdem runter

Bisher haben wir es genauso gemacht, dass wir Backup Rechner mit auf die Jobs nehmen. Aber wenn ich an je 2 hochgezüchtete Z8en denke, ist das eine Hausnummer. Klar, der Support ist was wert. Trotzdem - warum nicht überlegen, was das beste wäre, das man selbst auf die Beine stellen könnte? Es scheitert ja "nur" am CPU Kühler und der GPU / PCI-e Befestigung.

In der Z8 sind die Kühler auf den Xeons nicht gerade riesig. Wahrscheinlich Serverteile, d.h. 80mm Lüfter mit richtig bums plus guten Airflow von vorne nach hinten. Auch nicht ganz leise .. Das könnte man mit dem Threadripper vielleicht sogar ohne Airduct selbst hin bekommen.

Den GPU retainer in der Z8 finde ich von den Bildern her nicht schlecht, weil er die Karten mit dem Schaumstoff reindrückt. Aber wie gut das mit unterschiedlich hohen GPUs funzt - schwer zu sagen. Da könnte man schon überlegen, ob man das im Silverstone Gehäuse (s.o) nicht etwas modden und sogar noch stabiler bauen könnte.

Den Königsweg- vertikal (bzw. horizontal im 19" Case) montierte GPUs / PCI-es sehe ich ehrlich gesagt leider auch nicht außer in den Server-Chassis.

 

[v3nom]

Bei dem Usecase sehe ich schwarz für eine Wakü. Dann lieber einen moderat großen CPU Kühler und starke Lüfter.
Redundante NTs werden nicht leise sein.

 

[snaxilian]

konventioneller Gehäuseaufbau, keine Befestigungsmöglichkeiten für die GPU

Dann beim lokalen Metallbauer/Schmied um die Ecke entsprechende Halterungen in Auftrag geben und anfertigen lassen oder etwas passendes aus dem 3D-Drucker purzeln lassen. Musst nur vorher genau die Maße nehmen und bestimmen.

 

[wolfgangesgang]

Redundante NTs werden nicht leise sein.

Habe diese FSP 900W rausgesucht. Angeblich leiser als die Serverware.

Dann beim lokalen Metallbauer/Schmied um die Ecke entsprechende Halterungen in Auftrag geben

Mir ist nicht mal klar in welches Gehäuse und wo dort ich die Halterungen einbauen würde. Und dann wieder die Frage mit den Risern, die wahrscheinlich flexibel sein müssten.

Gibt's in erreichbarer Nähe so Jungs wie diese hier: Protocase, die komplett nach Maß bauen und evtl. so viel Erfahrung haben, dass sie gute Vorschläge machen können?

 

[MojoMC]

Bei dem Usecase sehe ich schwarz für eine Wakü.

Wenn @wolfgangesgang wirklich Wakü im Rack haben will, fällt mir als erstes Aquatuning ein - denn die haben schon Workstations im Rack samt Wakü in Wunschkonfigurationen gebaut und haben momentan "watercool ready"-Rackgehäuse von 1HE bis 4HE sowie dazu passende Sets.
Vielleicht liesse sich daraus etwas Passendes für diesen ganz konkreten Anwendungsfall stricken.

 

[painomatic]

Gibt ja auch noch Lenevo Threadripper Workstations - kenne ne Budde, welche die Worktation auch mit Vmix im (Rack)Einsatz hat und sehr zufrieden sind:

https://www.lenovo.com/de/de/workstations/p-series/ThinkStation-P620/p/33TS3TPP620 - bie der Konfig musst du mal schauen.

 

[M-X]

Da du das ganze ja kommerziell betrieben willst, wie wichtig ist die Verfügbarkeit ? Wenn du da selber was baust kann es ja ggf dauern bis du Ersatz hast.

 

[wolfgangesgang]

also da wir ja ohnehin einen größeren Rechnerpool haben ist es kein Riesendrama, wenn eine Workstation mal ausfallen sollte. Was mich eher zu den klassischen Herstellern treibt ist, dass man ja manchmal im Falle von vermuteten Hardware Defekten etwas blöd dasteht, weil die nicht so einfach zu diagnostizieren sind.

Ansonsten - die P620 mit Threadripper Pro kommt mir preislich recht vernünftig vor, zudem sie deutlich mehr PCI-e Slots hat als die Z4. Ansonsten halt recht konventionell - nicht mal nen GPU retainer..

Das Alphacool Case von Aquatuning finde ich uninteressant. Ist halt ganz schön lang und schwer, vorne verliert es den Platz für die ganze Drive-Sektion. Seht Ihr da ne Möglichkeit, das zuverlässig und stabil zu bauen - also z.B mit 2 Pumpen? Und wie könnte man die GPUs horizontalisieren?

 

[painomatic]

nicht mal nen GPU retainer..

Mach dir da nicht soviel Gedanken. Meine Workstation fahren seit Jahren auf nem Ü Wagen mit ohne extra Halterung und die laufen.

 

[MojoMC]

Das Alphacool Case von Aquatuning finde ich uninteressant. Ist halt ganz schön lang und schwer,

Tja, so viele Rack-Gehäuse, bei denen der Einbau einer Wakü berücksichtigt wurde, gibt es halt nicht.
Was ist denn deine Grenze bzgl. Länge & Gewicht? Weil, bislang hast du dich da nicht konkret zu geäußert.

vorne verliert es den Platz für die ganze Drive-Sektion. Seht Ihr da ne Möglichkeit, das zuverlässig und stabil zu bauen - also z.B mit 2 Pumpen?

Du meinst den ganzen Platz, wo man locker 2 Pumpen unterbringen kann, wenn man die Laufwerkshalterungen ausbaut?

Und wie könnte man die GPUs horizontalisieren?

Im Eingangsposting hast du dir noch vertikale Montage von GPU und Erweiterungskarten gewünscht.

 

[wolfgangesgang]

Du meinst den ganzen Platz, wo man locker 2 Pumpen unterbringen kann, wenn man die Laufwerkshalterungen ausbaut?

hehe, ja guter Punkt! Problem ist, dass ich bisher immer nur AiOs verwendet habe

Idealerweise wäre das Gehäuse nicht viel länger als das Silverstone, d.h. 45-50 cm. Dann passte es mit anderen Audio und Video Komponenten noch in halbwegs vernünftige Rollcases. Das Gewicht halt dementsprechend. Wollte ja gar nicht meckern

Verizontal oder hortikal - Ihr wisst schon, was ich meine.. falschrum halt, also anders als normal .. gut befestigt jedenfalls. Die letzten GPUs, die ich ergattert habe (3070 FE und Zotac 3070 Twin Edge) haben anscheinend Kühlkörper aus Blei. Jedenfalls mag ich mir nicht vorstellen, wie die zappeln, wenn das Rollcase mal wieder die Kopfsteinpflaster Einfahrt rauf muss. Im Üwagen sind sie ja tendenziell noch besser abgefedert.

Eine Quadro RTX 4000 habe ich zwar noch am Start, das ist viel handlicher - aber ein bisschen schwach auf der Brust. Habt Ihr gesehen, dass die neuen Quadros ECC RAM haben?

 

[wolfgangesgang]

Gibt ja auch noch Lenevo Threadripper Workstations - kenne ne Budde, welche die Worktation auch mit Vmix im (Rack)Einsatz hat und sehr zufrieden sind:

kannte ich nicht, ein super Tipp! Mit einer richtig knorke Halterung für die GPU und einem CPU Kühler, der genau die richtige Größe hat! 1x 10GbE on board, PCI-e 4.0, 6 slots, 1000W Netzteil, Rail kit .. was will man mehr!? Kann gut sein, dass wir uns davon welche zulegen.

Vor allem sind die preislich absolut OK, z.B. im Vergleich zu den Z8 workstations, die zudem (wahrscheinlich wegen Intel) voll hintendran sind.

Ich hatte noch einen Anbieter für Custom Gehäuse angefragt, der Preis bei geringen Stückzahlen ist aber aufgrund mehrer tausend Euro für die Planung einfach zu hoch. Und es gab keine bahnbrechenden Ideen bezüglich Stabilität.