neuer Server und Intel VROC

[iamcytrox]

Erstmal muss sich auf eine Technologie geeignet werden.

RAID Controller? Gute Lösung, wenn es einfach sein soll. Allerdings ist man da eingeschränkt, weil NVMe SSDs 4 Channel eines Controllers nutzen, d.h. 8i Controller = 2 NVMe, 16i Controller = 4 NVMe SSDs, 24i Controller = 6 NVMe SSDs usw.

VROC? Hat sich mittlerweile gemausert und funktioniert ziemlich gut. Anfangs gab es Probleme und Abstürze, lustigerweise in Kombination mit Intel NVMe SSDs (P5520). Man muss dann aber zwingend eine Überwachungssoftware nutzen (PRTG, Servereye o.Ä.). Das direkte Ansprechen der NVMe SSDs an die CPU bringt Geschwindigkeitsvorteile ggü. eines Controllers.

Proxmox/KVM? NVMe SSDs dann entweder via Onboard MCIO oder über einen HBA. Funktioniert auch gut, allerdings muss man wissen, was man macht und auch mit der CLI arbeiten können. Der Fachhandel traut sich da langsam ran, aber viele sind eben die grafische Oberfläche gewöhnt. Die meisten KVM Hypervisor haben natürlich eine Weboberfläche, aber man muss eben im Blick behalten, dass auch über SSH drauf gearbeitet werden muss, wenn bspw. Platten getauscht werden müssen.

Bis auf die 2HE würdest du die Anforderungen mit einem 3430A G5 von der Wortmann AG gewuppt bekommen. 4HE, CPU aus der AMD EPYC Genoa Gen, 12 RAM Channel, 16 Kerne, red. NT oder Single NT, 2x NVMe Wechselrahmen. Allerdings fällt dann VROC natürlich raus und man muss auf einen RAID Controller bzw. Proxmox setzen. Einen 24i (6x NVMe) Controller bekommt man aber in die Kiste ggf. nicht rein, weil der Controller zu hoch ist. Man müsste ggf. dann auf einen 8i für die OS Platten im RAID1 setzen und auf einen 16i für das Storage im RAID10. Kann ich am Montag aber nochmal checken.

 

[GR Supra]

Kinders, kommt nur mir das so komisch bis albern vor, aber wozu 12-Chanel RAM? Wo bei der Kiste 400+ Gigabyte pro SEKUNDE Memory Bandwith? Und dann vielleicht noch Proxmox der KVM als HV bei dem RAM-Muskeln?

Kann es sein, dass der ein andere Dude hier zu oft im Gamer-Himmel war und seine Blase nicht mehr verlassen kann und zusehen wir absurd das alles ist? nicht zu tief, wenn möglich nur 1HE, 12Ch-RAM, noch zwei PSUs usw...
Sorry, aber das wir ein Clownsmobil.

Server zeichnen sich durch Standards aus.

 

[iamcytrox]

Standardisierung ist mega wichtig im Serverbereich. Die 12 Channel müssen ja auch nicht voll bestückt werden. Das ist auch der Grund, weshalb man öfters sieht, dass nicht alle DIMM Slots belegt sind, weil man Erweiterbarkeit und Durchsatz gegenüberstellt. Hat man alle 12 mit 32GB Modulen voll, muss man bei Erweiterung gleich alle tauschen.

 

[GR Supra]

Ich bin raus. Dafür ist mir eine Zeit zu wertvoll. 🧠

Ich denke LEDs fehlen noch auf dem Motherboard.

 

[qiller]

Proxmox/KVM? NVMe SSDs dann entweder via Onboard MCIO oder über einen HBA. Funktioniert auch gut, allerdings muss man wissen, was man macht und auch mit der CLI arbeiten können.

Wollte mich mal hier zurückmelden, weil der Server mittlerweile produktiv läuft - und zwar genau eben unter Proxmox mit NVMe-U.2 Storage an MCIO vom Mainboard.

Mit dem ganzen Trubel um die Intel Raptor Lakes war ich mir nicht sicher, obs ne gute Idee ist, auf Sapphire Rapid zu setzen (so war der Plan) und hab ein Build auf AMDs Siena Basis (Zen4c) gebaut. Bin zwar weitestgehend zufrieden, aber ich würde es nicht nochmal so bauen. Dafür ist die Leistung für den Preis einfach zu niedrig (MB zu teuer). Die große AMD-Plattform Genoa und den 9004er Epycs war aber definitiv too much (preislich und leistungstechnisch - und da ist die elektrische Leistung mit eingeschlossen :x), so dass das ursprünglich geplante Intel-Build wahrscheinlich das bessere Gesamtbild abgegeben hätte.

Aber seis drum, das Raid für die VMs wird jetzt einfach von einem ZFS RaidZ1 übernommen. Im Build ist noch eine 8TB SSD für Sicherungen. Die U.2 SSDs sind in einem Icydock Hotswap Rahmen, der dann wiederum per 2xOculink-MCIO-Kabel (und das 2x) ans Mainboard verbunden ist. IPMI/BMC und PVE-Management ist separiert und vom normalen Netzwerk nicht erreichbar. Zusätzliche Sicherungen gibts dann noch auf ein NAS, wovon dann wöchentlich auf eine ext. verschlüsselte HDD eine Kopie gezogen wird für die Außer-Haus Sicherung. Das wird dann aber in Zukunft wohl ersetzt durch eine (verschlüsselte) Cloudspeicherlösung, sowie ein vernünftiger Internetanschluss mit genügend Upload da ist.

Das Ganze konnte dann auch in ein 3HE Gehäuse eingebaut werden, weil 1HE frei wurde (1HE-USV war defekt und musste ersetzt werden).

Specs vom Server, falls es wer wissen will:

• CPU: AMD EPYC 8124P (16C/32T, 2.5-3GHz)
• 6x 16GB DDR5-4800 RDIMMs (reg. ECC)
• GIGABYTE ME03-PE0
• Icy Dock ToughArmor MB699VP-B V3
• 2x ICY DOCK MCIO 8i SFF-TA-1016 to 2x Oculink 4i
• FSP Twins Pro 500W
• Inter-Tech 3U-K-340L (3HE)
• Dynatron J-10 CPU-Kühler (der 3HE Dynatron J-12 hat übrigens nicht ins 3HE Gehäuse gepasst^^)
• 1x Samsung PM9A3 960GB, 2x Samsung PM9A3 1.92TB, 1x Samsung PM9A3 7.68TB
• Intel X550-T2 NIC

Achso, der Server hat in den 60cm tiefen Netzwerkschrank nur reingepasst, wenn man am Gehäuse vorn die Griffe abschraubt, die leider auch für die Befestigung ans 19" Gestell zuständig sind. Aktuell steht der einfach auf nem Einbauboden, ist also nicht fixiert. Mit anderen Einbauwinkeln könnte man den Server aber doch noch ans 19" Gestell festschrauben. Aber die Fixierung ist auch nicht lebensnotwendig, da der Netzwerkschrank eh unter nem Tisch verbaut und fixiert wurde (nicht meine Idee^^).