Leserartikel 2020: Der Odyssee zweiter Teil

[RalphS]

Moderation: leider scheint es kein passendes Unterforum für Serverbuilds zu geben. Nach eingehendem Durchgehen der Liste hab ich mich zögernd für V & E entschieden (als Zieleinsatzzweck) aber wirklich passen tut es hier gefühlt auch nicht.
Bei Bedarf bitte verschieben. Danke!


1. Die Situation
Lange angedroht ist es nun tatsächlich soweit (hoffentlich): nach der letzten Odyssee funktioniert das Speichersystem nun, allerdings haben sich ein paar Regressionen ergeben, die ausgemerzt werden wollen; die olle Kiste sollte eigentlich "den nächsten Monat" während der letzten Jahre erneuert werden, aber wie's immer so ist, wird immer alles vor sich hergeschoben und nun trafen einfach ein paar "helfende" Umstände aufeinander.

Erklärte Anforderungen sind...
... A, ein System zu haben, welches ohne zu mucken ordentlich VMs ausführen kann;
... B, ein System zu haben, welches ohne allzugroßen Zeitaufwand aus Quelltext Binaries für sich (System/Anwendungsupdates) und für andere bauen kann (cross-compiled oder in einer passenden VM nativ);
... C, was zum Basteln zu haben.

Zur Erinnerung: das bestehende System ist ein Supermicro X10SL7-F mit

• Xeon E3 1271
• 32GB RAM ECC
• Dual 10 GbE (PCIe v3 x8/ v2 x4)
• SAS3 8i (PCIe v3 x8/v3 x8)

sowie die eine oder andere Festplatte an allen möglichen und unmöglichen Ports.

Die 10GbE sitzt also sehr ungünstig, plus sie klemmt architekturbedingt direkt neben der SAS: die Wärme dort kommt nicht besonders gut weg dort.


2. Zielplanung
Noch nicht ganz klar ist, ob das Ganze ein kombiniertes Storage/VM System werden soll oder ob nochmal gesplittet wird; mit der Dual NIC ist eine direkte Anbindung VM nach Storage ja kein Problem mehr.


Gemäß Anforderung wurde konzeptioniert:

• viele Threads plus passabel RAM für die VMs
• DAS in Form von NVMe SSD (da ordentlich IOPS) oder alternativ ausreichend RAM für memory-backed filesystem fürs Arbeiten
• Optional 10G für flinkes Deployment von Binaries, je nachdem welche Karte am Ende wo verbaut werden könnte und wie sich das aufs Gesamtergebnis auswirkt.

3. Konzeptionierung
Vorgeschwebt war mir ja von anfang an ein Dual-CPU-System. Aber im Hinblick auf die aktuelle Situation haben sich diese Flausen recht schnell aus dem Kopf gemacht... und einmal mehr wurde die alte Binsenweisheit bestätigt, daß "Tag X" sowieso alles anders kommt als geplant war.

Genauer:
Zum ersten hatte ich von anfang an mit Intel Xeon SP kalkuliert, zunächst Gen1 (Silver 41xx), später Gen2 (42xx). Problem dabei: Für die Dinger kriegt man immer noch nur Industrial-Lüfter und den einen oder anderen Noctua. Schicke schnelle CPU gut und schön, aber wenn sie nicht gekühlt werden kann bzw nur im Nachbarraum "unhörbar" gekühlt werden kann (wenn die Tür zu ist), dann muß man gucken. Die Variante Xeon SP (plus ein passendes Dual-Board von Supermicro, plus RAM) blieb dennoch bis zum Schluß auf der Liste.

Alternativ wurde EPYC ins Auge gefaßt. Problem hier: für EPYC gibt es derzeit am Markt <= 6 Mainboards für den Dual-CPU-Betrieb (ggfs weniger, wenn Rome drauf laufen soll, da hab ich nicht überall geschaut). Von den sechs sind 3 Boards supermicro-typisch enge Verwandte.
Auf der anderen Seite ist für EPYC genug Kühlmaterial verfügbar, da SP3 physisch identisch ist zu TR4 (und sTRX4); natürlich ist es ideal, nach fullcover zu schauen, aber wenn einen das nicht so stört, dann kann man genug Alternativen draufschnallen.

"Probleme" mit diesem Pfad zeigten sich erst später. Denn durch die sehr eingeschränkte Boardauswahl sind enge Grenzen gesetzt, plus wie ich feststellen mußte wird insbesondere Rome nur auf (der derzeit aktuellen) Revision 2.0 unterstützt. Die natürlich nicht verfügbar ist, bzw die riskiert, daß man fröhlich ein Board mit der falschen Hardwarerevision bestellt. Dann könnte man nur umtauschen und momentan.... eh.

Gottseidank hat Rome bereits viele Kerne on-die, sodaß abgesehen von HabenWill(tm) der tatsächliche Nutzen von Dual-Socket in den Hintergrund tritt. Der zweite Vorteil -- Plus an verfügbaren Lanes -- mag zwar greifen, aber jeder Rome treibt bereits 128 Lanes, das Argument zieht also auch nicht.

Also nach Single-Socket Boards geschaut. Faszinierenderweise gibt es momentan praktisch kein Board für Rome mit PCIe v4 Unterstützung. Es ist natürlich etwas arbiträr, aber nach Abgleich der restlichen Spezifikationen "sah es so aus" als ob das eine Board mit v4 und ansonsten ausreichend passenden Eckdaten fixiert werden konnte...
... nur kein Supermicro, sondern ein Asus. Ein unfreiwilliges konnte ich mir zugegebenermaßen nicht verkneifen... dennoch, nach weiterer eingehender Inspektion "sollte" das Asus den Supermicros nicht nur ebenbürtig, sondern (anhand der Eckdaten) sogar überlegen sein, einschließlich eines Mezzanine-Konnektors, für den es ggfs. preiswerte 10G-Module gibt (spart den einen Slot und befreit die Karte für ein anderes System - so billig sind die ja nun auch wieder nicht).


4. Implementierung
Deswegen ist zunächst geordert worden:

-1- CPU, ein AMD EPYC 7352 non P in 24/48 Konfiguration mit der Option, "irgendwann mal vielleicht" einen zweiten dazuzusetzen, wenn das mal irgendwann sinnvoll erscheinen sollte. Erfordert dann natürlich ein neues Board, was es aber hoffentlich an der Stelle dann auch geben wird.

-2- Silver Arrow in TR4/SP3 Edition obendrauf. Wenn der das nicht packt, dann weiß ich auch nicht. Die verfügbaren Gehäuse sind schallgedämmt und zugegebenermaßen sind die Seagates gerne mal lauter, sodaß das Mehr an dbA hoffentlich kaschiert werden sollte.

-3- Board, ein ASUS U16 KRPA.

-4- RAM, die letzten zwei verfügbaren Kingston Server Premier in passender Konfiguration für das Board (KSM32RD4/32MEI). Das sind 32GB große PC4-25600R RDIMMs. Zwei Riegel für Octachannel ist natürlich was mau und ich hätte auch gerne mehr draufgelegt, aber wollte auch nicht unnötig überall rumklappern. 64GB reichen fürs erste und weitere sechs Riegel werden sich ja wohl binnen der nächsten Monate beschaffen lassen. ... Oder weniger; 256GB RAM fühlt sich grad etwas überdimensioniert an.

-5- Ein Dark Rock Pro 750W (BN252) um das Ganze anzutreiben.

Gehäuse ist da und ne kleine vorläufige SSD auch, außer wir ersetzen das bisherige System ganz, in welchem Fall einfach die bisherige Außenhaut und die Peripherie übernommen wird.

Kostenpunkt: sowas wie 3.500, davon 50% CPU. Von wegen AMD wäre billig.
Zur Gegenüberstellung, die Konfiguration auf Intelbasis hätte in etwa dasselbe gekostet, dann allerdings als Dual 4216 plus passendem Board und mit UDIMMs statt RDIMMs. Und natürlich ohne PCIe v4 hust.


Jetzt heißt es abwarten und hoffen, daß der Kram eventuell vielleicht sogar bei mir ankommt, um zusammengebaut zu werden.
Ich bin gespannt. Hoffentlich entpuppt sich das ASUS nicht als Enttäuschung.


5. Migration
Updates folgen, sobald der Kram hier aufgeschlagen ist. Wann immer das sein wird.
Interessanterweise hab ich von einem Teil schon eine Versandbestätigung bekommen, während ich hier noch schrieb. 🤔
Nützt mir allerdings nicht viel, da das Wichtigste - das Mainboard -- erst in drei Wochen lieferbar sein wird und das mit der Vorarbeit daher hauptsächlich warten muß, bis es was gibt, wo der Kram auch draufgesteckt werden kann.

--

Erstes Mini-Update: Lieferung in drei Teile gesplittet (selber Händler) soll mir aber recht sein.
Eben den Silver Arrow als erstes neues Stück VMHost in Empfang genommen.
Sagen wir so. Das Teil ist ein bißchen ... voluminöser... als ich mir das vor meinem inneren Auge eingebildet hatte. Bin halt doch Waküverwöhnt, wo alles klein und leicht ist. Aber die einzige fullcover AiO für SP3, die Enermax, ist mir dann doch bissel zu unsicher und die anderen lassen mir zuviel frei auf dem IHS.

Na, wird schon passen. Warum nicht mal das unerforschte Land der AMD-CPUs mit Towerkühlern erforschen? Notfalls wird das Board halt mit Einschlagschaden reklamiert. 😊

 

[RalphS]

Zwishcenstand:

Unscheinbares Teil, nicht oder? Kein Vergleich zu den Threadripperboxen mit ihren lustigen Namen und ihren lustigen Verpackungen.



Der RAM auch. Sieht ganz normal aus...



mal abgesehen von dem unscheinbaren R auf dem Aufkleber und in der Typenbezeichnung.
Note, RDIMM ist nix für Performancers: mit dem Register kann man mehr verbauen, aber die Daten müssen durchs Register und das dauert notwendigerweise extra.

Leider müssen sich die Guten noch ein bißchen gedulden. Gab Info aus Richtung MB-Verkäufer, daß das Teil nicht in drei Wochen, sondern erstmal gar nicht lieferbar sei. Gut, mit sowas war zu rechnen: selbst in den besten Zeiten dauern unübliche Anforderungen auch unüblich lange und das ist grad keine übliche Zeit.

Bis aufs Mainboard ist alles da. Jetzt muß ich nur gucken, ob ich vor lauter Langeweile einfach noch zwei weitere RAM-Riegel einkauf, weil zuviel RAM gibts nicht und der Performance würde es auch helfen.

... Würde, weil derzeit liegt das Zeug hochperformant in seiner Schachtel rum und mehr Riegel in der Verpackung wären auch nicht leistungsfähiger.

Aber die Installation der CPU sollte wieder banal einfach sein... jedenfalls angenehmer als das Ding unter den Kühler zu pappen und zu hoffen, daß man mit 1kg in der Hand noch feinmotorisch exakt genug ist.

Zumindest in der Theorie. Praktisch können wir aber sehen, daß das Ding da ist, und Vorfreude gleich schönste Freude. Richtig?

Wenn das Teil dann mal irgendwann hoffentlich läuft, werd ich mal schauen ob ich Performancedaten für den RAM hinkrieg, insoweit man dort Abweichungen zu UDIMM erkennen kann.

 

[konkretor]

Welche Software willst du einsetzen? Proxmox?

 

[RalphS]

Noch nicht sicher. Aber da wir von mir reden wird’s vermutlich ein FreeBSD from scratch. Will aber vorher esxi angucken. fbsd mag kein xen, und bhyve ist mir nicht stabil genug. Trotzdem... irgendwie läuft es irgendwann immer aufs selbe raus. 😳

 

[konkretor]

KVM bietet sich doch an?

 

[RalphS]

Ich und Linux? Aber hey, ich mein wenn wir eh schon alles aufrollen, warum nicht? Werd mal nen Blick drauf werfen, danke für die Idee.

Würde mir eh Zeit nehmen müssen mit der Einrichtung. Denn ein HV Typ I soll es dann doch werden, und da der zuunterst sitzt, muß er natürlich auch zuerst etabliert werden. Wenns sein muß wirds HyperV. Wobei ich das selber noch nicht glaube.

 

[ZuseZ3]

Kommt da noch was?

 

[RalphS]

Ich hoffe. Bisher warte ich immer noch auf Nachricht bzgl des Mainboards.

 

[RalphS]

Hab jetzt nach einer guten Weile Antwort auf Statusanfrage bekommen: Lieferbarkeit sei weiterhin unbekannt, ohne Änderung der bisherigen Situation.

... da geh ich jetzt aber schon ganz schön in Vorleistung. Hoffentlich ist keine der bereits angekommenen Komponenten Reklamationsfall. Da reden wir noch nicht von zinsfreien Kundenkrediten.

Werd überlegen müssen, ob auf Ersatz ausgewichen werden sollte oder ob übergangs-/testweise ein anderes kompatibles Board eingekauft werden sollte. Welches mit Pech dann auch nicht lieferbar wäre...

Update 16. Mai: Board ist unterwegs. Post braucht dieser Tage was länger und ich hab auch nicht immer Zeit, aber ich hoffe am Donnerstag was machen zu können.

19. Mai: Board da.
Und nach zugegeben etwas Bibbern, daß das alles auch nach der Montage noch funktioniert, konnte ein erster Systemtest erfolgreich abgeschlossen werden. Puh. 4000+ Pins hoffentlich alle ganz.😅

Näheres vermutlich am Wochenende, wenn ein Gehäuse drum ist und die ganzen Pfeifen und Flöten dran sind.

 

[RalphS]

So, nachdem das System nun irgendwo bei Buildlevel Beta rumeimert, hier ein paar erste Eindrücke.

1. Jetzt ist das ganze System da und funktioniert und was soll ich sagen, es funktioniert genauso gut oder schlecht wie jeder andere PC auch. Es baut sich genauso zusammen, es wird genauso angeschlossen und es wird auch genauso installiert -- Ausnahme, das ASUS hat hinten neben dem Grafikport einen kleinen versenkten PowerSW Taster. Den kann man mit einem ausreichend kleinen Gegenstand durch die ATX-Blende bedienen.

2. Die CPU ist gefühlt seltsam. Und ich meine wirklich gefühlt. Sie sieht zwar nicht soo besonders groß aus, aber das nur in Relation zum EATX-Board. In die Hand nehmen und das Teil ist... schwer.
Der Lademechanismus (Klappe auf, CPU samt Trägermodul reinschieben, Klappe zu) funktioniert prima. Aber der kleine Griff fällt schon beim Angucken ab. Gut, ich mein den braucht ja auch keiner.

3. USBA onboard ist was schönes. Es spart jegliche Installation und man kann CPU, RAM und Stick installieren und hat ein funktionierendes System.

4. Der Silberpfeil kühlt den EPYC passiv auf 40 bis 50°C, mit Lüfter auf Minimum auf unter 30°C (idle). Hatte erst überlegt, da was rumzupatchen, aber das Teil ist praktisch unhörbar (hab aber auch noch keine längere Vollast angelegt).

5. Habe zunächst die neue Plattform (Board,CPU,RAM) als drop-in replacement für den Haswell E3 konfiguriert - Konnektoren alle ab, neues Board rein, Konnektoren wieder alle dran. Dadurch ging der Wechsel recht schnell und einfach. Mußte aber erst irgendwo aus der Versenkung einen Sechskantschlüssel ausgraben, da die Abstandshalter partout nicht rein und auch nicht raus wollten.

6. System ist anstandslos gestartet. Konfigurationsänderungen waren keine nötig (zumindest nicht bedingt durch den Wechsel). Wenn es läuft, ist es signifikant reaktionsfreudiger als bisher.

7. ... Wenn es läuft. Das supermicro hat schon gebraucht, aber das ASUS jetzt legt nochmal nach. Jeder potentielle Interessent muß sich im klaren sein: je "größer" die Maschine, desto länger der Systemstart. Besonders wenn wie hier ein BMC verbaut ist. Reboot Cycle (online-to-online): etwa fünf Minuten. Alle paar Momente ausschalten und wieder anschalten... funktioniert nicht und vom Strom trennen erst recht nicht, dann wartet man noch eine Minute extra.


Das Supermicro ist erstmal in ein neues Gehäuse eingezogen (Funktionstest erfolgreich - sicherheitshalber) aber was ich damit mach muß ich noch gucken. Mediaserver einschließlich Transcoding wäre eine Idee. Eventuell als iSCSI Target für die Steambibliothek, dann könnte noch die letzte "große" Festplatte aus dem Desktop. Oder was ganz anderes, mal gucken.

Und dann werd ich bei Gelegenheit mal den einen oder anderen Bootstick basteln und mir mal paar alternative Betriebsumgebungen für den EPYC anschauen.

Fazit: Geld ausgegeben und am Ende isses ein Rechner wie jeder andere auch. Ich mein gut, es paßt mehr RAM rein als in die meisten anderen, aber... Ziel "Besonders" kann ich glaub ich getrost als "verfehlt" einstufen.

Aber hey. War ja auch eine Odyssee aka Irrfahrt. 😊

 

[RalphS]

Kleines Update:

Nachdem ich mit vSphere eh ständig zu tun hab, dacht ich mir, probier ich den ESXi doch noch mal.
Und ich hatte Glück: Bis v6 tut sich bei mir damit weiterhin nichts. Diesmal steigt gleich der Installer in pink aus (kernel panic).

Allerdings gibts schönerweise seit relativ kurzem den ESXi v7. Der tut nun, und ich bin grad vollauf damit beschäftigt, meine Freizeit mit der Reorganisation des bisherigen Systems zu verschwenden. 🤔

Gibt da ein paar Eigenheiten des ESXi, aber alles in allem finden sich ein paar olle vmdks von anno dazumal wieder - wußt gar nicht, daß ich noch ein x86er Debian v7 hatte --- und die Portierung der Raw images von bhyve gestaltet sich auch recht einfach.

Ich glaub damit läßt sich glücklich werden. So wird das überall ein bißchen sauberer. Mit dem ESX kann zB auch der "Storage Samba" mit in die Domain rein... das ging bisher nicht wegen wechselseitiger Abhängigkeit.

Nur der nun virtualisierte Plattenplatz gefällt mir nicht recht. Da hängen grad zehn "echte" Disks auf Durchreiche an einer VM... mal gucken, da geht bestimmt noch was.

Aber jetzt erstmal alles was VM war, egal ob aktiv oder Archiv, rüberportieren. Bin schon gespannt, wie mein olles Solaris nach der ganzen Zeit aussieht. Da sind paar VMs von vor 10 Jahren bei. 😊

 

[RalphS]

Update: eine Grid K2 für unter 200 Eus geschossen. Wenn alles gutgeht, laufen damit kleinere 3D Dinge und vor allem gpu offloading in den einzelnen VMs. Ich bin gespannt!
Dann fehlt nur noch ein bissel solid storage für den IO sowie natürlich RAM und nochmal mehr RAM und wenn das so läuft wie ich mir das denke, dann hab ich ne kleine virtuelle Farm für Anwendungen aller Art, einschließlich paar ältere Spiele.

Kudos an VMware insoweit, daß die einzelne HDD im Backend kaum zu bemerken ist. Jedenfalls weniger als man hätte denken können für 8 oder so VMs parallel.