Suche Heimserver-Mainboard

[Rickmer]

Nach ein wenig hin und her bin ich zum Schluss gekommen, dass mein Energiemessgerät dem Ende nahe ist. Das Display ist auch kaum noch zu lesen...

Ich hatte noch ein Fritz!Dect 210 rumliegen, das wird erstmal für jegliche Messungen genutzt. Den Messungen von dem Gerät traue ich eher.

Ein paar Konfigurationen sind jetzt durchprobiert, Idle-Power ist wie folgt:

• Mein bestehendes Server 2019 Image: 50W
• Ein frisch installiertes Server 2019: 40W (mit 5 unbekannten Geräten genau wie ich hatte)
• Ein frisch installiertes Windows 10 20H2: 38W (mit 4 unbekannten Geräten)
• Ubuntu 21.04 das vom USB-Drive aus läuft: 33W

Diese Power-Messungen passen auch ganz gut zu denen von Hardwareluxx.

Ich konnte dazu auch bestätigen, dass die Geschwindigkeit vom Image über IMPI Einbinden wie im Test von ServeTheHome beschrieben grottenlahm ist. Die 1,4MB/s passen zu meinen Beobachtungen.

Zum Glück habe ich jedoch gefunden, wie man zwischen den USB-Devices umschalten kann, damit ich einfach nur mein Bootmedium (ein IODD 2531 mit SSD, geils Ding) einstecken muss und dann per IMPI weitermachen kann.

Ich werde vielleich auch nochmal Proxmox drauf hauen um zu testen, wie viel das verbrät. Wenn ich dadurch dauerhaft 10W weniger Verbrauch hätte wäre das schon was.

 

[conf_t]

Danke für deinen Bericht.

 

[Rickmer]

Zwei Sachen sind noch aufgetreten:

1) Der Veeam Agent hat es aus irgendeinem Grund unmöglich gemacht, eine Disk offline zu schalten. Das ging erst nachdem der Veeam Agent Dienst deaktiviert war. Danach konnte ich den Agent auch problemlos wieder aktivieren.
2) Irgendwas an der Netzwerkkonfiguration zwischen Netzwerkkarte und dem virtuellen Switch vom Hyper-V war kaputt gegangen. Die Mellanox Karte hatte eine eigene IP-Konfiguration, statt dass die komplett durch den virtuellen Switch kontrolliert wurde. Den virtuellen Switch auf privat umstellen und dann die Mellanox wieder als externes Netzwerk hinzufügen hat's gefixt. Keine Ahnung was da los war.

An beiden zusammen habe ich jetzt auch wieder viel zu lange gesessen...


edit: Was jedoch nicht auffällig was und was ich halb erwartet hatte: Die Windows Lizenz wird trotz fast kompletten Wechsel des Hardware-Unterbau weiterhin als 'aktiviert' angezeigt.

 

[0x7c9aa894]

Es ist kein Zettel mit Standard-Credentials fürs IPMI eingelegt, man muss das entweder nachschlagen oder (wie ich) erraten. admin/admin war zugegeben mein erster Versuch.
2) Wenn man das Passwort ändert ist das auf 16 Zeichen begrenzt - und zwar mit silent fail. Ich hatte 20 Zeichen aus dem Passwort-Manager reingehauen, auf speichern gedrückt, und mich dann gewundert warum ich mich nicht einloggen kann. Das hat mich einige Minuten Kopfkratzen gekostet.

Das kenn ich. Ich habe ein Supermicro Board mit IPMI. Nur haben die Spaßvögel entschieden aus Sicherheitsgründen kein Standard Paßwort mehr zu verwenden, sondern jedes Board bekommt ein eigenes.
Mach einer längeren Panikattake, habe ich es dann gefunden...
Und ADMIN ist case senitiv

 

[Rickmer]

Das die Passwörter nicht mehr standartisiert sind kenne ich z.B. von HPE (iLO) schon länger, aber da findet man das auch ohne Probleme.

Der Server idled mittlerweile bzw seit 50 Minuten bei 40W, runter von den 50-55W die er zwischenzeitig verbraucht hat. Es laufen auch 2 VMs im Hintergrund. Mit 40W kann ich bei einem Homeserver mit dem gegebenen Featureset und der vorhandenen Leistung gut leben.

 

[0x7c9aa894]

aber da findet man das auch ohne Probleme.

Das Finden des BMC Paßworts war nicht so einfach, das MB war Bulk also ohne Anleitung.
Internet sagt es gibt mehere Orte für den Paßwort Aufkleber: Karton - negativ, MB - negativ. Panik. CPU Sockel Abedeckung in Mikro Schrift - Bingo!

 

[Rickmer]

Und weil ich kann und will ein paar Bilder

Um den NF-A4x20 PWM auf dem Chipsatz-Kühler in Position zu halten habe ich Kabelbinder genutzt. Die sind nichtmals festgezurrt (da fehlten ein paar Millimeter) aber damit der Lüfter nicht verrutscht reicht das schon vollständig.
Die Kabelbinder konnte ich problemlos unterhalb dem Kühlkörper für den Chipsatz durchführen. Bei ~1600rpm vom Lüfter bin ich so bei Chipsatz-Temperaturen von 45°C. Dafür hatte ich mich entschieden nachdem ich im Netz von Idle-Temps des Chipsatz bei 80-85°C gelesen hatte.
Solange ich nicht in Unmittelbarer Nähe von Ohr zu Lüfter bin ist der nicht zu hören, obwohl der Raum sehr leise ist. Wenn ich am Wohnzimmertisch sitze (ziemlich genau 1m Abstand von Ohr zu Lüfter) ist der auch mit gespitzten Ohren nahezu nicht wahrnehmbar.

Der Grund, dass ich 'nahezu' schreibe ist, dass der Lüfter etwas vibriert. Ich muss hier wohl nochmal dran und schauen, wie ich den komplett ruhig gestellt bekomme. Sobald ich mit den Lüfter anpacke und etwas Masse bereitstelle ist der nicht mehr zu hören.
Aber ich habe da schon eine Idee, da kommen also vielleicht nochmal Bilder.

[Nachtrag]
Da ich den Beitrag jetzt in der Signatur verlinkt habe, ist hier ein Link zu einer Geizhals-Wunschliste, die alle aktuell im Heimserver verbaute Hardware enthält, inklusive schon älterer Hardware.
[/Nachtrag]

Ergänzung (16. Mai 2021)

Gesagt, getan.

Ich habe noch Akustikschaum rumliegen - davon ein ca. 50x50x20mm Stück ausgeschnitten.
Auf der einen Seite ein rundes Loch mit ungefähr dem Durchmesser des Luftdurchlass vom Lüfter geschnitten, müssten so 36mm Durchmesser gewesen sein. Auf der anderen Seite 40x40x10mm ausgeschnitten damit der Lüfter auf rund halbe Höhe im Schaum einsinkt.

Montieren war easy nachdem ich meinen Satz an 200x2,5mm Kabelbinder gefunden habe.

Sieht hässlich aus, aber das ist meinem Heimserver scheißegal. Die Vibrationsgeräusche hat es signifikant reduziert, jetzt ist das lauteste am Heimserver das Spulenfiepen vom Mainboard. Das ist auf 1m Abstand (am Wohnzimmertisch, mit Rücken zum Heimserver) aber nicht wahrnehmbar, also wayne. Dran ändern kann ich eh nichts.

Der Server ist zumindest über Nacht auch stabil durchgelaufen, das ist schonmal ein Anfang. Langzeitstabilität kann sich ja eh nur über lange Zeit zeigen.

Es wurde insgesamt nur ein Bauteil defekt geliefert in dem 'Projekt' und zwar der zweite NF-A4x20 PWM. Gut, dass ich den nicht sofort für etwas brauche, sondern eher 'just in case' mitbestellt hatte.

 

[Rickmer]

Ich war jetzt neugierig was meine Experimente mit Stromverbrauch verschiedener Betriebssysteme angeht, daher habe ich einfach noch ein paar Experimente gemacht. Den Installationsprozess aller häufiger verwendeten Hypervisoren mal gesehen zu haben wird mir sicherlich nicht schaden.

Falls jemand noch ein weiteren Hypervisor auf der Liste sehen möchte, dann gerne. Ubuntu wird aber das einzige Desktop-Linux bleiben, da klapper ich jetzt nicht alle denkbaren Distros ab.

Hardware-Zustand der Messung:

• Ryzen 5 3600 auf X570D4U mit 32GB UDIMM
• alle SSDs ausgesteckt bis auf eine 1TB Toshiba XG3
• Mellanox ConnectX-3 ist angesteckt und wird als primäres Netzwerkinterface verwendet
• Lüftersteuerung auf den Voreinstellungen die ich für den 24/7 Betrieb nehme
• Das Boot-Medium (iodd 2531 mit Crucial M4 256GB) war noch (oder wieder) dran und das entsprechende Installations-ISO gemountet (weil ich vergessen hatte, das bei den ersten Messungen abzuziehen)
• Netzteil ist ein Seasonic X-660

Messung war direkt nach der Installation ohne irgendwelche Einstellungen außerhalb des eigentlichem Setup-Prozess gesetzt zu haben.

Strommessung wurde durch ein Fritz!Dect 210 durchgeführt und der Stromverbrauch über mehrere Minuten Idle betrachtet.

OS	Verbrauch [W]	Anmerkungen
Windows 10 20H2	38	2 Treiber fehlen
Ubuntu 21.04	33	* sowie gebootet vom Image statt eine feste Installation
Windows Server 2019	40	3 Treiber fehlen
ESXi 7.0U2a	36	*
Proxmox 6.4	35	** Mellanox ConnectX-3 wird nicht automatisch erkannt
Citrix Hypervisor 8.2	39	*

*) Bloß weil mir nichts aufgefallen ist heißt nicht, dass keine Treiber gefehlt haben. Es ist mir nur nicht spontan aufgefallen, dass was fehlt. Mir ist auch nicht bekannt, ob/wo es einen Äquivalent zum Windows Geräte-Manager gibt.

**) Anmerkung zu Proxmox: Wenn man zu Proxmox und der ConnectX-3 googelt ist das ein bekanntes Problem - man muss die wohl per Hand in den Ethernet-Modus umstellen und eventuell vorher auch per Hand die Treiber runterladen und/oder ein Firmware-Update machen. Sehr viel Aufwand für etwas, das alle anderen Betriebssysteme sofort und bereits im Installer hinbekommen haben.


Die Messungen sind alle recht dicht aneinander. Pur auf Basis von den paar Watt lohnt sich mMn ein Wechsel des Hypervisor nicht. Ich war erstaunt, dass Windows Server 2019 schlechter war als Windows 10. Entweder ich habe mehr Varianz in meinen Messwerten als ich denke, oder der Server hat mehr Hintergrundtasks und/oder weniger Energiesparmechanismen.

 

[0x7c9aa894]

Anmerkung zu Proxmox: Wenn man zu Proxmox und der ConnectX-3 googelt ist das ein bekanntes Problem - man muss die wohl per Hand in den Ethernet-Modus umstelle und eventuell vorher auch per Hand die Treiber runterladen und/oder ein Firmware-Update machen. Sehr viel Aufwand für etwas, das alle anderen Betriebssysteme sofort und bereits im Installer hinbekommen haben.

Es gibt halt einige Versionen der Karte. Ich habe die Ethernet only Version, die lief einfach so.
Arch hat eine gute Anleitung für die Dual Mode Karten:
https://wiki.archlinux.org/title/InfiniBand

 

[Rickmer]

@0x7c9aa894 Was mich wundert ist - bei Citrix Hypervisor und ESXi hat's doch auf Anhieb geklappt mit derselben Karte und das ist auch beides auf Linux basierend. So selten sind Mellanox Netzwerkkarten ja jetzt auch nicht.

(Bei Ubuntu hatte ich nicht spezifisch geschaut)

 

[conf_t]

Das entspricht aber meiner bisherigen Erfahrungen, dass Linux auf identischer Hardware interessanterweise ein bisschen sparsamer ist als Windows. Meine Tests dazu waren aber von 2016. Interessant dass sich das so hält. Ich hatte damals Synology DSM 5.(?) auf PC Hardware mit Windows 8.1 verglichen.

 

[RalphS]

Natürlich braucht der Win Server mehr. Das ist ein Server. Wo ein Client os nach ner Weile schlafen geht, muß der Server jederzeit ohne gedenkminute sofort reagieren können.

Wenn du willst daß WS weniger säuft, erst noch durch die Energieoptionen gehen.

 

[Rickmer]

Da sich 32GB RAM als ungenügend herausgestellt haben, ist zu 2x Kingston Server Premier DIMM 16GB, DDR4-3200, CL22-22-22, ECC (KSM32ES8/16ME) noch 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32ME) dazu gekommen.

Beides steht auf der Kompatibilitätsliste, beim Heimserver hatte ich kein Interesse an Experimenten.

Auffällig ist, dass durch den Einbau von zusätzlichem RAM der Energieverbrauch von ~49W auf ~39W gesunken ist. Es wurde an Software und Hardware nur der RAM geändert, sonst nichts.
(Okay, ich hatte auch die Chance genutzt um Windows Updates zu installieren, aber die werden es nicht gewesen sein. Das waren nur die Sicherheitsupdates für Mai.)

Etwas grübeln (und ein Update von CPU-Z) später hat sich herausgestellt, dass der RAM nicht mehr als DDR4-3200 sondern mit 4 Riegeln jetzt als DDR4-2666 läuft.

Dabei wurden anscheinend irgendwelche Energiesparmechanismen aktiviert, die vorher nicht aktiv waren?