Neuer Heimserver gesucht

[cruunnerr]

Hallo zusammen,

ich denke gerade über einen neuen Heimserver nach. Da ich nun aber schon einige Jahre aus dem ganzen Hardwaredschungel entflohen bin und bei meiner Recherche mit vielen neuen Begriffen konfrontiert wurde, brauche ich Hilfe.

Aktuelle Konfiguration:
1U IBM x3530 M4
2x 460W Netzteil
1x E5-2430Lv2
96GB DDR3 ECC
2x 10k RPM 2,5" Server-HDD 500GB Raid-1 als System-Platten
6x 5400 RPM 2,5" Consumer-HDD 1TB im RAID-Z2 als Daten-Platten
1x IBM I340-T4 4-Port Gbit Netztwerkkarte

Basis-OS ist Proxmox und es laufen rund 20 Container und 7 VM im Dauerbetrieb.
Im normalen Alltag ist die CPU rund 25-30% ausgelastet. Beim RAM ist's immer schwierig zu sagen, da alle Container/VM Linux-Systeme sind. Ich würde aber auch mit 64GB auskommen.

Grund für den Umstieg ist in erster Linie der Stromverbrauch. Der liegt derzeit bei rund 90W +/- , so wie oben beschrieben (also inkl. HDD).
Zudem möchte ich das System-OS gerne auf M.2 umrüsten.

Ich hätte gerne mindestens wieder eine 12 Thread (besser 16) CPU und die Möglichkeit auf 64GB RAM.
Schön wäre zudem die Option, auch ECC Funktionalität zu haben.
System-Platten sollten wie gesagt M.2 Platten sein und als Daten-Platten werde ich wohl umsteigen auf 2x 6TB oder 2x8TB 3,5".

Es muss auch keine Server-Hardware sein. Consumer-Bereich langt mir, wie gesagt wäre ECC natürlich wirklich gut.

Jetzt bin ich allerdings total überfordert bei den ganzen Auswahlmöglichkeiten. Ich habe keine speziellen Vorlieben bei Herstellern und kaufe auch gerne gebrauchte Hardware. Muss auch nicht total aktuell sein.

Vorrangig brauch ich also Hilfe bei der Auswahl von CPU, RAM, Mainboard. Netzteil und Festplatten such ich mir dann schon passende.

Ich hoffe man kann mir hier einen Schubs in die richtige Richtung geben, was CPU-Reihe und Chipsätze angeht.

Danke schonmal

Edit:
Achso, preislich habe ich mir ungefähr so 250€-300€ vorgestellt für CPU/Mainboard.
Beim RAM kann ich auch mal mit 32GB anfangen.
Wie gesagt, gerne auch gebrauchte Hardware bzw. „Ältere“

 

[Tornhoof]

Ich werfe mal in den Raum:
ASRock Rack X570D4U-2L2T, dann einen AMD 5800x oder 5900x Prozessor und entsprechender Kingston ECC RAM.
Hab ich aktuell sehr gute Erfahrungen mit gemacht als mein Homelab Server.

 

[TriceO]

Bei 250-300 Euro Budget für CPU/Mainboard bekämst vielleicht neu nen älteren Ripper oder gleich nen Ryzen, die haben ja auch ECC-Unterstützung.

Je nach Thread-Wunsch zB nen 2600er/2600Xer oder aber vielleicht nen abgelegten 2700Xer. Die große Frage ist, was soll das Board können und wieviel zieht das vom Budget ab. Vielleicht müsstest du also in Richtung Ryzen 7 1700(X) gucken - die hätten dann aber nur noch Support für max 64GB RAM.

Wäre dann aber alles halt Workstation- oder Consumer-Grade.

Edit: Ach es geht dir primär um den Stromverbrauch, da würde der Ripper dann vermutlich weniger gut dastehen. Aber du könntest ja das Power Target festlegen.

 

[KenshiHH]

Wenn der Stromverbrauch der Hauptgrund ist, hast es überhaupt mals ausgerechnet?
Bei sagen wir mal 30W ersparnis welcher schon sehr optimistisch angesetzt ist, sparst bei den heutigen preisen rund 12€ im Jahr.
Ob sich das lohnt?

 

[wirelessy]

Ein Wechsel auf eine leidlich aktuelle Ryzen CPU mit 6 Kernen+ wird deinen Stromverbrauch signifikant erhöhen.
Deine CPU ist ziemlich effizient schon.

Ich würd halt als erstes die Spindeln gegen Flash ersetzen, mehr find ich da gerade nicht sinnvoll.

 

[Tamron]

Die 8 Festplatten sind eher ein Stromfresser. Solange du die weiter betreibst ist das egal, ob die CPU 15-30w weniger verbraucht.
Tauschst du die Festplatten auch noch alle aus wie du schreibst, ist die Investition so groß, dass der Server ja 10 Jahre oder so leben musst, damit du bei +-0 rauskommst.

 

[TriceO]

16TB Wunschkapazität in Flash sind 1.400 bis 2.000 Euro, je nachdem auf was man setzt (mal so nach Preis pro TB sortiert).

4TB MX500
4TB WD RED SA500
8TB Kingston DC450R

Das holt man im Vergleich zu 3,5 Zöllern nie rein.

Ne 3,5er 8TB verbraucht im Leerlauf doch grob 4-5W und im Betrieb 9W.
Die Kingston verbraucht im Leerlauf 1,4W und im Betrieb 4W.

Sind also bei je zwei Stück entweder 8-10W Leerlauf und 18W Betrieb oder aber 2,8W Leerlauf und 8W Betrieb.
Also grob 5W im Leerlauf und 10W im Betrieb Differenz. Und dafür aber 1.500 Euro Anschaffungsdifferenz.
Wären also 240W Differenz bei Dauerbetrieb am Tag oder 87,6KW Differenz im Jahr, macht bei 30Cent/KWh ganze 26 Euro im Jahr, die man im Direktvergleich spart.
Die SSD müssten also grob 58 Jahre länger halten als die 3,5er Platten.

Mal von den Neuanschaffungskosten im Schadensfall abgesehen.

 

[HerrRossi]

Ob sich das lohnt?

Sehe ich auch so, nur wegen Stromverbrauch lohnt sich kein Update. Das bringt nur was, wenn man mehr Rechenleistung braucht. Du könntest aber die HDD rauswerfen und alles auf SSD bringen, das dürfte auch etwas Strom sparen. Warum soll das OS auf eine NVMe SSD, was versprichst du dir davon?

Edit: 12 oder 16TB mit SSD wird natürlich teuer, da nimmt man dann besser 2x6 oder 2x8 TB HDD, spart aber auch schon Strom.

 

[CubeID]

Wenn der Stromverbrauch der Hauptgrund ist, hast es überhaupt mals ausgerechnet?
Bei sagen wir mal 30W ersparnis welcher schon sehr optimistisch angesetzt ist, sparst bei den heutigen preisen rund 12€ im Jahr.
Ob sich das lohnt?

Eher um die 80€/Jahr wenn man mit 30W Differenz rechnet.
Bei 30€ hätte man einen Kwh-Preis von 11,4Cent, davon sind wir in DE glaub sehr weit weg. Mit Grundpreis kommt man effektiv eher auf 30Cent oder mehr pro Kwh…

 

[cruunnerr]

Danke schonmal für das große Feedback.

Kurz zur Klarstellung. Die Datenplatten sollen gar keine SSD werden. Hab ich auch nicht erwähnt. Das werden normale HDD 3,5".
Lediglich die Systemplatte soll NVMe werden. Davon verspreche ich mehr bessere IOPS Werte.

Ich erhoffe mir Tatschlich wenigstens 30W Differenz. Deshalb will ich ja auch von den vielen Festplatten weg kommen. Ich denke zwei 3,5" HDD und eine NVMe verbrauchen weniger, als 8x2,5" HDD ^^

Mir ist auch klar, dass die Festplatten, Netzteil etc. auch Geld kosten. Das kalkuliere ich aber separat.

Ich habe gelesen, dass die x370 und x470 von Asrock eine recht gute ECC Unterstützung haben sollen.

Hier hat auch jemand ein Asrock B350 mit Ryzen 7 1700 mit ECC zum Laufen gebracht. Scheint aber wohl irgendwie eine "Glücksache" zu sein.
Hat da jemand mehr Erfahrung?
Unterstützen die Ryzen alle Unbuffered ECC?

 

[HerrRossi]

Davon verspreche ich mehr bessere IOPS Werte.

Sind diese Werte nicht wichtiger für Storage? Weil dort ja die User gleichzeitig zugreifen, nicht auf die OS-Platte!?

Guck dir mal den Verbauch der älteren Ryzen CPUs im Idle an, der 1700 liegt da bei 44W...

 

[CubeID]

Ich tippe mal drauf, dass die VMs und Container auch mit auf die NMVe‘s mit drauf sollen? Rein für das OS lohnt sich das eher kaum.

 

[HerrRossi]

Selbst dann ist imho der Storage das Nadelöhr, wenn viele User gleichzeitig auf die HDD zugreifen.

 

[CubeID]

Mehr IOPs sind immer besser, keine Frage. Pauschal zu sagen x oder y ist besser als Storage (schwammiger Begriff) kommt immer auf den Anwendugnsfall an:
DatenGRAB, sprich Daten die selten oder garnicht mehr angefasst werden > HDD wegen besseren TB-Preisen.
Aktive Zugriffe um die Daten zu be-/verarbeiten, klar Flash jedoch mit einem entspr. Preisaufschlag.

 

[cruunnerr]

Sind diese Werte nicht wichtiger für Storage? Weil dort ja die User gleichzeitig zugreifen, nicht auf die OS-Platte!?

Guck dir mal den Verbauch der älteren Ryzen CPUs im Idle an, der 1700 liegt da bei 44W...

Aber die 44W dann für das gesamte System und nicht nur die CPU alleine, oder?

 

[HerrRossi]

Aber die 44W dann für das gesamte System und nicht nur die CPU alleine, oder?

Kann sein, ich weiss es nicht: https://www.computerbase.de/2017-03/amd-ryzen-1800x-1700x-1700-test/6/ Strom wirst du damit aber im Vergleich zu deinem jetzigen System eher nicht sparen, zumindest nicht signifikant.

 

[wirelessy]

Im Gegenteil wird dein Stromverbrauch ansteigen.

 

[Tronix]

Also ich habe für meine „Homeserver“ immer die Intel T Modelle eingesetzt. Sparsamer geht’s kaum, und dennoch boosten die ziemlich vernünftig, wenn mal mehr Power benötigt wird. Hab damit drei HyperV Systeme am Laufen. Im Idle braucht mein i5-10400T etwa 2-3W.

Die Stromfresser sind mit Abstand die Festplatten. Ich hatte mal 6-7 WDs die zusammen über 40W verbraten haben. Hab die dann durch 3 größere Platten ersetzt und liege jetzt mit dem kompletten Homeserver bei 35W im Idle, und vl. 65W unter Volllast…

Vorteil ist hier natürlich auch die Lautstärke/Kühlung. Mit einem potenten CPU-Kühler, wirst du wohl nie einen Lüfter hören…

 

[snaxilian]

Im normalen Alltag ist die CPU rund 25-30% ausgelastet.

mindestens wieder eine 12 Thread (besser 16) CPU

Warum? Du hast jetzt schon sehr viel ungenutzte Ressourcen und eine neue und damit in der Regel effizientere CPU würde die Auslastung weiter senken.
Auch wenn sich die Last auf die Kerne verteilt wird die CPU nur selten diese in einen niedrigen c-state versetzen. Jede CPU die grob also eine höhere TDP/Verbrauch/Abwärme hat, wird mehr verbrauchen als deine jetzige CPU...
Die größten Verbraucher werden aber die 2x 10k rpm HDDs und 6x 5,4k rpm HDDs sein, v.a. weil die HDDs im raidz2 vermutlich selten bis nie in den standby gehen werden.
Nur Proxmox auf NVMe finde ich auch verschwendetes Geld... Am meisten IOPS brauchen die VMs und nicht der Host.
Auch ob du unbedingt ein Raid brauchst musst du für dich entscheiden. Backups solltest du so oder so haben und rein statistisch betrachtet sieht es aktuell so aus, dass SSDs eine geringere jährliche Ausfallrate ggü. HDDs haben, zumindest wenn man sich die Statistiken von Backblaze ansieht. Sind aber noch mit Vorsicht zu genießen, da die SSDs noch nicht "jahrelang" im Einsatz sind.
Anyway mit weniger Laufwerken oder geparkten/abgeschalteten HDDs sollte das Einsparpotential am höchsten sein.

Ein Vorschlag wäre daher: Eine große SSD auf der Proxmox und die VMs und CTs liegen. Die NAS-VM, die vermutlich das raidz2 hat/braucht, bekommt die HDDs durchgereicht und die VM soll sich herunterfahren wenn keiner drauf zugreifen will und per WoL starten. Ist die VM aus, sind dann afaik die HDDs auch aus.

Ein weiterer Vorschlag wäre Scale out anstatt Scale up: Der große Datenberg kommt in ein sparsames NAS und fürs Compute nimmst gebrauchte NUCs um nicht das Budget zu sprengen. Ab Gen 6 aufwärts mit i3/i5, einer SSD (für OS & VMs/CTs) und RAM nach Bedarf. Hier sind bis zu 32 GB RAM pro NUC möglich.
Backups der VMs/CTs brauchst sowieso und mit 2 oder mehr NUCs hast übergreifend eine höhere Verfügbarkeit deiner VMs/CTs als mit nur einem System und lokalem Raid. Außerdem kannst du bei diesem Vorschlag der Reihe nach aufrüsten und musst nicht jetzt wieder für mehrere Jahre im Voraus die notwendige Leistung kalkulieren und auf Vorrat kaufen.
Anstatt von NUCs gehen natürlich auch ZBox, Brix, usw.

 

[cruunnerr]

Danke für das ganze Feedback. Ich merke schon, dass sich das doch etwas komplizierter gestaltet ^^

Habe mich mal weiter umgeschaut und mir ist die Sache mit der ECC-Kompatibilität bei den Ryzen in Verbindung mit dem richtigen Board ist mir irgendwie zu heikel. Zumindest in dem für mich bezahlbaren Sektor. Um auf Nummer sicher zu gehen, wird's direkt teuer und auch nicht mehr stromsparend.
Einzig vielleicht ein Ryzen mit GE Präfix wären interessant, aber die Verfügbarkeit ist Richtung 0.

Also derzeit betreibe ich alle VM und CT , sowie Proxmox auf den zwei 10K Platten. Die 6 HDDs sind tatsächlich für Daten verwendet.
Ich weiß, dass die Festplatten das größte Einsparpotential bieten. leider kann ich nur 2,5" Platten verbauen und da gibt es leider sehr wenig bis gar keine Auswahl mehr, sobald man größere TB zahlen erreicht.
Der Platz bei mir wird langsam eng, und deshalb will ich ja größere Platten haben. Derzeit habe ich so 2x1TB als System/VM/CT Platten im Raid-1 im Kopf und 2x8TB, ebenfalls im Raid-1, als Datenplatten.
Das dürfte dann auch zusätzlich den Stromverbrauch senken.

Der Server übernimmt bei mir derzeit alle Aufgaben, angefangen beim Router/Firewall bis hin zur Cloud mit derzeit 10 Benutzern, verschiedene Webseiten, einige Datenbanken, Videoüberwachung vom Haus, Medienserver uvm.
Ich merke auch, dass die Festplatten die eigentliche Bremse im System sind. Das IO Delay im Proxmox steigt beim Zugriff auf Daten schnell mal über 70%.
Ich möchte auch nicht auf Fehlerkorrektur beim RAM verzichten.
Deshalb fallen so Lösungen wie mit NUCs für mich raus.

Backups sind kein Problem. Ich habe noch ein kleines SoC Board, auf dem ein Proxmox Backup Server läuft und zusätzlich werden die Daten von dort aus nochmal im regelmäßigen Abstand auf eine USB Platte gesichert. Ja, auch das frisst Strom (ca. 10W), aber Backups sind schon wichtig. Für die extrem wichtigen Daten steht noch eine alte Synology bei einem Arbeitskollegen, welche sich per VPN mit mir verbindet.

Ich hatte wohl gedacht, man könnte mit anderer Hardware noch mehr einsparen...Geht auch bestimmt, aber ihr habt schon recht. So richtig lohnen tut das nicht.

Jedenfalls kann ich keine 3,5" Festplatten verbauen....
Ich denke ich werde dann wohl doch bei den Xeon's bleiben. Entweder suche ich mir ein neues Chassis inkl. Mainboard, welches 3,5" Platten frisst und verbaue meine aktuelle Hardware darein.
Oder ich suche mir einen neuen Server, ebenfalls mit einer Xeon CPU mit L-Präfix und bau den in Ruhe einmal neu auf.
Ersteres ist vielleicht etwas günstiger. Ich werde mal die Gebrauchtmärkte durchforsten.

@snaxilian
Stimmt schon, theoretisch ist die CPU nicht sonderlich ausgelastet. An Spitzenmomenten erreiche ich aber immerhin knapp 70%, weshalb ich schon so im gleichen Leistungssegment bleiben wollte.