Ein neuer Homeserver muss her

[cc_aero]

Hallo Liebe Leute,

da mein alter Home-Server leistungsmäßig bereits aus dem letzten Loch pfeift, die Platten alt sind und Umbau auf 19-Zoll vollzogen werden soll, möchte ich mir eine neue Kiste bauen.
Ich habe mir bereits ein potentielles System zusammen gestellt und möchte gerne eure Meinung bzgl. potentielle Verbesserungsvorschläge einsammeln - speziell deswegen, weil ich aktuell den Marktüberblick was MoBos und RAM betrifft etwas verloren hab

Den Standard-Fragebogen hab ich bewusst weggelassen, da der zu einem Server-Build meiner Meinung nach nicht ganz passend ist, ich bemühe mich aber alle relevanten Informationen zur Verfügung zu stellen.

Anforderungen:

• Der Server soll unter Debian Buster (bei Bedarf nach aktuelleren Paketen wird auf Backports zurückgegriffen) laufen.
• Es soll ein RAID1-Festplatten-Verbund für erhöhte Ausfallsicherheit zum Einsatz kommen.
  • Es soll SW-Raid (md) zum Einsatz kommen, darauf wird dann LVM aufgesetzt. Evtl. kommen noch SSDs als Cache dazu.
• Alle "Dienste" sollen virtualisiert werden, wobei die VMs ebenfalls mit Debian Buster laufen (via QEMU/KVM).
• Die ganze Kiste soll in einem 2HE-19Zoll-Gehäuse mit möglichst geringer Tiefe verpackt werden und möglichst Energiesparend ausgelegt sein.
• Die Maschine soll 24/7 laufen.
• Mehrere Netzwerkinterfaces (mind. 3) werden benötigt (LAN + 2+WAN), daher werden auch mind. 2 PCIe-Slots benötigt

Folgende Dienste sollen auf der Maschine laufen:

VM#1: Gateway/Firewall

• pfSense

VM#2: Domain-Controller

• Samba 4 im AD-DC Betrieb
• Bind9 als DNS
• ISC-DHCP-Server
• NTP-Server

VM#3: "Backup" Domain-Controller

• Ausstattung ident mit VM#2

VM#4:

• Samba 4 im Member Betrieb (als File- und Printserver)
• Cups als Printserver
• Saned als Scanserver
• Apache2 + PHP 7 + MariaDB für Nextcloud und div. Web-Spielereien
• Gerbera als DLNA-Server (ohne recodierung)
• Squid als Proxy-Server

VM#5

• Unify Controller

Derzeitiges Situation:
Die VMs gibt es bereits und laufen auf meinem bestehenden Server, einige Dienste (Apache + DB + PHP sowie der Samba Fileserver und Unify Controller) laufen aktuell allerdings direkt am Host-OS).

Kurz umrissen sieht das System aktuell so aus:

• Intel Celeron 847 (2x1,1Ghz) -> CPU onboard
• irgendein MSI-uATX-Board
• 8GB DDR3 RAM
• 2x WD Red à 2TB
• 2x Segate Platten à 500GB
• 2x Noname-Netzwerkkarten

Alle beschriebenen Dienste laufen (Teils seit 7 Jahren) auf der Maschine -> dies soll die benötigte Leistung relativieren (Xeons, etc nicht also ganz sicher nicht von Nöten).

Hier nun das System, welche ich mir Zusammen gestellt habe:

• CPU: Intel Pentium Gold G6400T
• RAM: Crucial Ballistix schwarz DIMM Kit 16GB
• MoBo: Gigabyte H410M H
• HDD#1: Western Digital WD Red Plus 4TB
• HDD#2: Seagate IronWolf NAS HDD 4TB
• NT: SilverStone SFX Series ST30SF [Rev. 2.0]
• CPU-Lüfter/Kühler: Noctua NH-L9i
• Case-Lüfter: 2x Noctua NF-R8 redux-1200, 80mm
• Gehäuse: 19" Server Gehäuse 2HE / 2U - IPC-C238
• SSD (als Cache): Kingston A400 128GB, liegen hier noch 2 fast neuwertige herum
• zusätzliche Netzwerkkarten: Evtl. Übernahme aus bestehendem System, ggf. aber auch neue Karten (überleg ich noch)

Erläuterungen zum System:
Ursprünglich wollte ich ja ein AM4-System (Athlon 3000g) einsetzen - dieser ist derzeit allerdings nicht lieferbar, daher weiche ich zu Intel aus. Als NT habe ich den SFX-Formfaktor gewählt, da in dem 2HE-Gehäuse zwar ein ATX-NT hineinpasst allerdings die Lüfteröffnung oben bzw. unter blockiert wird.
Ich habe 2 unterschiedliche HDDs gewählt um die (gemeinsame) Ausfallwahrscheinlichkeit der HDDs weiter zu verringern (kann die unterschiedliche Drehzahl ein Problem werden?).

Budget:
Als Budget hab ich mir mal rund um € 700,-- gesteckt (bissle mehr oder weniger ist auch egal).



Nun seit ihr dran, habt ihr für mich Verbesserungsvorschläge für das geplante System ? Danke euch schon mal

---

RAID-Disclaimer: Bevor einer anfängt -> Mir ist bewusst das ein RAID1 KEIN Backup ist und das es im Privathaushalt nicht unbedingt notwendig ist. Ich pflege aktuelle und versionierte Backups auf 2 unterschiedlichen Medien an 2 unterschiedlichen Orten und möchte ein RAID1 einfach weiterhin haben

 

[wahli]

Hast du schon mal an einen Intel NUC gedacht? Z. B. Intel NUC Kit NUC8i3BEH
Da kannst du (neben der M.2 System-SSD) noch eine Festplatte einbauen und hast noch 4x USB 3.1 übrig. Da kannst du zwei USB-Netzwerkkarten anschließen und die restlichen USB-Anschlüsse könnten für ext. Festplatten verwendet werden.
Oder du kaufst noch ein NAS dazu.

Grundsätzlich bietet sich Proxmox als Basis an.

 

[Der Lord]

+1 für einen NUC. Habe ein ähnliches Setup mit einer ZBOX und Proxmox, sehr sparsames Setup für 24/7 Betrieb (betreibe darauf ~10 LXC Container) + separates NAS als Datengrab.
Soll lediglich als Denkanstoß dienen um solche Setups mit in die Überlegung einzubeziehen.

 

[Sir_Sascha]

Schau mal bei servershop24 vorbei. Da habe ich meinen auch weg geholt. Sind General überholt. Den NUC finde ich dafür nicht geeignet..eher Spielzeug.

 

[wahli]

Wenn der Server nicht ständig gut ausgelastet ist, reicht der NUC locker und ja, es ist ein "Spielzeug" für zuhause

 

[snaxilian]

VM#3: "Backup" Domain-Controller

Fällt die Hardware aus ist deine Domäne weg. Wenn du schon einen zweiten DC willst pack den doch auf einen Raspi...

PHP 7

7.3 ist schon im extended lifecycle, PHP8 ist bereits raus, würde ich ggf. gleich mit migrieren.

Unterschiedliche RPMs bei den HDDs solltest du vermeiden wenn möglich.

NUC oder DeskMini sind zwar platz- und energiesparsam aber der USB-NICs werden vermutlich anstrengend wenn du Passthrough machen willst für die pfSense.

Warum genau die T-Variante der CPU? Der Kühler sollte auch problemlos mit dem normalen G6400 klar kommen.

 

[proserpinus]

SAMBA liebt CPUs mit hoher Single-Core Performance.
Mit so einer popeligen SSD als Cache fährst du besser ohne Cache, nur meine persönliche Meinung.
Wenn eine SSD als Cache verwendet wird, niemals ohne echte Powerloss Protection. Dein Dateisystem wird es dir danken.

Software RAID ohne ECC ist vorsichtig gesagt fahrlässig. Nimm ECC und dein Dateisystem wird es dir abermals danken.

Und für den 24/7 Betrieb nimm ein Netzteil von Seasonic.

Ach ja, schon mal Gedanken darüber gemacht, was bei einem Stromausfall passiert? Ist's egal, wenn das Dateisystem ins Nirvana übergeht dabei? Eine USV könnte das verhindern ...

Ergänzung (9. Februar 2021)

Noch was: Bitte nix mit Realtek NICs nehmen. Damit wirst du am Ende nicht glücklich.

 

[wahli]

Man muss natürlich erst mal schauen, für was man das System braucht. Ist es wirklich absolut notwendig oder eher eine Spielerei für zuhause?
Ich habe mir selbst erst vor 2 Wochen einen NUC8i3 als neues Spielzeug für mich angeschafft (im Angebot für 150€), weil mein Raspi zu wenig RAM hatte und öfters abgestützt ist. Jetzt mit Proxmox ist das absolut genial und die Geschwindigkeit ist auch kein Vergleich.
Ein Freund hat einen NUCi3 mit pfsense im Einsatz - inkl. USB-Netzwerkadapter. Das läuft bei ihm seit mehreren Jahren.

 

[cc_aero]

Danke mal für die Antworten

@wahli und @Der Lord an NUC habe ich ehrlich gesagt noch nicht gedacht. Allerdings denke ich, das mir die Lösung nicht so gefällt. Ich möchte eher alles in einer Kiste haben und nicht in Storage + Server trennen.
Außerdem denke ich, das ich mit Standard-Komponenten im Falle eines defektes schneller die Funktion wiederherstellen kann (das ist auch der Grund, warum nicht wirklich so fertig-Serversyteme greifen möchte @Sir_Sascha) Und USB-Nics? Ich weiß nicht

Fällt die Hardware aus ist deine Domäne weg. Wenn du schon einen zweiten DC willst pack den doch auf einen Raspi...

Daran hab ich ehrlich gesagt schon gedacht - ich habe schon überlegt in einem 2ten Schritt den 2ten DC auf meiner aktuellen Hardware weiterlaufen zu lassen, evtl. auch mit einer 2ten pfSense als Backup (CARP) 🤷‍♂️

7.3 ist schon im extended lifecycle, PHP8 ist bereits raus, würde ich ggf. gleich mit migrieren.

Sorry - hab mich da unklar/nicht komplett ausgedrückt. Aktuell fahre ich mit PHP 7.4 aus dem sury.org Repository

Unterschiedliche RPMs bei den HDDs solltest du vermeiden wenn möglich.

Okay, dann müsst evlt. schaun von 2 verschiedenen Händlern die gleiche HDD zu bestellen um evlt. andere Chargen zu bekommen 🤔

Warum genau die T-Variante der CPU? Der Kühler sollte auch problemlos mit dem normalen G6400 klar kommen.

Ich dachte mir das die T-Version auf Grund der niedrigeren TDP evtl. Sparsamer ist, oder wäre das zu vernachlässigen?

Wenn eine SSD als Cache verwendet wird, niemals ohne echte Powerloss Protection. Dein Dateisystem wird es dir danken.

Cache wäre sowieso nur eine Spielerei (weil ich die SSDs noch rumliegen hab) -> wenn dann nur als Write-Through.

Software RAID ohne ECC ist vorsichtig gesagt fahrlässig. Nimm ECC und dein Dateisystem wird es dir abermals danken.

Wo liegt der Unterschied zu einem non-RAID-System? Kannst du mir das erläutern?

Und für den 24/7 Betrieb nimm ein Netzteil von Seasonic.

Die Seasonic im SFX-Format fangen doch erst bei 450W an, wäre das nicht ein wenig overpowered?

Ich ja, schon mal Gedanken darüber gemacht, was bei einem Stromausfall passiert? Ist's egal, wenn das Dateisystem ins Nirvana übergeht dabei? Eine USV könnte das verhindern ...

Mein aktuelles System hat schon 2-3 Stromausfälle über sich ergehen lassen, immer unbeschadet. Allerdings mache ich mir definitiv Gedanken über eine USV - das ist aber ein anders Thema.

Noch was: Bitte nix mit Realtek NICs nehmen. Damit wirst du am Ende nicht glücklich.

Du wirst lachen, aktuell habe ich Realtek NICs im System und die laufen tatsächlich absolut problemlos. Allerdings überlege ich dennoch auf Intels upzugraden

Grundsätzlich bietet sich Proxmox als Basis an.

Ja, hab ich mir eh schon angesehen -> allerdings bin schon total an "rohes" Debian gewöhnt und möchte auch dabei bleiben

 

[snaxilian]

niedrigeren TDP evtl. Sparsamer ist

Trugschluss. Die T-Modelle sind relevant wenn du in keinster Weise die Abwärme los wirst oder nicht genug Energie liefern kannst zum Betrieb. Durch die künstliche Limitierung braucht die CPU einfach länger in der Berechnung als die gleiche CPU ohne T.
Sobald das System nix zu tun hat, taktet sich die CPU sowieso herunter und geht in einen sparsameren C-State wobei das idR nicht erreicht wird wenn man mehrere VMs laufen hat...

Realtek NICs und pfSense... Ich bete für dich, dass du nie wirkliche Last/Durchsatz drauf haben wirst.

Zu den HDDs: Auch hier Trugschluss. Ja theoretisch könnte man Pech haben und eine komplette Produktionslinie oder Modellreihe taugt nix aber wie häufig kommt das schon vor in der Realität? Hardware mit beweglichen Teilen wird immer ausfallen, daher würde ich mir den Aufwand ggf. sparen und lieber zusehen, dass deine Backup- & Recoverystrategie praxistauglich ist, dann ist ein Ausfall nämlich nur noch ärgerlich weil HW ersetzt werden muss sofern die Garantie schon weg ist.

 

[cc_aero]

Trugschluss. Die T-Modelle sind relevant wenn du in keinster Weise die Abwärme los wirst oder nicht genug Energie liefern kannst zum Betrieb. Durch die künstliche Limitierung braucht die CPU einfach länger in der Berechnung als die gleiche CPU ohne T.
Sobald das System nix zu tun hat, taktet sich die CPU sowieso herunter und geht in einen sparsameren C-State wobei das idR nicht erreicht wird wenn man mehrere VMs laufen hat...

Okay danke, dann bin ich hier tatsächlich einen Trugschluss unterlegen - ich hab hier die geringere TDP mit Energieeinsparung gleich gesetzt, dann greif ich besser zum non-T-Modell

Realtek NICs und pfSense... Ich bete für dich, dass du nie wirkliche Last/Durchsatz drauf haben wirst.

Wie gesagt, mit Realtek NICs läuft das ganze seit 7 Jahren zuverlässig. Allerdings muss ich dazu sagen, das die pfSense ja nicht direkt Kontakt zur Realtek-NIC hat. Die VM ist mittles Bridge an die Interfaces gekoppelt und verwendet selbst den VirtIO-Treiber.
LAN-Seitig werden 1Gbps oft ausgenutzt, das tangiert aber die pfSense nicht. Die pfSense hat aktuelle maximal mit 30Mbps zu tun.
Aber wie schon geschrieben, ich überlege eh, diese mal gegen was besseren upzugraden - man weiß ja nie

Zu den HDDs: Auch hier Trugschluss...

Hier unterlieg ich glaub ich keinen Trugschluss. Ich hatte persönlich noch relativ wenig Hardware-Defekte, ein paar Mal sind mir HDDs allerdings schon hobs gegangen - und war da auch schon mal glücklich ein RAID1 gehabt zu haben.

Mit meiner aktuellen Backup-Strategie, kann ich das System bei Bedarf ohne massiven Datenverlust wiederherstellen.

Allerdings benötigt jeder HDD-Ausfall bzw. RAID1-Komplettausfall mehr Zeit zur Wiederherstellung als jeder andere Hardwaredefekt. -> Ein NT muss nur getauscht werden, RAM, etc ebenfalls. Eine neue HDD will erst einmal mit Daten gefüttert werden (Restore) bevor es wieder los gehen kann. Diese Ausfallszeit bzw. eigentlich Zeit für den Restore möchte ich mir mit dem RAID1 ersparen. Ja natürlich, es geht auch ohne -> Ich finde es persönlich angenehmer und investiere daher gerne hier etwas mehr

Oder wolltest du hier eher anmerken, ich soll mir den Aufwand mit verschiedenen Modellen / Chargen sparen und einfach 2x die selbnige Platte bestellen?

 

[proserpinus]

Wo liegt der Unterschied zu einem non-RAID-System? Kannst du mir das erläutern?

Versteh die Frage nicht ...

Die Seasonic im SFX-Format fangen doch erst bei 450W an, wäre das nicht ein wenig overpowered?

Das Gehäuse ist eigentlich eher für solche Netzteile gebaut. Passt besser zum gedachten Luftstrom.
Aber für SFX gibt's auch von Seasonc eine entsprechende Alternative.

Wie gesagt, mit Realtek NICs läuft das ganze seit 7 Jahren zuverlässig. Allerdings muss ich dazu sagen, das die pfSense ja nicht direkt Kontakt zur Realtek-NIC hat. Die VM ist mittles Bridge an die Interfaces gekoppelt und verwendet selbst den VirtIO-Treiber.
LAN-Seitig werden 1Gbps oft ausgenutzt, das tangiert aber die pfSense nicht. Die pfSense hat aktuelle maximal mit 30Mbps zu tun.
Aber wie schon geschrieben, ich überlege eh, diese mal gegen was besseren upzugraden - man weiß ja nie

Musst du wissen. Es ist nicht so, dass dir nicht davon abgeraten wurde. Die Erfahrung muss wohl jeder selber machen.

Hier unterlieg ich glaub ich keinen Trugschluss. Ich hatte persönlich noch relativ wenig Hardware-Defekte, ein paar Mal sind mir HDDs allerdings schon hobs gegangen - und war da auch schon mal glücklich ein RAID1 gehabt zu haben.

Du glaubst und da fängt das schon an. Seit Ewigkeiten hält sich die fast schon paranoid anmutende Strategie gleiche Serien bei HDDs zu vermeiden. Mach dir nicht zu viele Gedanken darüber, denn statistisch gesehen ist das sinnlos. Wofür gibt's RAID? Kauf halt 3 bis 4 Disks um immer mind. 1 Disk parat zu haben, wenn eine ausfällt. Entscheidend ist es den Ausfall früh genug zu erkennen.

 

[cc_aero]

Versteh die Frage nicht ...

Du meintest SW-RAID ohne ECC sollte man nicht machen, ich verstehe allerdings das warum nicht.
Wo liegt der Unterschied ob ich eine einzelne Platte ohne ECC oder ein SW-RAID ohne ECC betreibe?

Unabhängig davon denke ich, dass eine Plattform, die ECC unterstützt, das gesetzte Budget wahrscheinlich doch gut überschreiten wird?
Oder hast du hier einen konkreten Vorschlag? (im Bereich des Budgets)

Das Gehäuse ist eigentlich eher für solche Netzteile gebaut. Passt besser zum gedachten Luftstrom.
Aber für SFX gibt's auch von Seasonc eine entsprechende Alternative.

Ja, das war mir bewusst. Allerdings gibt es leider quasi keine neuen ATX-NTs mit 80mm Lüfter mehr. Und ich bin mir nicht sicher, ob ich ein NT aus dem Jahr 2011 mit moderner Hardware kombinieren möchte.
Daher hab ich mich für den SFX-Standard entschieden. Das Seasonic 300W SFX12V sieht ja prinzipiell geeignet aus, ist allerdings aktuell nicht lieferbar - und schon gar nicht bei österreichischen Händlern (welche ich bevorzuge.
Was wäre an dem Silverstone NT auszusetzen? Die Rev 1.0 hat ja auch bei einem CB-Test recht gut abgeschieden (dürfte lt. Test ja auch baugleich mit BeQuiet-Modellen sein).

Musst du wissen. Es ist nicht so, dass dir nicht davon abgeraten wurde. Die Erfahrung muss wohl jeder selber machen.

Wie bereits gesagt, ich hatte bis jetzt mit keiner einzigen Realtek NIC irgendwelche Probleme.
Und wie ebenso bereits mehrfach erwähnt, überlege ich sowieso die billigen NICs gegen hochwertigere Auszutauschen -> hier überlege ich übrigens auch evtl. gegen 10Gbps zu gehen. Aber NICs sollen hier bitte nicht weiter Gegenstand der Diskussion sein.

Du glaubst und da fängt das schon an. Seit Ewigkeiten hält sich die fast schon paranoid anmutende Strategie gleiche Serien bei HDDs zu vermeiden. Mach dir nicht zu viele Gedanken darüber, denn statistisch gesehen ist das sinnlos. Wofür gibt's RAID? Kauf halt 3 bis 4 Disks um immer mind. 1 Disk parat zu haben, wenn eine ausfällt. Entscheidend ist es den Ausfall früh genug zu erkennen.

Ist das wirklich paranoid oder evtl. doch schlau? Klar ist die Ausfallwahrscheinlichkeit einer HDD gut zufällig verteilt. Rein logisch betrachtet muss die Ausfallswahrscheinlichkeit zweier gleich alten HDD, aus der gleichen Charge mit den fast exakt gleichen Lasten und gleichen Betriebsumgebung doch enger beieinander sein, als von 2 unterschiedlichen Modellen oder zumindest aus unterschiedlichen Chargen.
Klar kann ich mir eine Platte als Reserve hinlegen - allerdings wärs dann blöd, wenn die zweite Platte beim Resync ebenfalls hops geht -> dann hat mir das Raid nix gebracht. Zugegeben hatte ich so einen Fall noch nicht.
Aber warum diesen Bonus (zumindest Bonus fürs gewissen) nicht mitnehmen, wenns mit keinen Mehrkosten verbunden ist?

 

[snaxilian]

mittles Bridge an die Interfaces

Dann hast nicht die Treiberprobleme, die freeBSD und Realtek NICs so haben denn ich bin von passthrough ausgegangen. Zumindest in Richtung WAN würde das aber aus Security Sicht Sinn machen, da man dann nicht aus Versehen weitere Devices an die Bridge hängen kann, so würde ich es zumindest umsetzen.
Die Performance Probleme treten idR auch erst auf wenn man die NICs wirklich mal über paar Minuten auslastet aber vielleicht ist der Treibersupport in den letzten 2 Jahren ja besser geworden, wovon ich jedoch nicht ausgehe.

Hier unterlieg ich glaub ich keinen Trugschluss. Ich hatte persönlich noch relativ wenig Hardware-Defekte, ein paar Mal sind mir HDDs allerdings schon hobs gegangen

Glauben ist etwas für die Kirche...
Wie gesagt: HDDs haben die meisten beweglichen Bauteile in einem PC neben Lüftern, deshalb fallen diese statistisch gesehen häufiger aus als Komponenten ohne bewegliche Teile. Ist halt alles eine Frage der Abnutzung, neben der mechanischen Belastung kommt die thermische und elektrische, daher kommt die Ausfälle der restlichen Komponenten, in der Regel durch defekte ElKos...
Mir sind auch schon 1-2 Disks gestorben und noch gefühlt hunderte als ich beruflich mit Hardwareservern und Storagesystemen zu tun hatte. Aber nicht einmal war es die berühmt-berüchtigte Mär der fehlerhaften Charge... Ausfälle von Disks hat man gehäuft sowieso in den ersten Wochen des Betriebs oder nach Ablauf der erwarteten Lebenszeit, also nach ca 5. Jahren.

@proserpinus spricht mir da aus der Seele. Verschiedene Chargen werden völlig überbewertet. Wie oft ist das denn in den letzten 20-30 Jahren vorgekommen in Relation zur Anzahl der 'produzierten Chargen'? Ja, Fehler passieren und oft genug ist nicht zwingend die Charge komplett defekt sondern lässt sich per Firmware-Patches fixen und für den absoluten Worst-Case hat man ja die 3-2-1 Regel und kann ja im Backup auf HDDs anderer Charge oder Hersteller setzen.