Downsizing Home-VM-Server

[TheHille]

Hallo zusammen,

ich habe vor Kurzem eine Stromkostenanalyse meines Serverschranks gemacht. Zudem haben sich meine Ansprüche über die Jahre wieder etwas gewandelt.

Da ich ca. 50% an Stromkosten (ca. 250€ pro Jahr) sparen könnte, würde ich die eine oder andere Überlegung gerne mal mit den Fachkundigen im Forum reflektieren.
Hauptsächlich geht es dabei um einen möglichen Ersatz meines Proxmox-Servers.

Ausgangslage:

Folgende Hardware verwende ich:

• 2x Unifi PoE APs (ca. 8W zusammen)
• 1x Mikrotik 24p Switch CRS326-24G-2S+RM (ca. 14 Watt)
• 1x Synology DS215+ (33W im Mittel) (ggf. Ersatz mit einem QNAP TS-464 auf lange Sicht. Verbrauch nahezu identisch)
• 1x Selbstbau VM-Server (Proxmox, 50-100W):

- Intel 10900
- 64GB DDR4-RAM
- Supermicro X12SCZ-F
- Mellanox X3 SPF+ (1-Port)
- Dual NIC Intel (2x1G)
- 2x 1TB SSD in ZFS-Mirror (VM-Storage)
- 1x 1TB SSD für EXT (DVD-Images, Sicherungen, etc.)

Folgendes virtualisiere ich:

• 1x Opnsense-VM (PPPoE(!), HAProxy, Surricata, OpenVPN, WireGuard, ddclient) (1x 1G NIC für WAN via IOMMU, 1x10G SFP+ für LANs (5 VLANS, "Router on a Stick") (4vCores, 16GB RAM, 32GB SSD)
• 3x LXC = unifi (1vCore, 2GB RAM, 12GB SSD), collabora (2vCores, 2GB RAM, 50GB SSD), nextcloud (4vCores, 2GB RAM, 100GB SSD)

Gerne würde ich Richtung Intel N305 Mini-PC gehen, ggf. mit 6 LAN-Ports, 32GB RAM und 1-2x 1TB Speicher.

Ich bin grundsätzlich von den kleinen Rechnern angetan, ich bin mir aber hinsichtlich der Herkunft dieser Rechner (HUNSN, TOPTON) wegen folgender Sachen nicht recht sicher:

• BIOS-Updates? Habe gehört, hin und wieder muss bei den neueren Geräten auch der Microcode aktualisiert werden. Spyware im BIOS?
• Zuverlässigkeit der Geräte? Nachdem viele dieser kleinen Rechner verkauft werden, auch über NRG-Systems oder Protectli, sollten diese eigentlich relativ robust sein.
• Wäre ein N100 oder N305 für die oben genannten VMs ausreichend? Wie viel Puffer hätte ich mit den kleinen Prozessoren?
• Reicht die Leistung für PPPoE mit einer 500/100 FTTH-Leitung mit Surricata? VPN ist auch wichtig, muss aber dann nicht am Anschlag laufen
• Wie zuverlässig sind die 12V-Netzteile?

Idealerweise wäre ein 1:1-Ersatz. D.h. ich würde jetzt eher ungerne einen Mini-PC mit OPNSense (Barebone) und noch einen mit den anderen LXCs anschaffen.
Ich würde mir überlegen für OPNSense auf Proxmox die benötigten Interfaces ebenfalls mit IOMMU durchzureichen. OPNSense war bei mir nun über etliche Jahre via vmbr angebunden, habe erst vor Kurzem zumindest das WAN-Interface aus Sicherheitsgründen durchgereicht. Die 10G SFP+ kann ich aktuell nicht durchreichen, da dort die LXC mit angebunden sind.

Eine andere und teuerere Option wäre noch das NAS mit einem z.B. QNAP TS-464 o.Ä zu ersetzen um da die LXCs zu installieren.
Mit TrueNas werde ich nicht so recht warm, OMV bietet mir ebenfalls nicht den Komfort wie Synology oder QNAP hinsichtlich Backup ins Internet, etc. Deswegen hier vermutlich wieder Fertig-NAS. Nur vermutlich nicht mehr Synology, da bei den großen Boxen keine stromsparenden Prozessoren und kein 2,5G NIC verbaut werden.

Was meint ihr zu den Überlegungen? Gibts es bessere Lösungen? Wie habt ihr es Zuhause umgesetzt, wenn ihr Promox und OPNSense am Laufen habt?

 

[_Shorty]

Hi,
ich habe ähnliches hier, aber alles in einer Box. Ich habe das NAS, pfSense und Proxmox auf der gleichen Kiste laufen.

• Die Platten für OMV sind durchgereicht
• die WAN und LAN interfaces für die pfSense sind ebenfalls durchgereicht
• Proxmox hat ein dediziertes NIC für seinen Traffic der LXC, Vms

- Mikrotik CRS310-8G+2S+IN

Realisiert mit einem I3-9100, einem Kontron Board und 32GB RAM und 4 SSDs mit je 4 TB. Stromverbrauch -> 15W

 

[M-X]

Da willst nur ein Gerät allerdings ist OPNsense in der VM eh ein anti pattern. Also hättest du jetzt die Möglichkeit das auf eigene Hardware zu setzen. Der rest läuft vermutlich auf einem jedem NAS mit x86 und bisschen Dampf..

 

[_Shorty]

Da willst nur ein Gerät allerdings ist OPNsense in der VM eh ein anti pattern

Kommt eben drauf an, wie extrem er kosten (Strom) sparen will und welchen Kostenaufwand er dafür realisieren will.

 

[norKoeri]

Hatten letzt einen ähnlichen Thread, deckt das bereits Deine Ansprüche?

6 LAN-Ports

Das macht doch der Switch?

1G NIC für WAN […] 10G SFP+ für LAN

Wozu hast Du Multi-Gig am Router genau?

 

[Bahkauv]

Ich kann dir nur was zum Topton sagen: Habe mir selbst einen Topton bei Ali bestellt (im Topton Store). Zumindest meiner läuft 24/7 absolut stabil mit dem mitgelieferten Netzteil. Beim BIOS sind sämtliche Optionen per default zugänglich (da wird man irre so viel ist das). Ein BIOS Update habe ich noch nicht gemacht, wüsste auch nicht woher ich eines bekommen sollte.
Ich hatte mir einen Topton mit Intel i5-1135g7 und 6x Intel 226 NIC bestellt. 64GB SODimm und NVMe dann hier in DE. Darauf laufen einige VMs und die OPNSense mit PPPoE unter Proxmox.

 

[TheHille]

Hi, den von @norKoeri erwähnten Thread habe ich gelesen. Da konnte ich mir außer die Lösung von "Drago_f" und "Der Trost" nur bedingt etwas herausziehen.
Mir gehts da auch ein wenig um Langzeiterfahrungen. Parallel dazu lese ich auch im STH-Forum mit, da ist es z.T. recht wild um die kleinen Geräte. Ich sag nur "repasting", "microcode", etc.
Ich hätte schon gerne was langfristig stabiles.

Ich will die Leistung auch nicht so knapp bemessen, der 10900 ist für die Art der Virtualisierung eigentlich recht überdimensioniert, aber ich will mir nicht nen N100 anschaffen und dann feststellen, dass er meinen Workload überhaupt nicht packt.

Ich brauche für meine Lösung mehr als zwei LAN-Ports. 1 Management-Port für Proxmox, 3Ports fürs Durchreichen an OPNSense (WAN, LAN, DMZ) und ein Bond von 2x LAN für die restlichen LXC-Container an den Switch. Das wäre zumindest der Plan.

Aktuell lasse ich auf dem 10G-Port alle internen VLANs auf den Switch laufen.

 

[Raijin]

Da willst nur ein Gerät allerdings ist OPNsense in der VM eh ein anti pattern.

Anti-Pattern hin oder her, so ungewöhnlich ist das dennoch nicht. Da scheiden sich einfach die Geister. Aber tendenziell bin ich bei dir, obwohl ich das auch schon gemacht habe.

• Intel 10900
• 64GB DDR4-RAM

...

Das ist dafür ..

• 1x Opnsense-VM (PPPoE(!), HAProxy, Surricata, OpenVPN, WireGuard, ddclient) (1x 1G NIC für WAN via IOMMU, 1x10G SFP+ für LANs (5 VLANS, "Router on a Stick") (4vCores, 16GB RAM, 32GB SSD)
• 3x LXC = unifi (1vCore, 2GB RAM, 12GB SSD), collabora (2vCores, 2GB RAM, 50GB SSD), nextcloud (4vCores, 2GB RAM, 100GB SSD)

.. sicherlich maßlos oversized und ich kann verstehen, dass dir der Energieverbrauch zu hoch ist und du kleinere Brötchen backen möchtest

Wäre ein N100 oder N305 für die oben genannten VMs ausreichend? Wie viel Puffer hätte ich mit den kleinen Prozessoren?

Der N100 ist ein feines Stück CPU für HomeServer. Ich hab noch zwei J3160 als Proxmox-Cluster laufen, aber der N100 ist in Benchmarks easy Faktor 3. N305 legt nochmal ne Schippe drauf, ein echter 8-Kerner. Den peile ich aktuell als Upgrade an, um meine 2 Proxmox Hosts auf 1 zu reduzieren.

An deiner Stelle würde ich es allerdings so machen, dass ich die kleinen VMs einfach in das kommende NAS einplanen würde. Damit erschlägst du schon mal 90% deiner Anforderungen. Einzig OPNsense würde ich dann ggfs separieren und dafür zB ne N100-HW-Firewall nehmen.

CRS326-24G-2S+RM

Der unterstützt im übrigen auch RouterOS. Du könntest ihn also als L3-Switch betreiben und bräuchtest für deine VLANs womöglich gar kein OPNsense mehr bzw. sie müsste nicht zwingend gleich 10G wuppen können und könnte entsprechend kleiner dimensioniert sein, weil der CRS326 ja SFP+ hat. Kommt aber natürlich auf deinen Use Case mit 10G an.

 

[TheHille]

Hi @Raijin,

danke für deine Antwort. Mein aktuelles System ist von 2021. Da hatte ich noch einen anderen "Spieltrieb".
Früher waren da noch Win10, Win11, Server2019 (AD, etc. zum Testen) neben noch einigen anderen Linux-Distributoren aktiv.

Aktuell ist alles Übrige aus oder gelöscht. Hin und wieder Kompiliere ich noch nen Kernel zum Ausprobieren, fahre hin und wieder mal ein Linux hoch, um bisserl was auszuprobieren.

Das gemütliche an OPNSense in Proxmox ist das Backup und das Snapshotting. Das hat mir schon ein paar mal das Leben gerettet. Beim Wechsel auf 24.1 hat HAProxy gesponnen. Einfach wieder den Snapshot von vor dem Update geladen, alles wieder in Ordnung. Das habe ich damals sogar über VPN gelöst.
Das hätte mich auf einer HW-Firewall richtig gestresst.

Die Nextcloud hat über das letzte Jahr meine Syno abgelöst. Es war von mit schon der längerfristige Plan, mich von den Services von Syno unabhängig zu machen.
Einzig das Absichern der Daten auf dem NAS (Hyperbackup) würde ich so nicht mehr missen wollen.
Collabora ist ein nettes Addon, richtig Brauchen tu ich es nicht. Tut aber auch nicht weh...
unifi-controller läuft auf einer Kartoffel.

Meine Frau hängt da mit beruflichen Daten mit dran, braucht auch mal das VPN für einen Datentransfer. Insofern muss das Ganze auch verlässlich sein, wenn ich nicht im Garten schlafen will ;-)

Das aktuelle System war bisher absolut stabil, wenn ich nicht mal hin und wieder durch Ausprobieren irgendeinen Käse gemacht hätte... Deswegen kann ich mich nur auf etwas Neues einlassen, wenn ich mich auf Ersteres verlassen kann. Ich würde dafür sogar bei NRG-Systems bestellen, falls/wenn die auch mal nen N305 im Angebot hätten. Aber evtl. reicht mir da ja auch ein N100.

Zum neuen NAS: Da ist aktuell bei mir nichts geplant, ich hab mich nur schon mal umgesehen. Da das DS215+ EoL ist, würde ich auf Grund der Hardware einmal zu QNAP wechseln. Die Basics habe ich da Online schon einmal ausprobiert. Backup-Versionierung, granulare Recovery, Backup auf USB-HDD und in Strato HiDrive wären für mich ein Muss.

So wie ich euch verstehe wollt ihr das Routing auf den Switch verlagern. Das muss ich mir mal durch den Kopf gehen lassen. Ich meine mich im Firmenumfeld immer dagegen entschieden zu haben, da die Switches meist zwar einen guten Routing-Durchsatz haben, aber nicht an die zusätzlichen Features einer Routing-Firewall herankommen.
Zudem hat man bei einer Routing-Firewall nur eine Stelle, an der man anpacken muss. Aber ich überdenke das nochmal.

Der Use-Case der 10G Leitung war eigentlich, irgendwann eine 10G-Umgebung zu etablieren. Zuerst mit einem Selbstbau-NAS, danach evtl. mit ein paar Hosts. Zudem wollte ich den Routing-Traffic bei 5 VLANs über ein 1G-Netzwerk schieben. Also nur ein Kabel, daran alle VLANs im Netzwerk. Ist mir aber doch zu teuer geworden, einen Use-Case (SAN mit 10G) habe ich auch nicht mehr. Realistisch würde ich vielleicht in den nächsten Jahren auf 2,5G gehen.

@Raijin was hast du denn auf deinem J3160-Cluster am Laufen und wie bist du mit der Leistung zufrieden?

 

[Raijin]

Meine Frau hängt da mit beruflichen Daten mit dran, braucht auch mal das VPN für einen Datentransfer. Insofern muss das Ganze auch verlässlich sein, wenn ich nicht im Garten schlafen will ;-)

Das aktuelle System war bisher absolut stabil, wenn ich nicht mal hin und wieder durch Ausprobieren irgendeinen Käse gemacht hätte...

Stabiler als mit einem Fertig-NAS geht's eigentlich kaum. An einem HomeServer bastelt man tendenziell häufiger rum als an Synology/QNAP, wie du ja selbst bestätigst.

Ich meine mich im Firmenumfeld immer dagegen entschieden zu haben, da die Switches meist zwar einen guten Routing-Durchsatz haben, aber nicht an die zusätzlichen Features einer Routing-Firewall herankommen.

Ein L3-Switch ist natürlich nur ein rudimentärer Router, weil er auf Inter-VLAN-Routing ausgelegt ist - er switcht sozusagen vlan-übergreifend. Die Firewall besteht in der Regel nur aus ACLs und Dinge wie NAT sucht man meist vergeblich. Mit RouterOS soll ein CRS aber zumindest von der Software her ein vollwertiger Router werden, aber wie flott er dabei ist, kann ich leider nicht sagen. Es käme auf einen Versuch an.

was hast du denn auf deinem J3160-Cluster am Laufen und wie bist du mit der Leistung zufrieden?

Ich hab sehr ähnliche Dinge darauf laufen wie du. OMV, collabora, paperless, Unifi, Dashboard, pihole, HomeAssistant, NPM und ein paar Dinger, die ich mal ausprobiere, zZt Jellyfin. Tatsächlich habe ich auch OPNsense laufen, wobei das fast alleine auf einer der Kisten läuft. Dabei ging's mir aber weniger um die Performance, sondern eher darum, dass ich OPNsense (fast) alle LAN-Interfaces der Kiste geben und nicht zu sehr mit VLANs auf VM-Interfaces spielen wollte.

Die Performance im Betrieb ist bei meinen Anwendungsfällen nicht der Rede wert - will heißen: es läuft ohne dass ich mich eingeschränkt fühle. Nen neuen Container aufsetzen, Updates fahren, dies und das installieren, das dauert ne Weile, aber einmal fertig und gestartet, merke ich sozusagen 0 "Langsamkeit".
Die genannten VMs/Container idlen (zumindest bei mir) die meiste Zeit nur rum, aber zB die Freigaben in OMV leisten volle ~120 MByte/s, was will .. .. oder sagen wir lieber .. "brauche" .. ich mehr?

Die OPNsense Performance habe ich nie getestet, weil sie in meinem Use Case keine Rolle spielt. Das ist nur eine Testinstanz innerhalb meines NW-Labs im Keller wo ich ab und an mal ein paar Szenarien aus dem Forum nachspiele, o.ä.

Der N100 ist aber (laut Benchmarks) ca 3x so flott wie ein J3160, weil er natürlich auch ne Ecke frischer ist. Aber 2x J3160 sind eben auch 2x 4-Cores und deswegen tät ich lieber auf den N305 gehen, weil ich den mit seinen 8 Cores schon ziemlich geil finde.

 

[TheHille]

Danke @Raijin, sowas hilft mir sehr weiter.

 

[Raijin]

Ok, ich hab jetzt mal ein bischen recherchiert. Ja, prinzipiell kann der CRS als Router fungieren, aber in der Praxis ist die Performance bestenfalls mittelmäßig. Die CPU hat dafür zu wenig Dampf und bis auf absolute Basiskonfigurationen sollte man den CRS wohl als das nutzen wozu er gedacht ist, als Switch. Die Möglichkeit RouterOS zu installieren, geht also eher in Richtung Marketing würde ich vermuten. In meheren Quellen habe ich etwas von ~300 Mbit/s Routing-Performance gelesen und das ist eher nicht so geil. Hängt natürlich auch immer mit der Komplexität der Konfiguration ab (Firewall, NAT, etc), aber schnell ist anders.

 

[TheCadillacMan]

Ja, prinzipiell kann der CRS als Router fungieren, aber in der Praxis ist die Performance bestenfalls mittelmäßig. Die CPU hat dafür zu wenig Dampf und bis auf absolute Basiskonfigurationen sollte man den CRS wohl als das nutzen wozu er gedacht ist, als Switch.

Das war mit RouterOS 6 so, weil L3 grundsätzlich auf der CPU lief und die beim genannten Modell auch nur mit ~1 Gbit/s an den internen Switch angebunden ist. Mit RouterOS 7 geht auch L3-Hardware-Offloading und da ist die Performance wohl gar nicht so schlecht: https://blog.daknob.net/crs326-l3-hw-offload/

Man muss natürlich die genannten Einschränkungen beachten. Insbesondere, dass die Stateful-Firewall-Regeln, die man von OPNsense gewohnt ist, damit nicht nutzbar sind. ACLs ("Switch Rules") gehen aber wohl.

 

[TheHille]

Ich hab immer den Spruch im Kopf: Ein Switch switched, ein Router routet...
Durch den Mehrwert einer Routing-Firewall bin ich da eigentlich immer hängen geblieben und klatsch in die Switche nur noch die bekannten VLANs rein.
Ist natürlich abhängig vom Einsatzzweck. Bei meinem Netz ist die Routing-Leistung vermutlich zu vernachlässigen.
Aber gerade im Bereich Web-Proxy, IDS/IPS für Office-Netze ist eigentlich die Firewall essentiell...

 

[Raijin]

@TheCadillacMan : Danke für den Link. Auf diesen Artikel bin ich bei meiner Recherche tatsächlich nicht gestoßen, sehr interessant.

Ich hab immer den Spruch im Kopf: Ein Switch switched, ein Router routet...

Ich sag mal ja und nein. Prinzipiell stimmt das zwar schon, aber es kommt auf die Größenordnung bzw. Komplexität des Netzwerks an. Bei einem Netzwerk mit mehreren Switch-Ebenen und zahlreichen VLANs und regelmäßigem Traffic zwischen diesen VLANs ist es höchst ineffizient, wenn man zum Routing zwischen zwei VLANs den gaaaaaaaanzen Uplinkweg bis hin zum zentralen Router gehen muss - und wieder zurück - wenn Quelle und Ziel womöglich direkt nebeneinander am selben Switch hängen. Hier kommen Layer3-Switches mit Inter-VLAN-Routing ins Spiel, die quasi direkt vor Ort routen können.

Spoiler: Beispiel

          Router
            |
            |
          Switch (Gebäude)
         /
        /
      Switch (Etage)
     /      \
    /        \
   PC1       PC2
 VLAN 10    VLAN 20

Mit reinen L2+ Switches müsste PC1-->PC2 nun erst alle Uplinks bis zum Router nach oben- und anschließend denselben Weg wieder zurückgehen. Bei einer einzelnen Verbindung ist das noch kein Problem, werden es aber mehr, geraten die oberen Uplinks stark unter Druck. Wäre doch cool, wenn der Etagen-Switch direkt PC1<>PC2 switchen könnte, oder? Leider sind sie aber in verschiedenen VLANs, also nix Switching. Inter-VLAN-Routing ist das Stichwort. Dabei übernimmt der Etagen-Switch das Routing vor Ort und der Router bzw. die Uplinks werden entlastet.

In Heimnetzwerken ist das natürlich weit weniger dramatisch, nicht nur weil es meistens nur eine Switch-Ebene gibt, sondern auch weil es deutlich weniger gleichzeitige Lasten gibt - und selbst wenn, sind das in der Regel nur kurzzeitige Auslastungen, aber kein Dauerzustand. Dennoch kann man einen L3-Switch oder eben einen CRS mit RouterOS durchaus auch privat so einsetzen, wenn man ihn denn hat.

 

[TheHille]

100% Zustimmung!

 

[TheHille]

Kennt jemand rein Zufällig noch alternativen zu Protectli oder NRG-Systems?
Irgendwie würde ich mich bei Baremetal-FW auf einem Protectli mit Core-Boot am Wohlsten fühlen. Leider hängen die HW-technisch etwas hinterher.

Wie sind da die Erfahrungen mit Protectli und NRG-Systems? Erstere machen sich wohl sehr Mühe zuverlässige und sichere Geräte herzustellen. Bei NRG-Systems weiß ich nicht, inwieweit die ihre Produkte noch customizen. Wie siehts da beim Service der beiden aus?

 

[M-X]

NRG-Systems läuft hier seit Jahren als OPNsense Firewall und Router völlig Problemlos und lautlos. Die Dinger kommen aber eh von den gleichen Zulieferern aus China da braucht man sich keine Illusionen hingeben.

 

[TheHille]

Wenn es noch jemanden interessiert:

Ich hab jetzt meine vorläufige Lösung gefunden… ich mache mit der aktuellen Hardware weiter. Habe allerdings das PL1 und PL2 auf 35W gesenkt und den Boost deaktiviert. Das hat mir über 30W gespart.

Wenn es soweit ist, gehe ich auf Bare-Metal auf ein Protectli mit N100, der irgendwann bestimmt kommt. Der Rest kommt auf ein kompatibles NAS.

Danke euch vielmals!