Freenas / Nextcloud auf Hyper V

[Krautmaster]

Hallo zusammen.

Ich habe eine Frage zur sinnvollen, sicheren und performanten Architektur meiner künftigen Heimserver Umgebung.

Basis stellt ein Quad Core Xeon D, 64Gb Ram, ( 6x4TB WD Green + 4x14TB WD HE + 2x256GB SSD + 2000GB SSD ) an onboard SAS + 512Gb NVME (OS) + 8TB Backup SATA - aktuell mit Hyper V Server 2019 Datacenter.

Workstation ist via 10 GBe dran, der Rest via 2x1GBe Intel (Team)

Drauf laufen soll (virtuell):
-> ZFS Storage Device (SAS passthrough?)
-> Nextcloud (~10TB)
-> diverse Wevserver mit Debian
-> paar Windows VMs
-> alle VMs auf SSD Storage, Daten auf Disk. Disk idle bei keinem Zugriff. Alle ZFS mit Cache.

zusätzlich: Adäquates Backup der VMs und wichtigen Daten auf die 8TB Platte

ich hatte alles auf Storage Spaces laufen, aber zugegeben, es suckt. Gerade Parity. Ich hab 2 Server hier, fortlaufend werden Volumens offline. Performance ist nur Lesend gut und es spackt ganz gern mal.

Meine aktueller neuer Versuch ist

-> Server 2019 Datacenter mit HyperV wie bisher (sparsamer als ESXi, getestet)
-> Freenas virtuell. 32 GB Ram, 8C . LSI SAS an die VM durchgereicht.
-> darauf 2 ZFS Pools, RaidZ, läuft super muss ich sagen, auch super schnell (~500 MB /s read write)
-> großer Vorteil: Das Caching geht super, die Platten gehen super in Standby und das spart schnell 30-40W. (~50W idle Gesamtverbrauch)

-> alle anderen VMs normal in HyperV (geht also gut für alle meine Webserver)

Jetzt zum Problem:

Bisher laufen meine Nextcloud und die Webserver in einer "virtuellen DMZ"
hyperv host -> Virtueller Switch -> virtuelle PFsense Firewall -> privater Switch virtuelle -> Reverse proxy VM, diverse Webserver, Nextcloud

Läuft gut, aber die Nextcloud Vm mit direct attached hyperv storage wird solangem kaum noch handhabbar. Heißt da muss ich OS und Daten eh aufsplitten.
Was also tun?

Auf Freenas und einem ZFS Volume ein SCSI Device machen? - das am Host mappen und darauf Nextcloud Storage?
Nextcloud mit aufs Freenas? Das wäre am naheliegensten aber dann muss ich eigentlich mein ganzes virtuelles DMZ auflösen und versuchen da irgendwie reinzudampfen. Außerdem habe ich keine Erfahrung was Freenas Backup angeht (Also Daten aus den ZFS Volumes sichern, Daten aus dem iocage / jail usw.
Naxtcloud ala Docker (wie Storage bereitstellen?)

Stand jetzt mach ich in meinen Webservern und Nextcloud kurz nen Snapshot wenn ich was experimentiere, oder ich nehme die Win Server Backup und sicher die ganzen HyperV VMs (auch da wird Nextcloud nun kritisch groß, differenziell wäre besser)

Ich würde mich über Vorschläge freuen.


Edit: Ich dachte ggf an diese Lösung
https://www.samueldowling.com/2018/...n-freenas-iocage-jail-with-hardened-security/

Muss ich den Reverse Proxy vermutlich auch aufs Freenas verlagern.

Ergänzung (16. Juli 2019)

mal anders und kürzer gefragt:

Was wäre denn die smarteste Variante den den Nextcloud Storage bereitzustellen, möglichst transparent und einfach zu handhaben - wenn man annimmt dass es bei Freenas als Storage Host bleibt.

 

[Hancock]

Muss es denn alles virtuell sein? Ich würde nur Nextcloud (was ein Webservice ist) und die Webservices alle direkt laufen lassen. Die Windows-VMs dann natürlich als VM.
Wegen Sicherheit: Passende Nutzerrechte vergeben (für jeden Webservice sein eigenen Nutzer mit Reverse-Proxy), dann brauchts schon mal zwei Sicherheitslöcher damit man großen Schaden anrichten kann (Service hacken und Linux Sicherheitslücke).

Warum: Weil, wie du sagst, "es suckt", VMs sind manchmal toll, aber i.d.R. gibt es halt doch noch ein Unterschied. Vor allem beim Multi-VM-Tasken.

 

[Krautmaster]

Danke für die Antwort.

Du meinst also eher den Ansatz wie

-> Linux / Unix Host (sagen wir ein Debian)
-> SAS da direkt ran, ZFS usw from scratch
-> NGINX zB mit Reverse proxy allen Webservices / Wevservern entsprechend
-> falls nötig ne Win VM

?

Auch wenn ich mit gerade mit Debian und den Websachen halbwegs klar komme, ich bin halt doch ein Windows Kind
Es ist ja auch nicht alles schlecht was MS so mit WinServer gebaut hat, außerdem nehm ich da privat dann einiges auch für die Arbeit mit. Vielleicht setze ich da mal testweise ein paar Win Services um, kam schon vor.

Auch ist zumindest dieser "Main Storage as VM" Ansatz bisher kein Problem. Das PCIe Passthough rennt wie native auch. Auch brauch ich sowas wie ne Free Nas Webgui, alles aus der Konsole raus will ich ungern machen (also mit ZFS einrichten, Samba Shares usw...)
Da reicht mir das Konsolen Zeugs meiner diversen Wordpress Webserver. Und da ist für schnelle Tests sowas wie ein Snapshot halt schon ultra praktisch.

Was mir halt etwas Sorgen macht ist wenn ich 100 Stunden Konfig in zb eine FreeNas Instanz stecke und die mir bei jedem Update möglicherweise um die Ohren fliegt und ich - abgesehen vom ZFS Storage, für die ganze Config keine so wirkliche Komplettsicherung habe. Wüsste da auch nicht genau wie die aussehen könnte.

 

[DFFVB]

Die Back-Up Fähigkeit war auch für mich der Grund nicht auf Free-NAS zu setzen, da gibt es allerdings zwei kuratierte Jails zu, war allerdings zu faul mich näher mit auseinanderzusetzen 😄

 

[Krautmaster]

hm, ansonsten wäre ja FreeNas als ultimatives Hostsystem durchaus eine Überlegung wert:

-> 2x USB Stick Setup als "failover" bzw Raid1 / OS
-> NIC Teaming sollte auch kein Problem sein
-> IPMI geht zur Not immer
-> Die 512 GB NVME SSD kann als Cache herhalten (nicht mehr Windows OS)
-> Festplatten Idle geht über alle Disks die am LSI dranhängen
-> Virtuelle Maschinen gehen auch (zb für Windows Backup)
-> PLEX müsste gehen

Eventuell müsste ich meine Webservices auch iocage / Jails auslagern. Müsste aber gehen oder?

Größe Umstellung für mich wäre wohl das FreeBSD zeuch, auch in Jails, das is schon etwas anders als "Debian".

Ergänzung (16. Juli 2019)

langsam werd ich warm mit dem Freebsd und dem Jail zeuch, nextcloud war schon mal super easy. Spannender wird der Umzug NC Server Alt -> Server Neu. Aber aktuell kann ich quasi dass was eventuell dann auf die Kiste kommt super in der HyperV VM Testen. Ink SAS und allem.

 

[DFFVB]

Dann sei so gut, und teile Dein Wissen, wenn Du ne gute Back-Up Strategie hast ;-)

 

[Krautmaster]

Ich gehe von aus dass ich in Freenas meine 8 TB Backup disc gemountet bekomme und dann regelmäßig snapshots des Nextcloud Speichers, der Jails und der (wichtigen) Shares darauf ziehen kann. Ich kann mir kaum vorstellen dass Freenas hier nicht irgendwas abietet.

Aber das kommt erst bei Schritt 2, aktuell habe ich alles was ich habe auf einen 2. Server mit passive ASROCK Q1900M , 120W pico PSU, +Delock 10 sata pcie Karte, ebenfalls MS Server 2019 umgezogen, darauf laufen nun alle VMs.
Das schöne an der Kiste ist halt der Fakt das er 37W Vollast (mit drehenden 4x14TB Platten) braucht und bei stehenden Platten sagenhafte 13W.

Aber für etwas anspruchsvollere Sachen will ich schon das eigentliche Server Rack wieder in Betrieb nehmen, hab aber da aktuell nen Playground aus der halben HW, also 6 Disks, 4 SSD über mit denen ich rumspielen kann.

Aktuell versuche ich Nextcloud aus der HyperV VM (Server 2) in die Freenas VM (mit LSI und ZFS, Server 1) zu überführen. Das Jail darauf läuft. Jetzt habe ich vor mit NFS die Nextcloud Daten umzuziehen. Dazu mach ich nen Klon der VM, importiere sie auch in Hyper (Server 1) und habe sie damit auch außerhalb der DMZ um mit NFS umziehen zu können.

So ist der Plan zumindest.

 

[Borstel86]

Ich muss das Thema nochmal rauskramen weil ich sowas ähnliches vorhabe, habe auch ein Win Server 2016 hier rumliegen und will dort Nextcloud raufpacken, weil im Moment bei uns die Dropbox noch genutzt wird und dies ist schon lange überholt. Auch will ich eventuell Daten für 3. bereitstellen.

Mich würde mal interessieren warum du jetzt auf FreeNas und nicht z.b. CentOS gesetzt hast und was man als Neuling bei NC und Hyper-V vllt beachten sollte. 😄

MfG

 

[Krautmaster]

läuft übrigens seit Oktober 2019 super mit Hyper V und Server 2019 Datacenter als Basis, darauf ne Freenas VM mit durchgereichtem SAS 16x. Dieser macht auch Nextcloud und sichert alles auch als Snapshots auf ein 2. Raid.
Nebenbei laufen noch Virtuelle Firewalls, 3 -5 Webserver, ein Jitsi Server, OnlyOffice Server (für Netxloucd), ein Plexserver usw.

Absolut top bisher und wie ich finde schneller als dasselbe in grün mit ESX.