Vorschläge für Storage

[Ghost_Rider_R]

Hallo zusammen,

ich habe ein kleines privates Projekt vor mir und bräuchte ein paar Vorschläge und Ideen zur Umsetzung.

Ich habe einen PC mit SSD + 4 Festplatten, welcher als HOST eingesetzt wird. Zum Einsatz kommt Hyper-V. Die Festplatten (ohne SSD) werden via Speicherplätze (Storage Spaces) zu einem Volume im RAID5 (Parity) Verbund zusammengeschalten, sodass ich hinterher eine SSD mit dem Host-Betriebssystem und ein Daten-Volume habe.

Ich möchte auf diesem PC (Homeserver) dann 2 VMs (Server 2022) hosten, welche als redundante Dateiserver fungieren. Der Host selber soll dies nicht machen.

Die VMs sollen also beide das Storage des Host-Systems als Freigabe anbieten d.h. \\SERVER1\MeineDaten und \\SERVER2\MeineDaten, wobei ,,Meine Daten" das selbe Storage widerspiegeln. Ich möchte also nicht zwei VHDs haben, welche die selben Daten gespiegelt beinhalten.

Wenn nun Server1 wegen ,,Wartungsarbeiten" heruntergefahren wird, soll das Storage weiterhin über Server2 aufrufbar sein.

Wie würdet ihr das ganze Umsetzen? Ich hätte gerne die MeineDaten-VHD einfach doppelt eingehängt, aber das ist leider nicht vorgesehen unter HYPER-V und wird mit einer Fehlermeldung quittiert.

Und wegen der Wichtigkeit, das Projekt ist nur für mich privat zuhause als NAS-Ersatz gedacht und dient lediglich als Funprojekt & zur Fortbildung. Mehr nicht, sonst müsste man hier selbstredend größere Geschütze auffahren, aber das ist für mich nicht notwendig.

Danke für eure Ideen.

LG Ghost

 

[Korben2206]

Weiß nicht ob das heute noch geht/möglich ist: früher konnte man das über Cluster machen. Active/Active oder Active/Passiv, je nachdem.

 

[Ghost_Rider_R]

Das hatte ich auch schon mal gelesen, nur weiß ich nicht, ob man auf einem ganz stupiden Storage ein solches Cluster erstellen kann.

Ich meine mal gehört zu haben, dass hierfür spezielle Cluster-Shared-Volumes erstellt werden müssen, aber das ist nur gefährliches Halbwissen :-)

 

[Korben2206]

https://docs.microsoft.com/de-de/windows-server/failover-clustering/file-share-witness

 

[madmax2010]

HDDs im raid sind hier nicht wirklich sinnvoll. Um eine SATA HDD voll auszulasten reicht 1GBit/s
Das Mehr an IOPS spuerst du nicht, latenzen werden leicht schlechter und ein Backup wird dadurch auch nicht ersetzt.

Ist windows als Host OS Fix?

 

[Ghost_Rider_R]

@madmax2010 Mir geht es hier gar nicht um die Performance d.h. 1GBit/s ist für mich erstmal völlig ausreichend, daher will ich die SSD erstmal nicht als (Teared) Storage Spaces dazu nehmen. Beim Raid geht es mir um Ausfallsicherheit, nicht um Datensicherheit. Wenn die HOST-SSD also abraucht gehe ich eh davon aus, dass auch das RAID im Eimer ist, aber das ist für mich erstmal in Ordnung, wenn auch nervig.

Das mit dem Backup ist klar, das ist komplett separat, aber danke für den Hinweis!

Ja, das Host-OS (Windows 11 mit HYPER-V) ist fix. Nur der Aufbau darauf ist noch variabel in der Gestaltung :-)

 

[playerthreeone]

Wenn die HOST-SSD also abraucht gehe ich eh davon aus, dass auch das RAID im Eimer ist,

Nein, das ist das Schöne an Windows SS. Die (Verwaltungs-)Daten werden auf den Storage-Platten gespeichert. Deshalb kann man die auch einfach umziehen. Und muss nicht wie bei einem Hardwareausfall des Raidcontrollers die Daten abschreiben. Mal ganz von solchen Nettigkeiten abgesehen, dass da beliebig große Platten drin hängen können und man beliebig (in Grenzen ja) jederzeit Platten raus und rein schieben kann. Da ist SS unschlagbar, kann kein anderer Anbieter.

 

[Ghost_Rider_R]

@playerthreeone Jetzt verwirrst begeisterst du mich aber, das heißt wenn meine SSD ausfällt und ich Windows neu installiere, dann erkennt er automatisch die angelegten Storage Spaces ohne Datenverlust? Werden die Storage Spaces dann direkt wieder als Pool hinterlegt wie vor dem SSD Ausfall oder muss man da noch manuell etwas tricksen?

 

[playerthreeone]

und ich Windows neu installiere, dann erkennt er automatisch die angelegten Storage Spaces ohne Datenverlust?

Ich hab es (zum Glück) hier noch nicht testen müssen, aber von der Theorie her: ja.
(Hab hier seit einigen Jahren ein immer weiter wachsendes SS, derzeit ca. 54TB Brutto, auch Parity)

edit: aber ich sage es gleich: ohne SSD Cache ist Parity nicht grad schnell, also eher recht langsam. Da muss man nicht mal extra Tiers anlegen, es reicht schon ne einfach SSD mit in den SS zu hängen. Windows erkennt die SSD und cached automatisch über die. Ggf in PS schauen, dass die auch als SSD erkannt wird vorm hinzufügen.
(Get-Physicaldisk -> bei MediaType muss SSD stehen)

 

[redjack1000]

dann erkennt er automatisch die angelegten Storage Spaces ohne Datenverlust?

Richtig

CU
redjack

 

[RalphS]

Ich finds immer echt faszinierend, wie RAIDsets jeder Einsatzzweck abgesprochen wird, und am Ende dann doch ZFS oder sowas eingesetzt wird.

Ich habe einen 60TB Pool hier. Der ist nicht voll, aber auch nicht leer.
Wenn jetzt eine Platte ausfallen würde, will ich dann auf entweder alle oder auf einen bestimmten Teil dieser Daten verzichten müssen (ohne vorhersehen zu können, exakt welche dieser Daten das sein werden)? Natürlich nicht! Wenn ein Datenträger ausfällt, dann will ich gar nichts machen außer einen neuen Datenträger einzusetzen, nicht den PC ausschalten, nicht das Video was grad läuft unterbrechen, nicht gar nichts.... und dafür brauche ich ein passendes RAIDset.

Klar kommen Backups dazu. Aber offensichtlich interessiert sich hier niemand für die Downtimes, die ein vollständiges Restore erfordert, besonders bei größeren Datenbeständen. Erster "Kinoabend" mit der Frau nach nem Jahr fällt aus weil Platte defekt? Natürlich nicht!


Ansonsten kann man natürlich nicht nur storage spaces migrieren. Auch ZFS und btrfs ebenso wie simple Windows dynamic disks kann man ganz einfach mitnehmen.

Die mehr oder weniger einzige Situation wo das evtl NICHT geht sind diese #%&$ "NAS" gerate die erstmal überall rumformatieren müssen, komme was da wolle. Ansonsten ist das überhaupt kein Thema.


Was Clustering von Dateiservern angeht würde ich zunächst mal Google anstrengen, denn konkret Clustering von Dateiservern (im Gegensatz zu anderen Services) ist nochmal ein eigenes Brot mit eigenen Problemen.

DFS-R in Verbindung mit DFS-N wäre eine Möglichkeit. Da stellt sich allerdings durchaus die Frage der Performance.

 

[Ghost_Rider_R]

...DFS-R in Verbindung mit DFS-N wäre eine Möglichkeit. Da stellt sich allerdings durchaus die Frage der Performance.

Speziell DFS-R kommt bei mir nicht in Frage, da dies die doppelte Plattenkapazität voraussetzt und mir das für mein Hobbyprojekt dann doch zu teuer ist. Ansonsten wäre das natürlich ein Fabelhafter weg und auch meine erste Wahl!

 

[RalphS]

Meiner nicht, zu fehleranfällig

Daß aber natürlich für redundante Datenhaltung auch mehrfacher Platzbedarf benötigt wird, sollte auch auf der Hand liegen.

 

[Skysnake]

Also wenn du das als active-active machst, machst du es dir halt auch schwer. Da schlägt sicherlich die Multimount protection zu. Normal kann mein ein Filesystem nur einmal RW und mehrfach RO mounten.

Was du brauchst ist ein paralleles Filesystem das dir erlaubt mehrfach RW zu mounten. Also stellst du den Storage per NFS, Lustre, GPFS oder sonst was und mountest es dann halt in der VM. Alternativ ist halt, das du kein paralleles FS hast, das aber eben exportiert wird bzw halt die block devices, und mountest dann durch nen HA Mechanismus wie Pacemaker und Choronsync. Da bist du dann aber eben dafür verantwortlich, dass da nicht zweimal gemounted wird, sonst shredderst du dir die Daten...

 

[Ghost_Rider_R]

Kann man denn eine VHD ein zweites Mal ro mounten? Das würde mir ja reichen…

Das müsste dann aber auch innerhalb des OS gemountet werden, richtig? Geht das während die VHD in der anderen VM bereits rw eingehängt ist?

 

[Skysnake]

Musst du schauen. Ich habe keine Erfahrung mit Hyper-V

 

[Ghost_Rider_R]

Auf Hyper-V Ebene geht das nicht so viel ich weiß, aber ich könnte ja via Freigabe auf die VHD zugreifen, dann könnte es vielleicht funktionieren, sofern das von MS so vorgesehen ist.

Muss ich dann schauen, mein Server kommt leider erst Ende der Woche und muss dann auch noch eingerichtet werden, sonst würde ich es direkt gleich mal testen.

 

[SoDaTierchen]

Das Problem ist, dass du mit deinem Vorhaben keinen konsistenten Datenzustand zwischen den beiden VMs erzeugen kannst. Bei dem kleinsten Konflikt hast du mit Datenverlust zu kämpfen. Daher wird die Nutzung einer .vhd in 2 VMs auch so aktiv unterbunden.
Davon abgesehen erhältst du quasi keine Redundanz, da du planst, dieselben Storage-Informationen in 2 Compute-Resourcen zu verwenden. Du plansthier eh keinen nahtlosen Übergang, das heißt, du kannst als easy mode zu Beginn der Wartungsarbeiten einfach die .vhd in SERVER1 unmounten und dann in SERVER2 mounten.
Falls dir die Spielerei der zeitgleichen Bereitstellung so viel Wert ist, dann informiere dich doch über den Begriff Clustered File System. Microsoft bietet mit DFS da selbst was an, aber ob das ohne AD was taugt, weiß ich nicht. DFS-N benötigt übrigens kein DFS-R, die beiden Funktionen sind autark.

Rein vom Standpunkt deines Ziels betrachtet: Willst du deinen Host zu Wartungszwecken abschalten, dann sind alle VMs und auch dein Speicherplatz am Boden. Du hast also in dem Szenario keine Chance, die Daten einer VM bereitzustellen, wenn der Host down ist. Du könntest also gezielt schauen, ob HyperV Clustered Storage oder ähnliches anbieten kann. Mir geistert da "Clustered Shared Volume" im Kopf herum, das habe ich aber noch nie genauer angesehen und weiß daher nicht mal, ob das der richtige Begriff ist.

RAIDsets jeder Einsatzzweck abgesprochen wird

Wirds doch nie. Aber ganz oft denken die Leute, ein RAID ist ein Backup. Und das ist auf nahezu allen Ebenen falsch. RAIDs sind hervorragend, wenn man weiß, was sie tun.

 

[Ghost_Rider_R]

Genau, ein RAID dient immer nur der Ausfallsicherheit, niemals der Datensicherheit.

Richtig, wenn der Host down ist, dann geht natürlich nichts mehr aber für zuhause ist das schon ok.

Wegen den VMs geht es mir eher darum, dass wenn eine VM warum auch immer die Biege macht, ich zumindest noch komfortabel lesend über die andere VMs auf meine Daten zugreifen kann. In der Hinterhand habe ich die Daten ja trotzdem immer noch separat auf meinen Backups, also es ist wirklich nichts kritisches und ist als Komfort-Feature zu sehen.

Weiß jemand, ob man eine bereits über Hyper-V gemountete VHD lesend nochmals via Freigabe einhängen kann?

 

[Evil E-Lex]

Wegen den VMs geht es mir eher darum, dass wenn eine VM warum auch immer die Biege macht,

...stellt man den letzten Snapshot (oder im MS-Sprech Prüfpunkt) wieder her. Wenn dir das so wichtig ist, lass halt automatisiert Snapshots erzeugen. Alles andere ist overengineered.