Virtuelle Festplatte aus mehreren physischen ohne erhöhte Ausfallgefahr?

[Warhorstl]

Hi,

ich bitte mal vorab um Entschuldigung für die fehlenden und falsch verwendeten Fachbegriffe. Ich bin absoluter Laie und versuche einfach nur mein NAS auf meine Anwendung abzustimmen.

Ich würde gerne wissen, ob es ein Dateisystem gibt, mit dem ich mehrere physische Festplatten zu einer großen virtuellen Festplatte zusammenschließen kann, ohne dass ich alle Dateien verliere, wenn eine Platte ausfällt, und ohne Redundanz. Meine Überlegung ist, dass es möglich sein müsste, indem über das Ansprechen der virtuellen Festplatte ganze Dateien einfach nach bestimmten Regeln auf die einzelnen Festplatten verteilt werden. So eine Regel könnte bspw. so aussehen, dass jeder einzelne Kopiervorgang auf die selbe Platte kopiert wird und die Platte nach dem meisten freien Speicher ausgewählt wird. Denkbar wäre da natürlich noch sehr viel mehr. Wie genau das ausgestaltet ist, ist mir letztlich egal, da ich ohnehin nur einzelne Dateien kopiere, die nicht in direktem Zusammenhang stehen (also wo der Verlust einer Datei die anderen Dateien wertlos machen würde).
Im Endeffekt wäre dann beim Ausfall einer Platte auf den anderen Platten alles nach wie vor verfügbar. Nur der Inhalt der ausgefallenen Platte wäre halt weg.

Man kann es auch aus der Perspektive sehen, dass ich in meinem Windows einfach nur eine Festplatte einbinden möchte, obwohl meine Daten nicht auf eine einzelne Festplatte passen. Was ich nicht brauche, sind irgendwelche Geschwindigkeitsvorteile wie bei RAID. Ich suche einfach nur den Mittelweg zwischen "unnötig viele Netzwerklaufwerk durch einen Pool je HDD" und "unnötige Ausfallgefahr".

Vielleicht ist das, was ich meine auch gar keine Frage des Dateisystem, sondern irgendein nachgelagertes Problem. Das kann ich mangels Wissen einfach nicht einschätzen und nachdem ich die letzten Wochen immer wieder gesucht habe, aber einfach nicht zu einer Lösung komme, bräuchte ich an der Stelle einfach Hilfe, um zu sehen, worauf ich achten muss.

Gruß
Horstl

 

[Cardhu]

Du willst also kein RAID5 (eine Platte darf ausfallen und es sind noch alle Daten da. Speicherverlust an nutzbarem Speicher entspricht einer Festplatte) und die Daten sind dir eigentlich egal, wenn sie weg sind?
Hab ich das jetzt als Basis richtig verstanden?

 

[madmax2010]

ZFS. https://www.klennet.com/notes/2019-07-04-raid5-vs-raidz.aspx
RaidZ ist dabei wie Raid5 in gut.

Dateisysteme koennen sowas ueberigens nie, da es nicht ihre aufgabe ist.

ZFS und ein paar andere haben halt zusaetzlich zu den Dateisystemfunktionen noch Volume Management Funktionen

 

[xxMuahdibxx]

du denkst zu viel und setzt aber zu viele Grenzen ...

leider geht das was du dir so einfach wünscht nicht.

@madmax2010 er will doch keine Redundanz .. und genau da liegt das Problem ... er will Daten nicht verlieren ... aber nicht doppelt speichern.

 

[madmax2010]

@xxMuahdibxx Ohh, hatte das als "muss nicht sein, aber wenn das so ist, ist es so" gelesen.

mit 3x lesen bin ich mir nicht sicher ob du oder ich recht hat.. irgendwie wird beides gefordert und beides ausgeschlossen

 

[Cardhu]

er will Daten nicht verlieren

Ich glaube, er will, dass wirklich nur die Daten auf der jeweiligen Platte dann weg sind und nicht wie bei z.B. RAID0 alle Daten. Zumindest verstehe ich das daraus so:

Im Endeffekt wäre dann beim Ausfall einer Platte auf den anderen Platten alles nach wie vor verfügbar. Nur der Inhalt der ausgefallenen Platte wäre halt weg.

 

[Cebo]

Für mich klingt das nach JBOD oder einem Windows Speicherpool. Ich bin nur nicht sicher ob bei den beiden Lösungen nicht doch mal eine Datei über 2 Laufwerke gesplittet liegen kann.

 

[Bunkeropfer]

Klingt fast so, also ob UnRaid das gewünschte System ist.
Daten liegen nur auf einer Platte , sowie einer Parity (gezwungenermaßen der größten Platte) über alle Laufwerke.
Viel interessanter wäre, ob es schon ein System gibt, worauf das umgesetzt werden soll

 

[0x8100]

Ich würde gerne wissen, ob es ein Dateisystem gibt, mit dem ich mehrere physische Festplatten zu einer großen virtuellen Festplatte zusammenschließen kann, ohne dass ich alle Dateien verliere, wenn eine Platte ausfällt, und ohne Redundanz.

https://github.com/trapexit/mergerfs

 

[Warhorstl]

Um die Anforderung nochmal anders klarzumachen: Prinzipiell will ich x einzelne Platten als x "Pools" nutzen, nur dass ich diese x Pools als einen einzelnen ansprechen kann und die Software dann regelt, wie die Daten verteilt werden.
Ich kann den Verlust einzelner Platten verkraften, möchte aber nicht, dass alle ausfallen, nur weil eine ausfällt.

Von JBOD hatte ich auch schonmal gelesen, aber je nach Quelle heißt es entweder, dass das das ist, was ich suche oder aber, dass alles weg, wenn eine Platte ausfällt.


Edit: mergerfs sieht so aus, als wäre es das Richtige. Hat zufällig jemand noch einen Tipp parat, wie man das möglichst einfach im NAS-Kontext umsetzt? Einfach Debian drauf und dann den Anleitungen folgen?

 

[Sebbi]

sprich du willst sozusagen etwas, das die Daten dann aber nicht in einzelnen Stücken, sondern als gesammte Datei auf einen Datenträger legt, so das bei einen Ausfall nicht alle Daten betroffen sind, sondern nur die Daten, die auf diesem Laufwerk lagen?

Soweil ich das gerade noch weiß, konnte man dies mit einer Synologie Disk Station machen, bin mir aber nicht genau sicher ob der dann intern doch dann Raid macht.

Ansich ist aber auch diese Vorhaben von dir sehr anfällig, denn diese Software müsste dann ja einen Index von x Laufwerken jeweis erstellen, was einiges an Leistung benötigt, wenn das halbwegs schnell passieren soll. Auch noch ganz andere Dateioperationen sind, wenn 3 einzelne Filesysteme als eines verwaltet werden sollen, nur schwer umsetzbar und führen ggf zu einen ziemlich trägen Verhalten.

 

[Masamune2]

ohne dass ich alle Dateien verliere, wenn eine Platte ausfällt, und ohne Redundanz.

Ja du machst einfach Backups der Daten.

 

[Dr. MaRV]

Wie soll das gehen? Das einzige wäre JBOD, aber auch da liegt eine logische Ebene drüber, wie im RAID, die aus dem sprichwörtlichen Haufen Platten, eine große logische macht. Wenn eine kaputt geht, ist es fraglich, ob man die restlichen ohne die intakte logische Ebene noch lesen kann? Ich glaube nicht, das es sowas gibt, garantieren kann ich es aber nicht. I.d.R. nutzt man für solche vorhaben ein RAID und bei RAID-5 verschenkt man auch nur eine Platte pro Raidgruppe, das ist zu verschmerzen.
Bau dir ein RAID-5 zusammen. Da hast du alles was du möchtest, mit dem "Nachteil", das gar nichts weg ist, wenn nur eine Festplatte defekt ist. Eigentlich ist das der Vorteil, weil du das aber eigentlich nicht möchtest, wird es hier zum Nachteil. Da legst du ein großes Volume drüber, welches du dann in deinem Windows nutzen kannst. Nutzt du dafür ein Speichersystem, musst du abklären, wie groß das Volume sein kann. Hier gibt es Grenzen, die bei jedem Speichersystem anders sein können. Auch die max. Anzahl der Dateien in einem Volume kann begrenzt sein. Bei alten NetApp war die Grenze bspw. 16TB für's Volume (32-Bit Grenze) und 2 Milliarden Dateien im Volume. Seitdem alles 64-Bit ist, ist die Grenze Modellabhängig.

Soweil ich das gerade noch weiß, konnte man dies mit einer Synologie Disk Station machen, bin mir aber nicht genau sicher ob der dann intern doch dann Raid macht.

Davon habe ich noch nichts in meinen DS gesehen. Ich habe seit DSM 3.0 jede Version mitgenommen. Ist mir nie aufgefallen. Die können doch auch nur JBOD und RAID, oder jede Platte für sich allein.

 

[koech]

Unter Windows kann das z.B. StableBit DrivePool: Jede Platte des Pools kann man auch separat mounten und die Dateien sind verfügbar, d.h. wenn eine Platte im Pool ausfällt, sind die Daten der funktionierenden Platten nicht betroffen und problemlos lesbar.

 

[alturismo]

Hat zufällig jemand noch einen Tipp parat, wie man das möglichst einfach im NAS-Kontext umsetzt?

Klingt fast so, also ob UnRaid das gewünschte System ist.

unraid macht das von Haus aus genau so wie @Bunkeropfer das schon sagte

entweder mit Parity (Ausfallschutz einer Platte) oder ohne, wenn ohne Parity dann ist es exakt wie du es beschreibst, Daten liegen in sich komplett verstreut auf den Platten, fällt eine Platte aus sind auch nur die Daten weg und der Rest ist noch komplett vorhanden.

Beispiel hier einer Shares als Netzlaufwerk, Serie komplett

Die Dateien liegen dahinter "verstreut" auf dem NAS, sollte jetzt zum Beispiel disk2 ausfallen, wäre hier NUR die Staffel 10 weg, der Rest bliebe bestehen.

da ich jetzt eine Parity nutze, wäre es egal welche Platte ausfällt (max. 1, egal welche) und ich könnte die Daten retten, egal ob disk1, 2, 3

das ist die NAS Version von UNRAID, geht mit oder ohne Parity ... ich könnte jetzt die Parity auflösen und hätte dann 4 disks ohne Ausfallschutz, aber mit den oben genannten Gegebenheiten das wenn eine ausfällt der Rest noch da ist.

 

[conf_t]

Davon habe ich noch nichts in meinen DS gesehen. Ich habe seit DSM 3.0 jede Version mitgenommen. Ist mir nie aufgefallen. Die können doch auch nur JBOD und RAID, oder jede Platte für sich allein.

This.

Fällt eine JBOD Disk aus, ist das ganze JBOD Volume hin. Habe ich selbst bei Synology so erlebt.

 

[0x8100]

Edit: mergerfs sieht so aus, als wäre es das Richtige. Hat zufällig jemand noch einen Tipp parat, wie man das möglichst einfach im NAS-Kontext umsetzt? Einfach Debian drauf und dann den Anleitungen folgen?

hier unter ubuntu:
/etc/fstab

LABEL=storage1  /mnt/disk1      btrfs           defaults,nofail,relatime,compress-force=zstd    0 2
LABEL=storage2  /mnt/disk2      btrfs           defaults,nofail,relatime,compress-force=zstd    0 2
/mnt/disk*      /mnt/storage    fuse.mergerfs   defaults,allow_other,use_ino,cache.files=off,dropcacheonclose=true,category.create=mfs    0 0

hier laufen 2x 10TB platten jeweils mit btrfs (mit den label "storage1" und "storage2") zusammengefasst zu einem 20TB volume. ein cronjob macht regelmässig mittels rsync ein backup auf eine dritte 20TB platte.

 

[alQamar]

Die einfachste Lösung bieten Microsoft Bordmittel. In diesem Fall möchte ich dir die Nutzung von Microsoft Storage Spaces empfehlen. Je nach Art der Daten mit NTFS oder REFS. Wenn du viele große Dateien bietet REFS mehrere Vorteile.

Vorteile von Storage Spaces:

• OS integriert
• HW unabhängig
• HW Monitoring wie SMART ist weiterhin möglic
• Windows übergreifend lesbar (je nach Poolversion)
• Flexibilliät bei der Erstellung und Belegung von Disks (es können auch Disks gemischt werden, sollte aber vermieden werden
• sehr schnelle Rebuildzeiten ab Windows 10 /11 22H2
• einfache Erweiterung

Ab 3 Disks ist ein Raid 5 equivalent möglich.

Hinweis: Storage Spaces ist nicht Storage Spaces Direct. letzteres ist Windows Server OS Datacenter Edition vorbehalten. Storage Spaces funktioniert auch mit Client OS.

 

[Sebbi]

bisher hat sich der TE noch nicht wieder gemeldet ...

aber @alQamar , genau sowas will der TE scheinbar nicht, er will das einzelnen Dateien nicht wild verstreut auf den allen vorhandenen physischen Laufwerken liegen, wie es bei diesen Lösungen der Fall ist, sondern das die Dateien immer vollständig auf einen physischen Datenträger geschrieben werden, um ggf im Fehlerfall diese komplett von dem Datenträger wohl retten zu können, falls diese Platte nicht die ist, die ausgefallen ist.

 

[alQamar]

@Sebbi bei einem Mirror von Storage Spaces ist technisch genau das der Fall. Frei Haus ohne Tooleritis.