NAS reloaded

[oxyd]

Hallo zusammen,

vor wenigen Woche habe ich mich hier gemeldet, nachdem mir eine meiner drei Festplatten in der NAS abgeraucht ist. Insgesamt sind dabei 6 TB Daten verloren gegangen. Dafür hatte ich kein digitales Backup. Glücklicherweise habe ich die Medien noch physisch, sodass ich diese mit viel Aufwand wieder digitalisieren kann.

Um einen weiteren Datenverlust zu verhindern (baugleiche, gleich alte HDD verbaut), habe ich das System vorerst vom Strom genommen. Die Zeit habe ich genutzt, um mein System bzw. die weitere Verfahrensweise zu überdenken.

Aus diesem Anlass möchte ich lernen und mich neu aufstellen. Leider bin ich nicht der Fitteste und benötige wohl ein paar Denkanstöße.

Zunächst möchte ich den Datenspeicher auf 4x 12 TB anpassen. Die mittlerweile sechs Jahre alten HDDs tausche ich somit aus.

Bisher lief alles ohne RAID und Backup. Davon möchte ich weg. Ich möchte Ausfallsicherheit, aber auch Backups. Ein RAID-5 würde mich bereits zusagen. Ich habe jetzt auch häufiger von Usern gelesen, die für ihren Plex-Server ein sog. RAIDz1 verwenden. Das habe ich jedoch noch nicht wirklich durchschaut...

Aktuell ist OMV 5 (bare metal) installiert. Darüber nutze ich die NAS hauptsächlich als Plex Server. Die Installation/Einrichtung war damals zugegebenermaßen schon etwas "frickelig". Irgendwie habe ich es mit Hilfe von Youtube ans Laufen gebracht. Doch die zahlreichen Einstellungsmöglichkeiten sowie das Updaten von Plex lief meist für meine Verhältnisse aufwendig über Befehle im SSH-Terminal (ist das der richtige Begriff?). Das möchte ich in zukünftig einfacher haben.

Ferner würde ich mich auch über eine Art Backup-Automatisierung freuen. Dazu würde ich gerne externe HDDs nutzen, die in regelmäßigen Abständen, sobald neue Daten (Filme/Serien) eingespielt wurden, gesichert werden. Funktioniert das so überhaupt?

Kurz zusammengefasst:

• neuer Speicher (4x 12 TB)
• von RAID-0 auf mind. RAID-5 (oder RAIDz1?)
• ggf. neues OS für leichtere Bedienung
• Backup-Automatisierung

Wie ihr sicherlich merkt, bin ich noch sehr unsicher.

Wie würdet ihr an meiner Stelle vorgehen?

 

[prian]

Grundsätzlich die Frage: Wozu RAID? Gibt es da einen Grund dafür (Verfügbarkeit z.b), denn RAID kostet Speicherplatz, bei RAID1 50%, bei RAID5 die eines Datenträgers im Verbund.
Sicherung auf ext. Platten möglich, passendes Gehäuse für 4 Platten gibt es ja auch, z.B. von Raidsonic.
Passede NAS-Geräte von Qnap oder Synology gibt esja mit 4 oder mehr Bays.

Ich fahre gurndsätzlich mit Einzeldisk beim NAS und habe als Backup ein weiters NAS verfügbar.

Ergänzung:
Konkret ist es bei mir ein altes QNap TS-669L mit 3x12TB für Multimedia und ein TS-453D mit 3x14TB und 1x18TB. Per RTRR wird vom 669L zum 453D repliziert sobald das eingeschaltet wird und auf der 18TB-Plate landed die Sicherung vom PC + VR-Rechner + Windows Server (mit Acronis, OO Diskiimage und Ordnerabgleich mit dem Total Commander).
Den Hinwies mit 10Gbit aus dem folgenden Beitrag sollte man ins Auge fassen, aber das hilft mir beim 669L nicht, das kann nur 1GBit.

 

[computerbase107]

Meine 2 Cents dazu:

1. Raid5 ist aus meiner Sicht gut wegen Erhöhung der Verfügbarkeit, wenn zirka 35 TB Nettokapazität reicht.

2. Zusätzlich für das Backup ist zu überlegen, ob eine/mehrere externe HDD´s reichen oder auf die elegante Art und Weise mit einem 2. Nas, welches ständig mit allen Datenänderungen versorgt wird.

3. Bei diesen Datenmengen ist ein 10GbE-Anschluss für das/die Nas sinnvoll.

4. Ich würde von einem Markenhersteller mir das passende Gerät aussuchen, wo auch ein PCI-Slot für die 10 GbE Netzwerkkarte vorhanden ist. Hier lässt es sich sparen durch die Mellanox_X3-Karten, die es im Paket mit fertigen Anschlusskabeln inklusive den passenden Transceivern gibt.

Nur mal als Beispiel: QNAP TS-473A

Ich habe 2 davon plus jeweils USB-HDD an jedem Nas, angebunden über 10GbE.

 

[tomgit]

Naja, RAID wegen Datenredundanz macht schon Sinn, wobei es da auch andere Lösungen gibt (z.B. zfs), die aber auf allesamt ähnliche Prinzipien setzen.
Bringt aber auch nichts, wenn die allermeisten Platten abrauchen...

Mit Proxmox sollte aber das selbst baubar sein, ansonsten kann man natürlich auf TrueNAS setzen. Inzwischen gibt es ja viele offene und nutzerfreundliche Systeme, welche man benutzen kann. Proxmos kommt auch noch mit verschiedenen Virtualisierungstools direkt mit, sodass man die Funktionalität nach wünschen noch erweitern kann, und dann zum Beispiel einen lokalen Immich-Server laufen lässt.
Geht wahrscheinlich auch mit TrueNAS.

Wenn du aber ggf Support haben möchtest - oder zumindest jemand greifbares, wenn es wieder zu (Hardware-)Problemen kommt, müsstest aber auf kommerzielle Lösungen setzen. Würde ich nach einem solchen Vorfall ggf. sogar präferieren.

 

[H3llF15H]

Hier stand so richtiger Mist. Wer lesen kann ist klar im Vorteil. Sorry

 

[Banned]

Naja, RAID wegen Datenredundanz macht schon Sinn, wobei es da auch andere Lösungen gibt (z.B. zfs),

Auch bei ZFS ist RAID sehr empfehlenswert bzw. komfortabel. Klar kann an bei ZFS m.W. auch Redundanz auf dem selben Datenträger einrichten, aber davon würde ich dann doch eher abraten, wenn es auch anders geht.


@oxyd

Was ist dein Budget und ist Selbstbau eine Option? Nutzt du Transcoding (oder werden die Daten unverändert an die Endgeräte übermittelt)?

Ich würde sagen, wenn du schon mal einen "Datenverlust" erlitten hast und jetzt hier mit 4x12TB anfängst, wäre es sinnvoll, die Sache gleich vernünftig aufzuziehen.

Meine Empfehlung wäre deshalb grundlegend:

• Bei Selbstbau: ZFS und ECC-RAM-Support (Als Betriebssystem könnte man TrueNAS Scale z.B. nehmen; Plex hier einzubinden, sollte kein Problem sein, das gibt es glaube ich sogar im Store)
• Bei FertigNAS: Btrfs und ECC-RAM-Support

RAIDz1 verwenden. Das habe ich jedoch noch nicht wirklich durchschaut...

RAIDz1 ist quasi wie RAID5, nur dass hierbei das ZFS-Dateisystem verwendet wird, welches u.a. Sektor- bzw. Blockprüfsummen verwendet. Btrfs arbeitet ähnlich.

Ferner würde ich mich auch über eine Art Backup-Automatisierung freuen. Dazu würde ich gerne externe HDDs nutzen, die in regelmäßigen Abständen, sobald neue Daten (Filme/Serien) eingespielt wurden, gesichert werden. Funktioniert das so überhaupt?

Also ein Backup bleibt ja nicht permanent angeschlossen; somit kann es natürlich auch nicht erkennen, ob neue Daten hinzugekommen sind. Was man machen könnte, wäre z.B. RSync, was dann beim Anschließen der Platte einen Abgleich durchführt.

 

[oxyd]

Vorab, vielen Dank für eure Antworten :-)

Grundsätzlich die Frage: Wozu RAID? ....

Einen RAID-Verbund bevorzuge ich (wie eingangs schon beschrieben), um diesmal auch eine Art Ausfallsicherheit zu haben.

Ich fahre gurndsätzlich mit Einzeldist kim NAS und habe als Backup ein weiters NAS verfügbar.

Was genau meinst du mit "du fährst grds. mit Einzeldienst kein NAS" (wenn ich das überhaupt richtig gedeutet habe ^^)? Kann dir da leider nicht ganz folgen.

...

2. Zusätzlich für das Backup ist zu überlegen, ob eine/mehrere externe HDD´s reichen oder auf die elegante Art und Weise mit einem 2. Nas, welches ständig mit allen Datenänderungen versorgt wird.

...

4. Ich würde von einem Markenhersteller mir das passende Gerät aussuchen, wo auch ein PCI-Slot für die 10 GbE Netzwerkkarte vorhanden ist. Hier lässt es sich sparen durch die Mellanox_X3-Karten, die es im Paket mit fertigen Anschlusskabeln inklusive den passenden Transceivern gibt.

Nur mal als Beispiel: QNAP TS-473A

Ich habe 2 davon plus jeweils USB-HDD an jedem Nas, angebunden über 10GbE.

Bzgl. 10GbE-Thematik gebe ich dir recht. Das wäre schon genial.

Das habe ich vor sechs Jahren (beim Bau) aus mir unerklärlichen Gründen vernachlässigt. Eine 10 GbE PCI-Karte könnte ich aber doch im Fractal Node 304 mit Sicherheit nachrüsten. Den Eigenbau selbst möchte ich aber auf Grund der zusätzlichen Kosten ungerne mit einer neuen AiO-NAS von QNAP/Synology ersetzen.

Für die Backup-Lösung einen weiteren NAS in Spiel zu bringen finde ich aber höchst interessant. Darüber habe ich mir tatsächlich auch noch gar keine Gedanken gemacht. Einzig hier mache ich mir wieder Sorgen darüber, ob die HDDs im Backup-NAS dann nicht auch auf Grund der ständigen Laufzeit ausfallen...?

...

Mit Proxmox sollte aber das selbst baubar sein, ansonsten kann man natürlich auf TrueNAS setzen. Inzwischen gibt es ja viele offene und nutzerfreundliche Systeme, welche man benutzen kann. Proxmos kommt auch noch mit verschiedenen Virtualisierungstools direkt mit, sodass man die Funktionalität nach wünschen noch erweitern kann, und dann zum Beispiel einen lokalen Immich-Server laufen lässt.
Geht wahrscheinlich auch mit TrueNAS.

Wenn du aber ggf Support haben möchtest - oder zumindest jemand greifbares, wenn es wieder zu (Hardware-)Problemen kommt, müsstest aber auf kommerzielle Lösungen setzen. Würde ich nach einem solchen Vorfall ggf. sogar präferieren.

Proxmox habe ich jetzt auch schon häufiger gelesen. Welche Vorteile hätte man denn damit im Vergleich zu OMV?

 

[H3llF15H]

Bei FertigNAS: Btrfs und ECC-RAM-Support

Hat es einen Grund, weshalb du nur Btrfs erwähnst? Qnap bietet ZFS mit QuTShero an.

 

[Banned]

Qnap bietet ZFS mit QuTShero an.

QNAP bietet m.W. ZFS nur im Enterprise-Bereich an.

Wenn man das mit Consumer-NAS nutzen kann, gerne. Ist aber m.W. nicht der Fall. Je nach Preisvorstellung, wäre aber auch das (also ein Enterprise-Modell) eine Option, da hast du recht.



@oxyd

Liste mal bitte die Hardware deines bisherigen NAS auf, das wäre sicher hilfreich.

 

[JPsy]

Hat es einen Grund, weshalb du nur Btrfs erwähnst? Qnap bietet ZFS mit QuTShero an.

Zumal bei meiner Recherche Anfang des Jahres Btrfs offiziell kein Raid5 unterstützte.

 

[foofoobar]

1. Raid5 ist aus meiner Sicht gut wegen Erhöhung der Verfügbarkeit, wenn zirka 35 TB Nettokapazität reicht.

RAIDx ist hiervon betroffen: https://www.google.com/search?q=write+hole+problem

 

[JPsy]

Zum Topic an sich - TrueNas (scale) solltest Du Dir vorher anschauen - das ist jetzt von der GUI sagen wir mal nicht übersichtlich, insb. für einen nicht ganz so bewanderten User.
Unraid ist mMn im Handling auf der GUI besser geeignet für Dich, Plex etc gibt es als Container (update per klick), und bei mir läuft es absolut stabil.

 

[H3llF15H]

QNAP bietet m.W. ZFS nur im Enterprise-Bereich an.

TS-x73A bietet ZFS. Ob man die Serie als Enterprise bezeichnen muss weiß ich nicht Persönlich setze ich das TS-673A ein und bin sehr zufrieden.

Zumal bei meiner Recherche Anfang des Jahres Btrfs offiziell kein Raid5 unterstützte.

Ui, das wusste ich gar nicht.

 

[Banned]

@JPsy Okay, guter Einwand. Bin bei Btrfs nicht so auf dem Laufenden. Scheinbar ist das wirklich problematisch. Zum Glück sieht es hier nach Eigenbau aus.


@foofoobar

Scheint wohl behoben zu sein für RAID5:
https://www.reddit.com/r/btrfs/comments/1bf35qx/will_the_write_hole_raid_5_6_bug_every_be_fixed/

Ergänzung (20. September 2024)

TrueNas (scale) solltest Du Dir vorher anschauen - das ist jetzt von der GUI sagen wir mal nicht übersichtlich, insb. für einen nicht ganz so bewanderten User.

Wobei es da für die grundlegenden Sachen wirklich Guides bei YT etc. noch und nöcher gibt. Aber ja, das Noob-freundlichste OS ist es nicht gerade.

 

[oxyd]

Danke für die Aufklärung und Denkansätze. Sorry, falls sich hier meine Antwort mit deiner überschnitten hat. Die Resonanz hier ist doch erfreulich und überwältigend (gut).

Auch bei ZFS ist RAID sehr empfehlenswert bzw. komfortabel. Klar kann an bei ZFS m.W. auch Redundanz auf dem selben Datenträger einrichten, aber davon würde ich dann doch eher abraten, wenn es auch anders geht.


@oxyd

Was ist dein Budget und ist Selbstbau eine Option? Nutzt du Transcoding (oder werden die Daten unverändert an die Endgeräte übermittelt)?

Ich würde sagen, wenn du schon mal einen "Datenverlust" erlitten hast und jetzt hier mit 4x12TB anfängst, wäre es sinnvoll, die Sache gleich vernünftig aufzuziehen.

Meine Empfehlung wäre deshalb grundlegend:

• Bei Selbstbau: ZFS und ECC-RAM-Support (Als Betriebssystem könnte man TrueNAS Scale z.B. nehmen; Plex hier einzubinden sollte kein Problem sein, das gibt es glaube ich sogar im Store)
• Bei FertigNAS: Btrfs und ECC-RAM-Support

RAIDz1 ist quasi wie RAID5, nur dass hierbei das ZFS-Dateisystem verwendet wird, welches u.U. Sektor- bzw. Blockprüfsummen verwendet. Btrfs arbeitet ähnlich.

Ich habe bereits einen Selbstbau-NAS hier stehen, den ich natürlich ungerne ersetzen möchte. Erweiterung ist aber kein Problem (falls notwendig, wie zB. 10 GbE). Ein sinnvoller "Neuanfang" sollte es schon werden. Jedoch tue ich mich da mangels Fachwissen schwer.

Die Daten werden untouched gestreamt. Transcoding wurde bzw. wird wirklich nur selten auf das Smartphone genutzt. Für einen Stream auch alles problemlos.

Hier kurz die bestehende Hardware (Stand 2018):

Fractal Node 304
Intel Pentium G4560 3.5Ghz (2C/4T)
Gigabyte GA-B250N Chipset 1151 mITX
8 GB RAM Crucial 2400Mhz CL17
bequiet Pure Power 10 350W

Also ein Backup bleibt ja nicht permanent angeschlossen; somit kann es natürlich auch nicht erkennen, ob neue Daten hinzugekommen sind. Was man machen könnte, wäre z.B. RSync, was dann beim Anschließen der Platte einen Abgleich durchführt.

RSync könnte man dann in TrueNAS/Unraid wie auch Plex als Container/Erweiterung einbinden?

 

[prian]

Was genau meinst du mit "du fährst grds. mit Einzeldienst kein NAS" (wenn ich das überhaupt richtig gedeutet habe ^^)? Kann dir da leider nicht ganz folgen.

Da war wohl ein grober Vertipper mit am Start.
Ich wollte damit sagen, dass ich nur Einzeldisks nutze und keinen RAID-Verbund.
Das ist beim Multimedia-NAS identisch mit dem Sicherungs-NAS.
Aber das bevorzuge ICH und hat keine Allgemeingültigkeit.

 

[Banned]

Hier kurz die bestehende Hardware (Stand 2018):

Fractal Node 304
Intel Pentium G4560 3.5Ghz (2C/4T)
Gigabyte GA-B250N Chipset 1151 mITX
8 GB RAM Crucial 2400Mhz CL17
bequiet Pure Power 10 350W

Okay. Das willst du weiternutzen? Wenn ja, würde ich für ZFS auf jeden Fall den RAM verdoppeln.

RSync könnte man dann in TrueNAS/Unraid wie auch Plex als Container/Erweiterung einbinden?

RSync ist in TrueNAS intergriert. Es ist eigentlich dafür da, zwei Server zu synchronisieren, aber das geht auch über USB:
https://www.truenas.com/community/threads/mount-usb-drive-and-use-it-as-backup-target.102258/
https://www.truenas.com/community/threads/backup-to-usb-drives.100930/

Alternativ könntest du auch mit Snapshots und Replication arbeiten.


Evtl. kann hier jemand was dazu sagen, wie das in Unraid oder Proxmox umgesetzt wird. Bei TrueNAS ist es schon ein bisschen Gefrickel.

 

[oxyd]

Okay. Das willst du weiternutzen? Wenn ja, würde ich für ZFS auf jeden Fall den RAM verdoppeln.

Genau. Die Hardware würde ich jetzt ungerne in den Schrank stellen und verstauben lassen. RAM-Erweiterung sowie eine neue Netzwerkkarte ist denke ich das kleinste Übel in finanzieller Hinsicht.

 

[Banned]

Gut.

Noch mal zu Rsync:

Also du musst ein Rsync Modul erzeugen (wo du die Quelle und die Zugriffsrechte setzt) und dann eine Rsync Task erzeugen, wo du das Ziel definierst.

Sieht dann in etwa so aus wie hier:
https://www.truenas.com/community/threads/rsync-same-box.76704/#post-533174


Was halt bei TrueNAS etwas nervig ist: Du musst den Pool (also in diesem Fall das USB-Laufwerk) jedes Mal neu hinzufügen (ein paar Klicks im GUI bzw. wenige Zeilen in der Shell); also kein Plug&Play.

 

[oxyd]

@Banned Das wäre unter TrueNAS wieder eine Kompromiss-Lösung. Eigentlich möchte ich mir es nicht mehr zu umständlich machen. :-/

Fraglich ist, ob Plug&Play überhaupt bei Eigenbau-Lösungen möglich ist?