NAS reloaded

[Falc410]

Einen RAID-Verbund bevorzuge ich (wie eingangs schon beschrieben), um diesmal auch eine Art Ausfallsicherheit zu haben.

achdem mir eine meiner drei Festplatten in der NAS abgeraucht ist. Insgesamt sind dabei 6 TB Daten verloren gegangen

Bitte bedenken, dass bei entsprechend großen Datenmengen das Raid-Rebuild teilweise mehrere Tage dauern kann. In diesem Zeitraum darf kein weiterer Fehler auftauchen, ansonsten sind alle Daten futsch. Daher mindestens Raid-6 zu empfehlen oder auf bessere Technologien setzen (unRaid, Snapraid, etc). Denn wenn in deinem Raid-5 Verbund mehr als eine Platte fehlt, sind alle restlichen ebenso unbrauchbar = kompletter Datenverlust. Bei den von mir genannten Technologien kann man jede Platte auch noch einzeln mounten und auf die dort gespeicherten Daten zugreifen.

 

[foofoobar]

Scheint wohl behoben zu sein für RAID5:
https://www.reddit.com/r/btrfs/comments/1bf35qx/will_the_write_hole_raid_5_6_bug_every_be_fixed/

Ergänzung (20. September 2024)

Das werden dort eher Checksumming und COW sein die das verhindern, das ist im engeren Sinne dann kein RAIDx mehr.

 

[Banned]

Eigentlich möchte ich mir es nicht mehr zu umständlich machen. :-/

Jo, sind halt jedes Mal schon ein paar Schritte. Wobei die, wenn man das regelmäßig macht, sicher sehr schnell von der Hand gehen.

Fraglich ist, ob Plug&Play überhaupt bei Eigenbau-Lösungen möglich ist?

Mit P&P meinte ich nur, dass die externe Festplatte automatisch erkannt und eingebunden wird. Bei TN muss man den Pool erst importieren (wie gesagt, sind wenige Klicks). Theoretisch könnte man sich auch ein Script basteln, das das alles automatisiert macht, aber das ist dann schon etwas mehr Arbeit bzw. erfordert etwas mehr Wissen.

Ob es sonst Lösungen gibt, wo du die HDD einfach anstöpselst und dann wird ein Abgleich gemacht, weiß ich so leider nicht.

M.W. ist das aber mit Backup-Programmen möglich. Somit könnte eine Alternative für dich u.U. sein, dass du ein solches verwendest (FreeFileSync soll gut sein, glaube ich) und das Backup einfach über deinen PC laufen lässt (also die externe an den PC und dann über das Backupprogramm die Daten vom NAS ziehen).

 

[JPsy]

...und das Backup einfach über deinen PC laufen lässt (also die externe an den PC und dann über das Backupprogramm die Daten vom NAS ziehen).

Ist evt ein einfacher Weg, aber wenn Du ne Ransomware am PC hast, versaust Du Dir evt so Deine Backup Daten.

 

[Helmut-H]

Hallo,

ich betreibe ein selbstbau NAS mit OMV.
Zum Aufbau und der Einrichtung habe ich im 2. Teil zur Heimnetzwerktechnik was geschrieben.

• Tägliches automatisches internes Backup auf seperater Festplatte - ohne User-Zugriff.
• alle 3 Monate Backup auf wechselnde USB-Festplatten

Im 1. Teil stehen die Grundlagen zum Backup.

Download Heimnetzwerktechnik für den Heimanwender:
https://c.gmx.net/@418026224904837772/r1Gxt7MnQnG670tj2JFqYw

Vielleicht findet ihr ja ein paar Anregungen.

 

[ropf]

Persönlich bin ich mit Synology-Geräten sehr zufrieden. Hyperbackup ist auf auf ein anderes NAS via rsync echt komfortabel - und besonders einfach, wenn es sich ebenfalls um ein Synology-NAS handelt, mit HyperBackup-Vault.

Für 10GBit müsste es unter den 4-Bay-Geräten jedoch mindestens eine DS923+ sein, die einen PCIE-Steckplatz mitbringt, dazu eine passende 10GBit-Karte, und je nach Anspruch noch eine Speichererweiterung ...
Wenn du die eigene Hardware weiterverwenden willst, lohnt evtl. ein Blick auf Xpenology.

 

[oxyd]

Somit könnte eine Alternative für dich u.U. sein, dass du ein solches verwendest (FreeFileSync soll gut sein, glaube ich) und das Backup einfach über deinen PC laufen lässt (also die externe an den PC und dann über das Backupprogramm die Daten vom NAS ziehen).

und

Ist evt ein einfacher Weg, aber wenn Du ne Ransomware am PC hast, versaust Du Dir evt so Deine Backup Daten.

Darüber habe ich auch schon nachgedacht. Sprich externe Backup-HDDs via USB an PC oder NAS direkt und die Backups bei Bedarf von Hand oder wenn möglich, bei Einschalten durch automatische Erkennung/Automatisierung durchführen.

Bzgl. Ransomware könnte man doch die Backup-HDD dann direkt an die NAS oder eben an den Router klemmen?

Persönlich bin ich mit Synology-Geräten sehr zufrieden. Hyperbackup ist auf auf ein anderes NAS via rsync echt komfortabel - und besonders einfach, wenn es sich ebenfalls um ein Synology-NAS handelt, mit HyperBackup-Vault.

Dann laufen deine Backup-HDDs aber wie auch dein Produktiv-NAS 24/7 oder? Eine günstige, gebrauchte Synology (2bay) lediglich für die Backups wären natürlich edel, aber da hätte ich die Sorge, dass sie mir auf Grund der Laufzeit dann auch früh wieder ausfallen.

 

[ropf]

Dann laufen deine Backup-HDDs aber wie auch dein Produktiv-NAS 24/7 ... aber da hätte ich die Sorge, dass sie mir auf Grund der Laufzeit dann auch früh wieder ausfallen.

Jain. Beide sind 24/7 eingeschaltet, aber ohne aktive Zugriffe gehen sie nach einer Weile in den Tiefschlaf. Bei Zugriff wachen sie automatisch auf, dauert dann ein paar Sekunden. Ein Backup erfolgt 1x am Tag, dauert idR. weniger als 1min. Den Rest der Zeit schläft das NAS und zieht dabei irgendwas zwischen 3 und 4W.

Für das Arbeits-NAS trifft das zumindest nachts und am Wochende zu. Laufende VMs oder Docker-Container könnten das jedoch verhindern.

Ich bin mir aber gar nicht sicher, ob das für die Platten so gut ist. NAS-Platten sind für 24/7-Betrieb ausgelegt, da ist häufiges Hoch- und Runterfahren vielleicht sogar schädlicher.
------------------------------

Für mich das Killer-Feature dieses Setups: Das Backup-NAS enthält neben dem versionierten Daten-Backup auch eine Replikation des Arbeitsdatenbestandes des Haupt-NAS.

Gibt es am Haupt-NAS irgendein Problem - braucht es nur einen Klick - dann übernimmt das Backup-NAS die Datei-Dienste, während sie am Haupt-NAS vom Netz gehen - und ich kann es in aller Ruhe wieder herstellen, während die Kollegen weiterarbeiten können.

 

[oxyd]

Ich bin mir aber gar nicht sicher, ob das für die Platten so gut ist. NAS-Platten sind für 24/7-Betrieb ausgelegt, da ist häufiges Hoch- und Runterfahren vielleicht sogar schädlicher.

Genau das meinte ich. Laufzeit wäre wohl sekundär, eher die ständigen Spindowns. Stromsparend ist es allemal, aber aus dem Grund habe ich die Spindown-Funktion wieder deaktiviert gehabt im Produkt-NAS.

Bei mir werden in unregelmäßigen Abständen neue Filme/Serien nach Digitalisierung hinzugefügt. Bis da mal neue Dateien hinzukommen, vergehen auch schnell Wochen. Filmreleases sind derzeit eher mau. Ab und an kommt mal was, was sich lohnt zu kaufen. Ansonsten habe ich bereits alle meine Lieblingsstreifen auf Scheibe. Demnach wären die Backup-Intervalle eher vllt. einmal im Monat.

 

[Banned]

Wozu dann überhaupt 10GbE? Das lohnt doch nur, wenn das Backup-Ziel ebenfalls so eine Schnittstelle hat oder man große Mengen Daten von oder zu PCs transferiert.

Für hin und wieder was digitalisieren und dann Backup auf externe HDD sehe ich da wenig Sinn drinnen.

10GbE ist halt nicht günstig in der Anschaffung und verbraucht auch nicht wenig Strom.


PS: Bei dir geht es ja m.E. auch eher darum, die Daten zu archivieren; du hast nicht irgendwelche täglichen Workloads, wo ständig neue Daten anfallen, deren Verlust u.U. schlimm wäre. Somit würde ich mir da gar keinen Stress machen, das besonders ausgeklügelt zu machen. Wenn du einmal den Datenbestand hast auf dem NAS, dann sicherst du ihn zusätzlich extern, dann ist auch Ransomware kein Thema mehr (weil um hier wirklich sicher zu fahren, müsste man auch einiges unternehmen).

Ich persönlich mache es so: Ich habe auf meinem PC einen Ordner, wo ich die Sachen reinpacke, welche ich backupen will. Dann habe ich noch einen Ordner, wo ich die Daten dann reinpacke, wenn ich sie einmal auf das erste NAS gesichert habe. Wenn ich sie dann auch auf mein zweites NAS (was nur bei Bedarf angeschlossen wird) gesichert habe, fliegen sie idR komplett vom PC (sofern ich sie nicht oft benötige). (Vom zweiten NAS gehen sie dann in sporadischem Abstand auf externe HDDs).

Nur wenn ich größere Datenbestände transferieren will zwischen den NAS bzw. NAS und ext. HDD, nutze ich die Replication-Funktion von TrueNAS.

Meine Herangehensweise ist zwar keineswegs automatisiert oder besonders ausgeklügelt, aber für hauptsächlich Mediendateien, die in sporadischen Abständen hinzukommen, für mich völlig ausreichend. (Würde ich hier produktiv arbeiten bzw. beruflich damit was machen, wäre das was anders, dann würde ich sicherlich mit Snapshots in enger Taktung arbeiten. Besonders wichtige Daten habe ich auch in vielfacher Ausführung auf unterschiedlichen Datenträgern zusätzlich.)

Mein Hauptaugenmerk liegt darauf, dass die Daten erhalten bleiben (also eine Art Archiv); deshalb ZFS (wo du Scrubs durchführen kannst bzw. die Daten schon beim bloßen Lesen auf Integrität geprüft werden).

Ich würde fast vermuten, sowas würde für deine Film- und Seriensammlung auch genügen.

 

[oxyd]

@Banned Bisher war das nur ein Brainstorming.

Da gebe ich dir recht, dass wenn ich die Backup-Variante auf externe HDD wähle, ein 10GbE wenig bis gar keinen Sinn macht.

Festgelegt habe ich mich noch nicht.

 

[ropf]

Für ein Backup alle paar Wochen würde natürlich auch eine USB-Platte reichen, vorausgesetzt du findest eine Platte, die gross genug für den gesamten Datenbestand ist...

Bei Synology gibts da evtl. Probleme, da USB-Platten nicht unbedingt denselben Mountpoint bekommen, wenn sie neu eingestöpselt werden ... weiss jetzt nicht, wie das Backup-Programm damit umgeht.

Wenn es um Filme geht und Echtzeittranscoding eine Rolle spielt, braucht es zwingend eine CPU mit iGPU. Sowas haben die 423+ und und die 224+, aber nicht die 923+ ... Echtzeittransconding und 10GBit schiessen sich bei Synology im Consumerbereich also leider aus.

Viele behelfen sich bei der 423+ mit einem preisgünstigen 2,5GBit USB-Ethernet-Adapter, was recht gut funktioniert.

Ergänzung (21. September 2024)

PS: Wieso überhaupt "digitalisieren"? Bekommst du deine Filme noch in einem Analog-Format?

 

[oxyd]

PS: Wieso überhaupt "digitalisieren"? Bekommst du deine Filme noch in einem Analog-Format?

Ich habe mir quasi mein eigenes Netflix via Plex gebaut und den Blu-ray Player im Wohnkino nach Defekt nicht mehr ersetzt. So ist es bequemer vom Sofa aus auf die Filmsammlung zuzugreifen. Das ständige Wechseln von Discs hat mich irgendwann genervt (gerade auch bei Serien).

Weiterhin wird direkt gestreamt, ohne Transcoding. Die Wiedergabe erfolgt über einen Heimkino-Beamer auf eine 120" Leinwand.

 

[ropf]

Plex gibts auch als Paket für die DS. Möchte man die Transkodingfunktion nutzen, wird es leider kostenpflichtig. Viele User stört aber mehr, das Plex Daten über die Filmsammlung ans Unternehmen sendet, und sind deshalb auf Yellyfin umgestiegen. Hab aber selbst keine Erfahrung damit.

 

[Banned]

Ich habe mir quasi mein eigenes Netflix via Plex gebaut und den Blu-ray Player im Wohnkino nach Defekt nicht mehr ersetzt. So ist es bequemer vom Sofa aus auf die Filmsammlung zuzugreifen. Das ständige Wechseln von Discs hat mich irgendwann genervt (gerade auch bei Serien).

Er meinte halt, dass die Daten auf den Discs auch schon digital vorhanden sind.

Da der Rote Fuchs mittlerweile in "Rente" ist, wird das mit dem Rippen leider in Zukunft (bei neuen Veröffentlichungen) eh nicht mehr so einfach sein.