Langfristiges Backup großer Datenmengen

[Banned]

Aus meiner Sicht schon, da sie keinen wirklichen Zweck erfüllt. Schmuck am Nachthemd. Kann man machen....

Dann verstehst du die Thematik leider nicht. Es hat nichts mit Schmuck zu tun; es ist eine Absicherung gegen real mögliche Fälle von Datenkorruption.

Doch kann ich, da ich pers. mehr als ein Backup habe, und auch vorgeschlagen habe.

Bei denen du nach wie vor nicht weißt, ob sie nicht bereits korrumpiert sind (und sich diese Korruption fortsetzt, bis Daten irgendwann auch merklich verloren sind) bzw. von bereits korrumpierten Daten erstellt wurden.

Ich hoffe, du nutzt für die Backups wenigstens ein Tool, das prüft, ob die Daten auch korrekt übertragen wurden (FreeFileSync z.B.) - ansonsten ist wirklich Hopfen und Malz verloren.

Oder mal anders gefragt: Warum glaubst du, erstellen Serveranbieter Schedules zum Scrubbing bei ihren Systemen, wenn Festplatten doch so toll ewig lange zuverlässig die Daten halten?

 

[Mickey Mouse]

Ich nicht.

sei mir nicht böse, aber vieles was du so von dir gibst, klingt nach gefährlichem Halbwissen aus YouTube Videos, das unreflektiert nachgeplappert wird...

für mich bleibt es Panikmache!

mit "Silent Data Corruption" wird mal wieder eine Sau durchs Dorf getrieben, die vermutlich von den Speicherherstellern selbst erfunden wurde

bitte nicht falsch verstehen. Natürlich können HDDs ihre Daten verlieren, aber die Gefahr geht in erster Linie von mechanischen Beschädigungen aus.

 

[Banned]

Deine Stammtisch-Weisheiten und Polemik disqualifizieren dich in meinen Augen für jede weitere Diskussion.
Ich hatte dir bereits erklärt, dass u.U. nicht alle Fehler durch das ECC der Sektoren entdeckt werden können und dass man ohne separate Prüfsummen (auf Datei- oder Dateisytemebene) nie sicher weiß, ob die Daten noch korrekt sind. Auch hatte ich bereits von meiner eigenen Erfahrung berichtet.
Ich sag da jetzt nichts mehr zu.

Soll @pattex selbst entscheiden, was er für richtig hält. Ich versuche hier nur bestmöglich zu beraten. Dass da jetzt viele rumunken (die, als es hier noch um Bandgeräte ging, noch nicht geunkt haben), weil ich eben aufzeige, dass ihre Strategie Mist ist, liegt in der Natur der Sache.

Irgendwelche Verschwörungstheorien über Speicherhersteller setzen dem Ganzen dann noch das Sahnehäubchen auf.

 

[Blende Up]

Es hat nichts mit Schmuck zu tun; es ist eine Absicherung gegen real mögliche Fälle von Datenkorruption.

Die Du mit dopelten Speicherkosten, doppelten Stromkosten, doppelten Bay Anzahl, und mehr Lärm von Festplatten und Lüftern erkaufst. Raid erhöht die Datensicherheit nicht! Denn das gesamte Backup kann Dir trotzdem jederzeit kaput gehen. Daher nicht nur ein Backup.

Bei denen du nach wie vor nicht weißt, ob sie nicht bereits korrumpiert sind (u

Doch, weil es entsprechemde moderne FS gibt.

Deine Stammtisch-Weisheiten und Polemik disqualifizieren

reicht für mich. Was stimmt denn nicht mit Dir?

Ergänzung (10. Februar 2024)

e Fehler durch das ECC der

Alter Du installierst hier ein Hochsicherheits und Verfügbarkeitssystem. Schon an doppelte Netzteile, Netzwerke und Spiegelsysteme gedacht? Solltest Du unbedingt mit aufführen...

Es geht um ein privates Backup, kein Produktivsystem, wo jede Minute ohne Datenzugriff richtig Geld kostet. Du schießt mit Kanonen auf Spatzen! Dem TEwürden wahrscheinlich auch 3 USB Platten reichen. Kein NAS, Kein Raid, kein Scrub, kein ECC notwendig. Mit kleinem Budget möglichst viele unabhängige Kopien bei möglichst geringem Pflegeaufwand... Du willst ihm ein Rechenzentrum andrehen....

 

[Banned]

Die Du mit dopelten Speicherkosten, doppelten Stromkosten, doppelten Bay Anzahl, und mehr Lärm von Festplatten und Lüftern erkaufst. Raid erhöht die Datensicherheit nicht!

Es kann aber dazu beitragen, die Integrität zu erhalten. Dafür sind Scrubs in Kombi mit RAID sehr förderlich.

Denn das gesamte Backup kann Dir trotzdem jederzeit kaput gehen. Daher nicht nur ein Backup.

Ich hatte auch gesagt, dass er zusätzlich noch ein weiteres Backup auf externe HDD machen soll.

Doch, weil es entsprechemde moderne FS gibt.

Ja, ZFS und Btrfs, die du wahrscheinlich nicht nutzt.

Es gibt genau zwei Möglichkeiten, um festzustellen, ob die Daten nicht korrumpiert sind:

1) Prüfsummen für einzelne Dateien (manuell erzeugt oder über entsprechende Backup-Software).

2) Dateisystem mit Prüfsummen.

reicht für mich. Was stimmt denn nicht mit Dir?

Vielleicht mal beruhigen?

Alter Du installierst hier ein Hochsicherheits und Verfügbarkeitssystem. Schon an doppelte Netzteile, Netzwerke und Spiegelsysteme gedacht? Solltest Du unbedingt mit aufführen...

Siehe eben.

Du schießt mit Kanonen auf Spatzen!

Ist Ansichtssache. Muss letztendlich jeder selbst wissen.

Dem TEwürden wahrscheinlich auch 3 USB Platten reichen. Kein NAS, Kein Raid, kein Scrub, kein ECC notwendig. Mit kleinem Budget möglichst viele unabhängige Kopien bei möglichst geringem Pflegeaufwand... Du willst ihm ein Rechenzentrum andrehen....

Ja, sicher... Unsachlich geht's weiter.

 

[Blende Up]

Ja, ZFS und Btrfs, die du wahrscheinlich nicht nutzt.

Auch da muss ich Dich enttäuschen, aber Du beginnst mich wirklich zu langweilen ...

 

[Evil E-Lex]

An diesem Thread sieht man schön, dass Computerbase ein Hobbyistenforum ist. Hier tummeln sich viele Menschen, die das Ganze aus "Spaß am Gerät" machen. Das schlägt sich dann in den angebotenen Lösungen wieder. Ich erlebe hier regelmäßig Threads, in den die vorgeschlagenen Lösungen zwar vollständig korrekt, aber gleichzeitig hoffnungslos over-engineered sind.

 

[Gendra]

Ich will das Rumgehacke ja nicht unterbrechen, aber eine (schon öfter gefallene) Aussage möchte ich doch korrigieren, damit sich keine Fehlinformationen einprägen.

Durch das RAID hat man einen gewissen Schutz vor Silent Data Corruption - dann auch beim Backup.

Diese Aussage ist so in der Form falsch!
Der Schutz vor Silent Data Corruption beruht auf Prüfsummen und ist erstmal völlig unabhängig von einem RAID.

Wenn man ein Dateisystem mit Prüfsummen nutzt (wie btrfs oder ZFS) dann können diese auch ohne Redundanz einen Bit-rot erkennen und (zumindest ZFS) auch genau die betroffene Datei nennen.
Der einzige Vorteil eines RAID ist in diesem Falle ist, dass der Fehler automatisch korrigiert werden kann und man nicht die Datei aus dem Backup zurückspielen muss. Den Schutz vor Bit-rot hat man aber in beiden Fällen und für ein Ereignis das statistisch vielleicht einmal in 10 Jahren auftritt ist die 5-minütige manuelle Interaktion durchaus zumutbar.

Andererseits nutzt z.B: ein einfacher RAID1 von der Stange in der Regel gar keine Prüfsummen und kann daher trotz der Redundanz keinen silent Bit-rot korrigieren, weil es den Fehler zwar finden kann (beiden Kopien unterscheiden sich) aber mangels Prüfsumme nicht weiß, welche der beiden Kopien die richtige ist.

Ich persönlich würde im Privatbereich nie auf ein RAID setzen, sondern das gesparte Geld lieber in eine bessere Backup-Lösung (Offsite-Backup, mehr Versionierung, Pull statt Push Backup etc.) investieren. Wenn man es richtig macht, dann ist die Ausfallzeit auch ohne RAID so minimal, das selbst da die nahezu sofortige Verfügbarkeit gegeben ist.

 

[pattex]

Danke nochmal für die ganzen Antworten, ich wollte da keinen "Streit" anzetteln. Der unterschiedliche Aufwand für die Lösungen wird wohl von der Wichtigkeit der Daten abhängen und da muss mann dann die Wichtigkeit mit den Kosten und dem Aufwand abwägen.

Diese Entscheidung muss dann jeder für sich treffen und da gibt es aus meiner Sicht kein Richtig oder Falsch

 

[Gendra]

Ich erlebe hier regelmäßig Threads, in den die vorgeschlagenen Lösungen zwar vollständig korrekt, aber gleichzeitig hoffnungslos over-engineered sind.

👍

@pattex
Eine echte Langzeitarchivierung (sprich Daten 20 Jahre in den Schrank lesgen und dann noch sicher sein, das man die Daten lesen kann) halte ich im Privatbereich für unrealistisch.
Da ist es wesentlich einfacher auf eine Backup-Lösung zu setzen, das regelmäßig überprüft und erweitert wird. Falls dann (Lese-)Fehler auftreten oder neue bessere Technologien entwickelt werden, welchselt man eben auf ein neues Medium. Es ist ja nichtmal garantiert, dass man die Dateiformate/-systeme von heute noch in 20 Jahren lesen kann.

IMHO:
Bei der doch recht überschaubaren Datenmenge würde ich mir am ehesten drei große externe HDDs zulegen. Da kosten 3x20TB + Gehäuse/Dock zusammen aktuell knapp 1000€. (oder 10-15TB für entsprechend weniger)
Davon wird dann eine Festplatte angeschlossen auf die automatisch per Software/Skript versionierte Backups gemacht werden, eine zweite liegt im Schrank und eine dritte irgendwo außerhalb (Arbeit, Freunde, Schließfach...). In regelmäßigen Abständen wird die aktuelle Festplatte geprüft (Prüfsummen!) und dann wird durchrotiert. Somit hat man immer eine mäßig aktuelle Offline und eine etwas ältere Offsite Kopie falls die angeschlossene Platte zusammen mit dem Rechner hopps geht.
Bei Bedarf und Budget kann das ganze dann z.B. über eine verschlüsseltes Cloud-Backup oder ein Remote-NAS bei bekannten für das Offsite-Backup erweiter werden. Aber 99,9% der Ausfallszenarien hat man damit schon abgedeckt und bis die 20TB voll sind düften einige Jahre vergangen sein.

 

[Banned]

Der Schutz vor Silent Data Corruption beruht auf Prüfsummen und ist erstmal völlig unabhängig von einem RAID.

Genau, völlig richtig. Da habe ich mich falsch ausgedrückt.

Ich meinte damit, dass das RAID Schutz bietet, indem es Fehler automatisch bei einem Scrub (oder wenn einfach nur gelesen wird bei ZFS) korrigieren kann; die Daten also konsistent bleiben. Die Erkennung beruht natürlich auf den Prüfsummen und da hat das RAID nichts mit zu schaffen, das ist klar. Und klar kann man über ein externes Backup hier mit mehr Aufwand den gleichen Effekt erzielen.

Den Schutz vor Bit-rot hat man aber in beiden Fällen und für ein Ereignis das statistisch vielleicht einmal in 10 Jahren auftritt ist die 5-minütige manuelle Interaktion durchaus zumutbar.

Vorausgesetzt, das Backup ist noch okay - und das ist eben aus meiner Sicht der springende Punkt. HDDs eignen sich m.E. einfach nicht, um Daten über viele Jahre ohne Kontrolle zu verwahren. Wenn du Backups machst, aber diese nie prüfst, dann weißt du auch nie, ob Fehler schon existieren, und diese können sich über die Zeit kumulieren und dann im schlimmsten Fall sogar zu SDC führen.

Ich halte es also für eine ganz schlechte Idee, sich mehrere Backups ohne Prüfsummen zu erstellen und diese zehn Jahre irgendwo hinzulegen und zu hoffen, dass ein Backup noch okay ist (die Anzahl der Backups erhöht hier natürlich die Wahrscheinlichkeit, aber ist trotzdem keine Garantie).

Andererseits nutzt z.B: ein einfacher RAID1 von der Stange in der Regel gar keine Prüfsummen und kann daher trotz der Redundanz keinen silent Bit-rot korrigieren, weil es den Fehler zwar finden kann (beiden Kopien unterscheiden sich) aber mangels Prüfsumme nicht weiß, welche der beiden Kopien die richtige ist.

Doch, es nutzt zumindest die Sektorprüfsummen - das ist, wie ein Software-RAID bei einem RAID-Scrub arbeitet. Das Ganze ist jedoch bei RAID1 problematisch: https://wiki.archlinux.org/title/RAID#RAID1_and_RAID10_notes_on_scrubbing

Genauso werden die Sektorprüfsummen auf Hardwareebene für jeden RAID-Scrub genutzt (z.B. bei RAID5).
Wenn man einen Scrub mit den Prüfsummen des Dateisystems durchführt, ist das ein Data Scrub (wie bei ZFS, Btrfs und ReFS).

Unter Silent Bit Rot ist zu verstehen, dass Daten korrumpiert werden, es aber nicht erkannt wird (also z.B. über den ECC der Festplatte). Wenn in einem RAID jetzt zwei Sektoren an gleicher Position festgestellt werden, die sich unterscheiden, aber deren Sektorprüfsumme jeweils stimmt, ist das tatsächlich eine Extremsituation.
Über eine elaboriertere Prüfsumme auf Dateisystemebene oder Prüfsummen für ganze Dateien hätte solch ein Fehler aber sehr wahrscheinlich identifiziert werden können.

Ich persönlich würde im Privatbereich nie auf ein RAID setzen, sondern das gesparte Geld lieber in eine bessere Backup-Lösung (Offsite-Backup, mehr Versionierung, Pull statt Push Backup etc.) investieren.

Ist doch auch völlig in Ordnung, solange du ein Prüfsummen-basiertes Dateisystem verwendest oder separate Prüfsummen für die Dateien anlegen lässt.

Es fängt mMn aber schon damit an unkomfortabel zu werden, dass man m.W. unter Windows (was eben die meisten nutzen) nicht einfach mal so ein ZFS- oder Btrfs-Volume einhängen und scrubben kann.
Man könnte alternativ mit einer Backup-Software arbeiten, die Prüfsummen anlegt - hat aber den Nachteil, dass die Überprüfung länger dauert als auf Blockebene per Dateisystem.
Deshalb finde ich die Lösung mit NAS hier recht praktisch. Dort kann man dann auch leicht externe Backups mit z.B. Btrfs einhängen und scrubben; noch dazu hat man den Vorteil, dass Fehler ggf. aus der Redundanz automatisch korrigiert werden können.

Ja, es geht auch ohne, aber ist mMn eher umständlich. Aber muss jeder selbst wissen.


Deshalb @pattex

Damit du mich hier nicht missverstehst: Ich wollte dir nur die aus meiner Sicht komfortabelste Lösung aufzeigen. Du kannst aber auch einfach externe HDDs verwenden unter der Prämisse, dass du hier eben in irgendeiner Form mit Prüfsummen arbeitest (viele Backup-Programme können dies).

Nur die HDDs einfach nie zu prüfen / nicht prüfen zu können und die Daten sehr lange darauf aufzubewahren, halte ich eben für keine gute Lösung - auch wenn andere da eine abweichende Meinung haben. Für Langzeitverwahrung ohne Prüfung sind Band oder MDISC einfach die deutlich besseren Medien.


PS: @Gendra Ich denke, wir stimmen hier aber grundlegend überein, dass Prüfsummen bzw. Kontrolle wichtig ist - so wie ich es sehe.