Wie feststellen ob (bzw. welche) Daten bei wichtigen Backups beschädigt sind?

[Cinematic]

Bei einer alten HDD hatte ich gestern den Fall, dass einige Videodateien geringfügig beschädigt waren, da gewisse Speicherbereiche defekt waren.
Das bemerkte ich jedoch erst beim Versuch diese Videodateien zu kopieren, das hat nämlich gar nicht mehr geklappt. Abspielen ließen sich die Dateien jedoch einwandfrei, der Videoplayer hat die kaputten Speicherbereiche vermutlich einfach mit schwarzen Pixeln gefüllt oder sowas in der Art.
Nun frage ich mich wie ich bei meinen wichtigen Backups kontrollieren kann, ob irgendwelche Dateien beschädigt sind, und wenn ja, welche. Denn dann muss ich die beschädigten Dateien ja löschen und von einem anderen intakten Backup wieder rüberkopieren.
Um erstmal festzustellen ob irgendwelche Dateien beschädigt sind, reicht dafür ein kurzer Blick in das Tool CrystalDiskInfo? Auf welche Werte müsste ich dann achten?
Was würdet ihr allgemein für wichtige Backups empfehlen? Alle x Wochen mal checken ob alle Daten intakt sind? Ist dies bei SSDs überhaupt notwendig, oder nur bei HDDs?

 

[aroxx]

Wie machst denn Backups? Nutzt du ein Tool?

Wenn nicht wäre das hier vielleicht was für dich:

restic · Backups done right!

Kann zum Beispiel verifizieren, ob sich die Daten wie gewünscht wiederherstellen lassen.
Kann auch deduplication.

Nur checken, ob die Daten noch intakt sind, reicht eigentlich nur, wenn du die Originale immer zur Verfügung hast. Besser wäre in diesem Fall ein weitere Safeguard, also noch ein weiteres Backup.

 

[Cinematic]

Ich nutze FreeFileSync, allerdings benutze ich davon nur die Mirroring Funktion, also das Spiegeln der Daten auf die Backup-Platten.
Ich habe auf einer internen SSD alle wichtigen Daten in einem Ordner und ich mache auch hier alle Änderungen. Auf zwei externe Backup-USB-Speicher spiegel ich den ganzen Ordner regelmäßig, wobei ich eine dieser beiden Backup-Speicher bei meinen Eltern aufbewahre.

Kann zum Beispiel verifizieren, ob sich die Daten wie gewünscht wiederherstellen lassen.

Was bedeutet das? Das klingt für mich gerade so, als ob die Daten für's Backup komprimiert werden.
Darin würde ich aber jetzt für mich keinen großen Vorteil sehen, außer ein wenig Speicherplatz einzusparen.
Da diese für mich wichtigen Daten aber nur insgesamt 250GB groß sind, sehe ich aber keinen Grund das zu komprimieren oder so.
Oder bringt so etwas noch andere Vorteile, außer bloß Speicherplatz zu sparen?

EDIT: Verschlüsselung der Daten wäre natürlich noch ein Grund, der mir grad einfällt. Ich habe bisher bei mir Zuhause immer alles unverschlüsselt gelassen, und das Backup, das ich bei meinen Eltern habe, hat einen kleinen Teil der allerwichtigsten Daten verschlüsselt, indem ich diese Daten einfach als passwortgeschütztes RAR-Archiv gepackt habe.

restic · Backups done right!

Das schau ich mir mal an, Danke!

------
EDIT 2: So schauen die CrystalDiskInfo-Werte für eine Backup-HDD aus. Scheint alles einwandfrei zu sein, außer die UltraDMA-CRC-Fehler, wovon ich 2 habe. Weiß jemand was das bedeutet? Ich nehme an, dass zwei oder mehr Dateien beschädigt sein können.

 

[Inzersdorfer]

Das sind Fehler in der Datenübertragung der SATA Kabel (ev. aber selten SATA Stecker), die Beiden hier sind aber älteren Datums da der Aktuelle Wert bereits wieder auf optimalen 200 steht.

Ergänzung: da war wohl einmal der SATA Stecker locker, das ist so unbedenklich.

 

[aroxx]

Was bedeutet das? Das klingt für mich gerade so, als ob die Daten für's Backup komprimiert werden.

Tools wie restic oder borg nehmen chunks (z.b. 500KB) der Daten, die gebackupt werden sollen. Dann hashen sie diesen chunk. Der Hash wird der Name des Chunks in dem Repository von Borg/restic/... .

Will man nun überprüfen, ob die Daten noch in Ordnung sind, macht man folgendes: Man geht über alle Chunks im Repo, hasht diese nochmals und überprüft, ob der Name des Chunks (aka alter Hash) noch mit dem gerade berechneten Hash übereinstimmt. Wenn nicht -> Daten in irgendeiner Form korrupt.

Der zweite Vorteil dieser Methode ist: Wenn mehrere Dateien mit dem gleichen Inhalt gebackupt werden sollen, dann brauchen diese (fast) keinen extra Speicherplatz. Da der Hash des Inhalts wieder gleich sein wird. Man (also das Tool) muss sich also nur merken, dass der Inhalt all dieser Dateien unter dem gleichen Eintrag im Repository des Backuptools liegt.

Sehenswert ist der CCC-Vortrag auf der restic webseite. Der erklärt das alles nochmal besser als ich hier ;-)

 

[Cinematic]

@Inzersdorfer Verstehe, das beruhigt mich, Danke!

@aroxx Das klingt interessant. Ich glaube ich sollte mich auch mal etwas in die Thematik einarbeiten um meine Backups sicherer zu machen.
Restic und borg sind leider für Linux, ich bin aber Win10-Benutzer. Aber ich werde mal schauen was es so für Tools für Win10 gibt.

Ich verstehe noch nicht ganz, wann man mehrere Dateien mit dem gleichen Inhalt backuppen möchte.
Ist damit gemeint, dass zwei (oder mehr) Dateien exakt identisch sind? Wofür wäre das denn gut?

Oder ist damit eher gemeint, dass aus zwei (oder mehr) Dateien einzelne Teile gleich sind?
Bspw. wenn man Videobearbeitung macht, und man dann ein bearbeitetes Video in mehreren Versionen vorliegen hat, bei denen bestimmte Videosequenzen aber gleich sind.

 

[aroxx]

Restic und borg sind leider für Linux, ich bin aber Win10-Benutzer. Aber ich werde mal schauen was es so für Tools für Win10 gibt.

Also man kann mit restic auch Backups von Win10 Clients erstellen. Der Server läuft auf Linux, das ist richtig.

Ich verstehe noch nicht ganz, wann man mehrere Dateien mit dem gleichen Inhalt backuppen möchte.
Ist damit gemeint, dass zwei (oder mehr) Dateien exakt identisch sind? Wofür wäre das denn gut?

Also mit gleichem Inhalt meine ich tatsächlich byte-gleicher Inhalt pro chunk. D.h. wenn viele ähnliche Dateien gespeichert werden sollen, spart man sich die vielen duplizierten Daten innerhalb dieser Dateien.

Deduplikation – Wikipedia

 

[Cinematic]

@aroxx Ich habe mir zu restic mal ein paar YouTube-Videos und einige Beiträge auf reddit angeschaut. Das Tool an sich gefällt mir sehr gut, mich stört nur dass es noch ein wenig unausgereift ist. Einige User berichten von korrupten Backups ohne ersichtlichen Grund. Vermutlich sind das zwar Ausnahmen, aber trotzdem habe ich mich erstmal dazu entschlossen restic noch nicht zu nutzen.

Ich habe entdeckt, dass FreeFileSync nicht nur den Dateivergleich über Dateigröße und Änderungsdatum zulässt, sondern auch über Dateiinhalt.
Die Geschwindigkeit dieses Vergleichs über Dateiinhalt scheint nur durch die Lesegeschwindigkeit der Daten beschränkt zu sein.

Vorhin getestet:
190GB großes Backup, 22.700 Dateien, eine Kopie auf einer SSD, die andere Kopie auf einer HDD.
Der Vergleich hat 35min gedauert, und lief mit ca. 90 MB/sec durch.

Ein anderer kurzer Test mit 3GB großen Dateien, wo eine Kopie auf einer SSD und die andere Kopie auf einer anderen SSD lag -> der Vergleich lief mit 380 MB/sec durch.

Ich denke mal das ganze Backup hashen zwecks Integritätsprüfung wird ähnlich schnell gehen, oder?
Ggf. auch langsamer, falls man eine komplexe Hashingfunktion verwendet.

Jedenfalls habe ich mir nun überlegt, ob ich nicht diesen Dateivergleich von FreeFileSync zur Integritätsprüfung nutzen kann.
Ich habe mein wichtiges Backup ja auf 3 Datenträgern, und an diesem Backup ändert sich auch fast nichts. Alte Dateien werden so gut wie nie verändert und es kommen nur sehr wenige neue hinzu.

Alle Dateien, die sich auf allen drei Datenträgern befinden, könnte ich also wiefolgt auf Integrität prüfen:

Arbeitskopie abgleichen mit Backup #1
falls keine Unterschiede gefunden -> keine Daten korrupt
falls Unterschiede gefunden -> mit Backup #2 abgleichen welche Version die korrupte ist

Mir ist bewusst, dass ich neue Daten nicht auf Integrität prüfen kann, solange davon keine Kopie existiert, aber das stellt für mich nun kein Problem dar.

Restic hätte natürlich noch Deduplikation, Encryption, Snapshots etc, aber das ist für meine Zwecke zurzeit nicht wichtig. Das mit der Datenintegrität sollte aber so mit dem FreeFilySync-Vergleich funktionieren, oder meinst Du bzw. Ihr?

 

[aroxx]

Kenne FreeFileSync jetzt leider nicht genauer.
Kann mir vorstellen, dass deine Idee funktionieren könnte.