Backup | Sicheres Kopieren | Robocopy - TeraCopy - MD5 Hash

[Davidos]

Hallo Leute,

ich hätte mal eine Frage an die Profis unter euch zum Thema "Backupstrategie".

Mein PC verfügt derzeit über eine SSD auf der die Systemdateien liegen und die als Workspace dient.
Daneben läuft eine HDD mit 4Tb als Datengrab, sprich Fotos, Videos, wichtige Dokumente und weitere Dateien.

Diese 4Tb HDD wird aktuell in regelmäßigen Abständen auf zwei externe HDDs (1x4Tb und 1x3Tb), die als Datengrab dienen, gesichert. (Diese beiden HDDs werden nur zu Backup-Zwecken betrieben.)
Der Kopiervorgang findet hierbei mittels Windows-Explorer statt, wobei die externes HDDs zuerst Schnellformatiert werden.

Vor dem Hintergrund potentieller Gefahren, wie Datenverlust durch mangelnder Datenintegrität, überlege ich derzeit dieses Backupverfahren effizienter und sicherer zu gestalten. (eine Automatisierung ist hierbei jedoch nicht nötig.)

Die Frage ist nur wie?

Das Windows interne Tool Robocopy verfügt nicht über eine integrierte Integritätsprüfung.

Eine mögliche Lösung, die ich nach Recherche finden konnte, wäre z.B. wie folgt:
1) Kopieren der Dateien von der internen HDD auf eine externe HDD mittels TeraCopy bei aktivierter "Verify" und "Test nach jedem Kopieren"-Option. (Dies sollte einer CRC-Prüfung entsprechen.)
2) Nach dem Kopiervorgang nochmal eine zusätzliche Prüfung mittels MD5 Hash

ALTERNATIV: Schritt 1: statt TeraCopy --> Robocopy mit /MIR Funktion.
--> Eigentlich würde doch auch /E reichen, wenn ich die externen HDDs zuerst immer komplett formatiere und die Daten komplett kopiere, oder wird durch das Löschen und das komplette Neukopieren der Daten die Fehlerwahrscheinlichkeit erhöht?


- Ist das dargestellte Verfahren sinnvoll?
- Welcher MD5 Programm bietet sich an, dass auch Daten verarbeiten kann, die größer als 4 Tb sind?
- Sollten die MD5 Daten für das Quelllaufwerk immer neu erstellt werden und anschließend mit dem Ziellaufwerk verglichen werden, oder sollten die MD5 Daten des Quellaufwerks archiviert werden?


Für eure Antworten und Bemühungen bedanke ich mich bereits im Voraus.

Gruß,
D.

 

[das_xnu]

Ich mache meine Backups immer mit robocopy, zb. c:\ e:\ /xj /w:0 /r:0 /mir /d
Für mich am einfachsten und am Schnellsten.

 

[Necareor]

Ich sehe das Problem eher darin:

Du machst dir Sorgen um die Integrität deiner Daten beim Kopieren. Woher weißt du denn vor dem Kopieren, dass die Dateien noch genau die sind, die nach dem Speichern einmal waren? Oder dass die Dateien auf der externen Platte nicht "verrotten"?

Bevor du dich also um den Kopiervorgang kümmerst, müsstest du erstmal deine interne HDD sowie die externen HDDs in ein Dateisystem formatieren, das einen prüfsummenbasierten Schutz vor Datenübertragungsfehlern bietet, wie ZFS oder Btrfs.

Denn was oft nicht beachtet wird: Eine Datei muss nicht hin und her kopiert werden, um Bitfehler zu erhalten. Das kann von ganz alleine kommen und sehr viele verschiedene Ursachen haben.

 

[Davidos]

Danke für die schnelle Rückmeldung.

@das_xnu:
Wie gesagt, Robocopy scheint für den Kopiervorgang aufjedenfall besser geeignet als der Datei-Explorer, zudem besteht die Möglichkeit Log-Files zu erstellten.
Allerdings nimmt auch Robocopy keine Prüfung der Datenintegrität vor.

@Necareor:
Danke für die Rückmeldung. Dieser Einwand ist natürlich berechtigt... Ich denke mit "verrotten" spielst du auf "Silent Data Corruption" bzw. "Bit Rot" an, oder?
Mit den beiden Dateisystemen habe ich jedoch leider keine Erfahrung, zudem scheint es "schwierig" zu sein, diese unter Windows 7 ohne Virtuelle Maschine zu nutzen. (und damit wird es zumindest für mich kompliziert.)
Gibt es alternative Lösungen?

 

[riff-raff]

Als kleine Anregung: Warum die Daten direkt auf dem PC/Workstation lagern und nicht auf einem ZFS/btrfs-fähiges NAS oder Server im LAN? Ist zwar eine Anschaffung, behebt aber deine Sorge um die Datenintegrität.

 

[makiyt]

Ich beschäftige mich auch immer wieder mit diesem Thema und bin letztlich bei zwei Programmen geblieben:

FreeFile Sync und PureSync. PureSync gefällt mir aktuell besser, da dieses per CRC32 prüft, ob die Daten korrekt kopiert wurden.

FreeFileSync schaue ich auch immer wieder an, das kann m.W. jetzt auch die Dateiintegrität prüfen.

Wäre vielleicht auch was für Dich.

 

[wupi]

Den Dateiinhalte vergleichen, kann FreeFileSync schon länger.

 

[riff-raff]

Dauert nur sau lang

 

[Holt]

Ein Heimserver mit ZFS/btrfs ist ja schön und gut, aber der sollte dann schon ECC-RAM haben und wenn man so große Sorge um Silent Data Korruption hat, sollte man auch ECC-RAM im seinem Rechner haben, also ein Workstation Board mit C2xx Chipsatz und entsprechender CPU statt eines Desktop-Chipsatz und einem i5/i7 nehmen, denn Silent Data Corruption findet häufig durch gekippte Bits im RAM statt. HDDs ändern Daten nur, wenn es zu Fehlern auf den internen Datenpfaden kommt oder die FW einen Bug hat, sonst aber nicht, denn die haben hinter jedem Sektor eine ECC und wenn die Daten nicht zu der passen und auch damit nicht korrigiert werden können, dann bekommt die Platte einen schwebenden Sektor und gibt die Platte einen Lesefehler aus, aber nicht korrupte Daten. Es ist dann aber die Frage, ob die Daten so wichtig sind, dass sich der Aufwand auch lohnt, die muss aber jeder für sich beantworten.

Was mich an dem bisherigen Vorgehen vor allem etwas stören würde, ist der fehlende Schutz für versehentlich gelöschte Daten, denn die Platten werden ja vorher formatiert. Wenn da nur wenige Daten ungewollt gelöscht wurden, fällt es doch gar nicht auf, dass das Backup ein wenig fertig war und wenn plötzlich viele Daten fehlen, dann muss das auch beim ersten Backup auffallen um sie hoffentlich noch auf der anderen Platte zu finden. Da würde ich eher mal Tools wie FreeFileSync in den Raum werfen, die auch Dateien wie nun im Original nicht mehr vorhanden oder verändert sind, auf dem Backup in einen extra Ordner verschieben können.

 

[riff-raff]

HP ProLiant MicroServer Gen8 bringt ECC mit und ist in der Anschaffung nun auch keine riesen Herausforderung. FreeNAS mit ZFS, Z1 oder Z2 Raid + Scrubs und man ist gerüstet.

 

[Davidos]

Vielen Dank für die Antworten.
Die Anschaffung eines Servers hatte ich bei Eröffnung des Threads eigentlich nicht im Hinterkopf.
Mir ging es schlicht um eine simple Backuplösung mit bedacht auf ein sinnvolle Kopierverfahren.
Die angesprochene Lösung werde ich jedoch im Hinterkopf behalten.

Das Synchronisieren von Daten stand hierbei nicht im Vordergrund, daher fallen Lösungen wie FreeFile Sync oder Pure Sync eigentlich aus dem Raster.

Dieser Satz ist mir nicht ganz klar:

fällt es doch gar nicht auf, dass das Backup ein wenig fertig war

Grundsätzlich:
-Ist das Kopieren von Daten mit Robocopy oder TeraCopy sinnvoller als mit dem Datei-Explorer?
-Ist nach dem Kopieren und Prüfen mit TeraCopy eine MD5 Prüfung sinnvoll oder nur Zeitverschwendung?

 

[Holt]

Wieso stand denn das Synchronisieren von Daten nicht im Vordergrund? Das ist doch gerade bei einem Backup sehr hilfreich, denn man muss dann eben nicht ständig alle Dateien neu kopieren, wenn sie schon vorher so auf der Backupplatte gestanden haben und damit findet man eben auch heraus, welche Dateien beim letzten Backup noch da waren und nun fehlen, was es ermöglich noch einmal zu prüfen ob dies so gewollt ist. Daher sind Tools wie FreeFile Sync oder Pure Sync eben auch sehr gut für Backups geeignet, es muss eben nicht immer Backup im Namen des Tools vorkommen um dafür geeignet zu sein.

So einen HP Gen 8 Microserver halte ich übrigens im Vergleich zu den USB Gehäuse für die bessere Anschaffung, schon weil die HDDs dann dort lokal von einem eigenen OS verwaltet werden, was die Sicherheit erhöht.

 

[klampf]

RoboCopy mit /MIR ist schon gut.
Kopiert nur die Dinge, die offiziell geändert sind, also nicht mal etwas, das einen Bitdreher hat.

Wenn Du immer alles löscht und neu kopierst, würdest Du solche die Dinge mitkopieren.

Wenn ich wirklich meine ich müsste Dateien vergleichen nehme ich BeyondCompare ... das ist allerdings nicht kostenlos.

Was ich seit einer Weile mache: Neben Daten die mir wichtig sind und die sich nicht mehr ändern, lege ich Paritätsfiles und die werden mitkopiert. Die können jederzeit zur Überprüfung der Daten genutzt werden und könnten die Daten sogar reparieren.
Das ist am Ende die sicherste Methode, weil die Daten auf der Quelle und Ziel auf Richtigkeit geprüft werden können und auch der Weg dazwischen komplett abgesichert ist. Dafür hilft Dir auch ein Fancy-Filesystem nix.

Folgendes freie Tool macht das und sogar recht flott.
https://multipar.eu/
Anders als bei einem Raid kannst Du frei wählen wie hoch die Redundanz sein soll. z.B. 5%

 

[riff-raff]

Wenn ich aber die Daten bereits auf deinem "Fancy Filesystem" liegen habe, dass für alle Daten Hashes bzw Paritätsinformationen anlegt und die Daten auch in regelmäßigen Abständen mit diesen vergleicht (Scrubs) und ggf korrigiert, so hilft mir das schon.

 

[klampf]

Hilft für alle Fehler die zwischen dem Fehler-Check der Platte auftreten (und die übersieht) bis die Daten im Speicher sind.
Wobei das Sata-Kabel auch einen CRC hat.
Also bleibt eigentlich nur, dass das Filesystem Fehler finden kann, die die Platte nicht erkennt oder dass das Filesystem komplette, nicht lesbare Blöcke rekonstruieren kann. Das sind ja bei aktuellen Platten auch schon 4 KB.

 

[Davidos]

Vielen Dank für die Tipps und Anregungen.

Derzeit teste ich „Beyond Compare“.
Die Synchronisationsfunktion ermöglicht Schnellvergleiche anhand von Dateigröße und/oder Datums- und Zeitangabe. Des Weiteren können Inhalte zudem anhand von CRC- oder Binärvergleichen abgeglichen werden.
Dies erscheint mir in diesem Zusammenhang als sinnvoll, wenn das Ganze auch nicht kostenlos ist (30$).

Des Weiteren bin ich auf die Software Speedcommander gestoßen, die das Programm „Filesync“ enthält.
Es ermöglicht jedoch anscheinend nur Vergleiche anhand von Dateigröße oder Datumsangaben.


Ist Beyond Compare aus eurer Sicht empfehlenswert?
Oder ist die Wahl der Sync Software letztlich nur eine Glaubensfrage?

 

[klampf]

Ich denke, Glaubensfrage ist dabei.

Ich mag BeyondCompare, weil ich es übersichtlich finde.
Die Darstellung vor dem Sync ist gut, wenn man noch einmal gucken will.
Auch während des Kopierens gibt es eine Zeitabschätzung, die halbwegs stimmt und ggf. auftretende Fehler werden für mich gut protokolliert und dargestellt.
Kopieren geht auch ordentlich flott.

Man kann z.B. auch einstellen, ob symbolischen Links gefolgt werden soll oder nicht.
Da ich die nutze, finde ich das ein wichtiges Feature.

Das ist für mich so eine typische und seltene Software, die immer genau die Funktion hat von der ich denke: "Das müsste doch aber irgendwie gehen."

Zu guter Letzt habe ich damit inzwischen schon mehrere Male Daten von 2-8 TB kopiert.
Sprich alle meine Daten von Platte zu Platte oder Platte zu Nas usw.
Fehlerfrei!

 

[Snoopy69]

Ich benutzte seit Jahren erfolgreich das kostenlose "Personal Backup" für automatisch Backups (manuell auch durch "Anstoßen" möglich). Das macht, wenn gewünscht auch einen CRC-Check beim kopieren.

Backups werden entweder voll oder inkrementell angelegt. Auf Wunsch auch mit mehreren Versionen.

Und wenn ich nur manuell was kopiere, nehme ich das ebenfalls kostenlose "Total Commander". Das kann auch nen CRC-Check bei Kopieren durchführen. Ist man völlig paranoid, kann man auch manuell Checksummen von CRC, MD5, SHA1, SHA256 und SHA512 erstellen.

Soweit ich mich erinnern mus man dafür ein Plugin vom Hersteller (Total Commander) ziehen und installieren. Kann aber auch sein, dass das mittlerweile im aktuellen TC drin ist.

 

[dirk91]

ich benutze EaseUS Todo Backup, kostenlos und funktioniert bis jetzt gut.

Es kann sowohl die normale Datei wie dokumente, bilder, videos, email, als auch die Festplatte, Partition und System sichern. Diese SW unterstützt drei Sicherungsmodi: Volle Sicherung, inkrementelle Sicherung, differenzielle Sicherung, zeitgesteuerte Sicherung. Hier ist die Details: http://www.easeus.de/backup-software/todo-backup-free.html

 

[Das_Rind]

Hallo das_xnu,

wofür steht eigentlich der letzte Parameter /d ?


Danke

Das Rind