Programm zum erstellen von Prüfsummen und ggf Rekonstruktion

Klokopf

Lt. Junior Grade
Registriert
Okt. 2009
Beiträge
437
Hallo CB-Community!

Ich suche derzeit nach einem Programm das für große Dateimengen sha1 bzw md5 Prüfsummen anlegen und speichern kann, sodass ich sie auch Sinnvoll wiederverwenden kann.
Ich verwende zur Zeit ein Programm mit Namen "HashmyFiles" oder sowas. Dieses kann dummerweise nur in HTML Form die Prüfsumme speichern und diese dan immer einzeln per Hand zu vergleichen ist enorm viel Arbeit...
Kennt da jemand ein besseres Programm?

Und ein Paar Fragen hätte ich auch noch:

lassen sich kleinere Datenfehler mit hilfe der Prüfsumme wieder rekonstruieren?
Wen ja welcher Prüfsummentyp wäre hierfür der beste?

Danke schonmal !
 
Prüfsummen und Datenrettung hat miteinander recht wenig zu tun, sicher dass du verstanden hast was du machen willst?
 
Ich empfehle den md5summer: http://www.md5summer.org/ (beherrscht auch sha1). Ich verwende ihn um regelmäßig mehrere Terabyte große Archive zu verifizieren.

Anhand von Prüfsummen kann man aber selbstverständlich keine Dateien wiederherstellen.
 
@Rehtaftib
Deswegen hat das ganze ja auch den Präfix [Datensicherung/Backup]^^

@ MichaelV8
Danke, werds mal testen!
Hmm schade, ich hatte irgendwie gehofft das man ähnlich wie bei quersummen kleinere Fehler beheben kann^^
 
Ich habe mich auch schon so etwas überlegt. Das beste was mir eingefallen ist , war ein System wie z.B. einem Rar-Archiv. Nur ohne einzelne Archivdaten ^^.

Dort kann man ja Daten in mehrere Archive splitten. Wenn eine der Dateien später fehlerhaft sein sollte, kann diese wiedergergestellt werden. Funktioniert natürlich nur wenn man vorher genug Wiederherstellungsdaten erzeugt hat.

Sowas in einem normalen Backup .. ein Träumchen. Sagen wir bei 15TB Daten - 3 TB Wiederherstellungsdateien. Diese kann man ja auf einem externen Speichermedium vorhalten und ggf. updaten wenn neue Daten dazu kommen.
Das funktioniert natürlich nur wenn wenige Dateien beschädigt sind.


Gibt es so etwas ? Wär auch egal wenn Rechenintensiv ...
 
Zuletzt bearbeitet:
Genau sowas suche ich!
Ich hab das eine Zeit lang Tatsächlich mit Rar-Archiven gemacht, aber die sind so extrem Fehleranfällig... Und das ist sehr aufwendig...
 
Die Datensicherung sollte man immer auf einem Medium haben, welches in einem anderen Gehäuse steckt und woraus man die Daten auch komplett rekonstruieren kann. Ob da rar Archive eine gut Idee sind? So teuer sind USB-Platten ja auch nicht und wenn man von Anfang an einkalkuliert, dass man die HDD Kapazität immer doppelt kaufen muss, einmal für die Daten und einmal für deren Backup, dann hat man auch hinterher keinen Ärger. Prüfsummen zum Testen der Datenintegrität sind natürlich dann auch eine gute Idee, gerade wenn man Daten hat die sich lange nicht ändern und bei denen dann Fehler ggf. lange unentdeckt bleiben und womöglich beim nächsten Backup mit dieses übertragen werden.

Für sowas habe ich mir selbst ein paar Tools geschrieben, aber dazu sollte man schon programmieren können.
 
Ich hab ja ein Wöchentlich aktualisiertes Komplettbackup, um das gehts ja^^
Mir ist es zwar erst einmal passiert das Orginal und Backup gleichzeitig fehler bei der selben datei hatten aber sollte das wieder passieren will ich gewapnet sein. Für meine Backups verwende ich ein Programm das automatisch das Backup mit den Orginaldatein jedes mal Validiert (dauert meist länger als das eigentliche Backup...).

Aber mal eine andere Frage:
eine md5 oder sha1 Prüfsumme ist ja immer gleich lang, verliert die dadurch nicht an Präzision wen mans auf große Datein anwendet?
 
Es sollen ja keine Rar-Archive sein. Die Daten ganz normal speichern - Prüfsummen erstellen - und im Falle eines gefundenen Fehlers aus den Wiederherstellungsdaten recovern.

Wie man das mathematisch lösen kann ohne als backup genausoviel Speicherplatz zu benötigen wie die zu sichernde Datei ...
Irgendwie die Wiederherstellungsdaten mathematisch, mit anderen anhand der Prüfsummen überprüften, gesicherten Daten verknüpfen.

Die Frage der Präzision ist in diesem Fall nicht wichtig da anhand der Prüfsumme ja nur die Authentizität überprüft wird. Nicht die Wiederherstellung an sich.
- Ansonsten, wie schwer wäre es eine Prüfsumme zu basteln die um einiges Länger ist (vllt. große Dateien virtuell splittet - einzelne Prüfsummen erstellt und diese zu einer längeren zusammenfügt).


Naja .. denke nicht das das zu einem zu findenden Programm führt. Das muss wohl erst geschrieben werden. Freiwillige zukünftige Millionäre vor ? :D
 
LuzidDream schrieb:
Naja .. denke nicht das das zu einem zu findenden Programm führt. Das muss wohl erst geschrieben werden.
Sowas gibt es schon. Das Format nennt sich PAR2. In den Weblinks findet man entsprechende Software zum erstellen solcher Dateien.
 
Nur um das nochmal Präzise zu formulieren:

Mein Backup hat den selben speicherplatz wie dir Orginaldatein, hier gehts nicht darum Platz zu sparen sondern ein zweitbackup.
Ich möchte Wiederherstellungsinformationen für das Backup, damit ich kein "Backup von Backup" machen muss.

Und danke für den Tip Marc_N!
Ich werd mir das mal anschaun^^
 
Zu dem PAR2: "Es ist also möglich, eine 100 MB große Datei mittels einer nur 1 MB großen PAR2-Datei zu reparieren – vorausgesetzt, es treten nur in einem kleinen Bereich der Datei Fehler auf." Damit dürfte klar sein, dass dies allenfalls komplementär zu einem Vollbackup Sinn macht, denn wenn die ganze 100MB Datei weg ist, nutzt die PAR2 auch nichts mehr. Hier hätte das aber auch wenig geholfen.

Klokopf schrieb:
Ich hab ja ein Wöchentlich aktualisiertes Komplettbackup, um das gehts ja^^
Mir ist es zwar erst einmal passiert das Orginal und Backup gleichzeitig fehler bei der selben datei hatten aber sollte das wieder passieren will ich gewapnet sein. Für meine Backups verwende ich ein Programm das automatisch das Backup mit den Orginaldatein jedes mal Validiert (dauert meist länger als das eigentliche Backup...).
Das ist ein typischer Fall von "gut gemeint ist eben noch lange nicht gut gemacht". Das Programm dürfte hier die Dateien (original und Kopie im Backup) vergleichen und wenn es eine Änderung feststelle die Kopie im Backup aktualisieren. Da es aber offenbar keine Hashcodes der beiden Dateien anlegt, kann es dann auch nicht prüfen, ob die Änderung im Original gewünscht war, was aber auch nur dann funktionieren würde, wenn man bei jeder gewünschten Änderung den Hash ebenfalls aktualisiert, was dann eigentlich von Windows oder dem Programm ausgehen müsste, welches die Dateien erzeugt. Einfacher wäre es, wenn das Programm wenigsten protokolliert, wann die Datei zuletzt beschrieben wurde und nur dann die Kopie im Backup aktualisiert, wenn das Original auch ein jüngeres Aktualisierungsdatum trägt als beim letzten Backup, denn das kann Windows ja automatisch updaten und dann könnte das Backupprogramm auch erkennen, das etwas nicht stimmt und z.B. Alarm schlagen.

So nutzt das ganze Backup wenig, denn wenn Du Dir so einen Verschlüsselungsvirus einfängst, dann hat das tolle Programm die Dateien im Backup vermutlich ebenfalls schon durch die verschlüsselten Versionen ersetzt, ehe Du den Schaden bemerkst. Komfort geht eben oft auf Kosten der Sicherheit!
Klokopf schrieb:
eine md5 oder sha1 Prüfsumme ist ja immer gleich lang, verliert die dadurch nicht an Präzision wen mans auf große Datein anwendet?
Über die Sicherheit des einen oder anderen Hashes kann man sicher streiten, aber für den Zweck der Erkennung von ungewollten Veränderungen dürfte beiden ausreichen und um mehr kann es dabei nicht gehen, denn vermutlich dürfte bei beiden Algorithmen die Wahrscheinlichkeit, dass zwei Fehler zusammen dann zufällig doch zum selbst Hashwert für eine Datei führen und eine Veränderung somit unentdeckt bleibt, praktisch gegen 0 gehen. Anders sieht es vielleicht aus, wenn man den Aufwand betrachtet, den das mutwillige Herbeiführen solch einer Situation erfordern würden, wie man als eine Datei bewusst so ändern müsste, dass dann trotzdem der gleiche Hash erzeugt wird.
 
Das Programm der ich verwende heißt TrueImage 2014 von Acronis. Ich weiß leider nicht in wie fern das Sinnvoll vergleicht. Da ich gerne mehrere Versionen des Backups hab aber jede Festplatte eben nur zwei mal hab kann ich nicht jedes mal ein full Backup machen, da könnte ich mir dan was basteln mit wiederherstellungs/reperaturblöcken und halbwegs kluger Fehlererkennung...
 
PAR2 kannst du auch mit 100% Redundanz berechnen. Bei MultiPAR kannst du sogar bis zu 250% RD machen.
z.B. wenn du 100MB verlierst, mit PAR2 kannst du die 100MB wiederherstellen.
Jeder Datenträger verliert Information (z.B. „Bit Rot“). Eine Prüfsumme mit der Wiederherstellung ist Pflicht.
 
Zurück
Oben