Checksum Tool zum abgleichen/verifizieren von großen verzeichnissen (400gb+)?

[askling]

Hab ihr da konkrete seriöse Empfehlungen, am besten aus eigener Erfahrung?

Ich möchte mit md5 oder sha1 hashes von alles Files in Verzeichneissen und Sub-Verzeichnissen anlegen um sie später bei Backups auf crc fehler prüfen zu können oder nach dem Kopieren auf externe Datenträger noch einmal abgleichen zu können (Orginal vs Kopie).

 

[Was_denn]

http://www.ghisler.com/deutsch.htm

Kostet einmal = Total price: 44,03 € . Und ist dann für immer und ewig nutzbar .

Und ansonsten : abylon FREEHASH

Direkter Link hierzu wurde abgelehnt !

 

[TP555]

Hi

Zum erstellen der Hashes , ist der Total Commander zu empfehlen.

Allerdings nach dem Kopieren , würde der CRC check wieder die Quell daten überprüfen, weil das Laufwerk , Pfad , Datei *Hash so drin steht , in den Sfv , MD5 SHAx Dateien.

Benutz hierfür dann CDCheck 3 , dann einfach auf Compare , oder auf Deutsch um Stellen , und ich denke mal der Rest erklärt sich dann von selbst .

http://kvipu.com/CDCheck/download.php

mfg.

 

[Masamune2]

Geht auch schon mit Windows Boardmitteln wenn dir das reicht:

Powershell:
get-childitem | get-filehash
("get-childitem -recurse" wenn du auch die Unterordner haben willst)

Spuckt dir eine Liste aller Dateien in einem Ordner aus und den hash Werten dazu. Kannst du dann in eine Datei speichern und bei der Kontrolle der Dateien dann die Werte nebeneinander legen.

 

[Sterntaste]

Man muss nicht diesen Commander mit der antiquierten Optik für teuer Geld kaufen.
Der Multicommander kann das auch, sieht moderner aus und kostet erfreulicherweise nichts. Ich bin gewechselt vom TC zum MC und habe es bisher nicht bereut.

 

[cumulonimbus8]

um sie später bei Backups auf crc fehler prüfen zu können

Warum willst du solche Prüfsummen erstellen - die könnten gekippte Bits kenntlich machen wenn man sie mit ›sich selbst‹ vergleicht. Vergleiche ich aber nur alte Prüfsummen mit neuen vergleiche ich potenziell veraltete Daten.
Ob du also live vergleichst oder live eine (zwei…) Prüfsummen erstellst und de abgleichst kommt wohl auf den selben Aufmarsch raus. Ich würde diese Katze im Sack nicht kaufen wenn ich deine Grundidee umsetzen müsste.

CN8

 

[askling]

Warum willst du solche Prüfsummen erstellen - die könnten gekippte Bits kenntlich machen wenn man sie mit ›sich selbst‹ vergleicht. Vergleiche ich aber nur alte Prüfsummen mit neuen vergleiche ich potenziell veraltete Daten.
Ob du also live vergleichst oder live eine (zwei…) Prüfsummen erstellst und de abgleichst kommt wohl auf den selben Aufmarsch raus. Ich würde diese Katze im Sack nicht kaufen wenn ich deine Grundidee umsetzen müsste.

CN8

Ich verstehe nicht ganz was du meinst. Ich möchte Backup-Sets einen nach Erstellung entsprechende Prüfsummen zuordnen. Damit kann ich später (wenn die PLatte 6 Monate im Schrank lag) verifizieren das mit dem Backup alles in ordnung ist.

Oder aber beim Kopieren von großen Filemengen auf externe Datenträger überprüfen das die Quelldaten den Kopieren 100% entsprechen (z.B. weil der USB-Controller mist baut).


edit: gerade mal den Multicommander probiert, der freezt beim erstellen der Prüfsummen bzw. tut nichts. Irgendwas klappt da nicht.

Ergänzung (7. Juli 2017)

Habe noch den TurboSFV gefunden, ist genau das was ich suche. Allerdings relativ teuer... Kann doch nicht sein das es keine vernünftigen SFV tools gibt die open source oder frei sind.

 

[cumulonimbus8]

Ich verstehe nicht ganz was du meinst. Ich möchte Backup-Sets einen nach Erstellung entsprechende Prüfsummen zuordnen. Damit kann ich später (wenn die PLatte 6 Monate im Schrank lag) verifizieren das mit dem Backup alles in ordnung ist.

Das eben ist doch der Knackpunkt. Prüfsummen sollen ›gekippte Bits‹ = Dateiveränderungen aufdecken. Das tut man bei Transfers aus dem Web oder wenn Daten auf Weg A kommen und eine Prüfsumme auf Weg B.

Was du willst ist einen gelagerten (!) Datenbestand später (!) abgleichen. Und Zeit ist das worauf es ankommt. Zeit kann bedingen, dass Bits kippen - Kosmische Strahlung etwa. Und, nein, das ist kein Ammenmärchen (allerdings auch keine Panikmache). Du hast magnetische Datenträger, da kann immer was passieren wobei sich ein betriebener Datenträger zu helfen weiß, ein liegender naturgemäß nicht.

Da das eine Datensicherung sein soll (respektive dieser dienen) kommt nur absoluter Vergleich in Frage da die Prüfsumme »so alt sein kann wie die Zeitung von gestern«.

Sollte ich einfach aus der Hand antworten - ja, dein Plan funktioniert. Soll es sicher sein für Firmendaten - ein klares Nein!

CN8

 

[Tenchi Muyo]

Ein Open Source Programm konnte mich am meisten überzeugen:

RapidCRC Unicode
https://www.ov2.eu/programs/rapidcrc-unicode

Oft wird auch HashMyFiles v2.23 von NirSoft genannt.

Die meisten anderen Hash Tools sind bereits vor Jahren in der Entwicklung gestoppt.


Von der Useablity war RapidCRC mein Favorit.


Edit: TurboSFV macht aber auch einen guten Eindruck

BTW: md5 oder sha1 gelten als unsicher von daher sollte man da die Finger von lassen.
Für mich kommt nur SHA3-512 in Frage (dürfte bei 400gb sehr lange dauern).

 

[Masamune2]

BTW: md5 oder sha1 gelten als unsicher von daher sollte man da die Finger von lassen.
Für mich kommt nur SHA3-512 in Frage (dürfte bei 400gb sehr lange dauern).

Ja in der Kryptographie sind sie unsicher, zum Abgleichen der Daten spielt das aber keine Rolle da hier ja niemand mit Absicht versucht eine Kollision zu verursachen.

 

[askling]

Das eben ist doch der Knackpunkt. Prüfsummen sollen ›gekippte Bits‹ = Dateiveränderungen aufdecken. Das tut man bei Transfers aus dem Web oder wenn Daten auf Weg A kommen und eine Prüfsumme auf Weg B.

Was du willst ist einen gelagerten (!) Datenbestand später (!) abgleichen. Und Zeit ist das worauf es ankommt. Zeit kann bedingen, dass Bits kippen - Kosmische Strahlung etwa. Und, nein, das ist kein Ammenmärchen (allerdings auch keine Panikmache). Du hast magnetische Datenträger, da kann immer was passieren wobei sich ein betriebener Datenträger zu helfen weiß, ein liegender naturgemäß nicht.

Da das eine Datensicherung sein soll (respektive dieser dienen) kommt nur absoluter Vergleich in Frage da die Prüfsumme »so alt sein kann wie die Zeitung von gestern«.

Sollte ich einfach aus der Hand antworten - ja, dein Plan funktioniert. Soll es sicher sein für Firmendaten - ein klares Nein!

CN8

Also ich verstehe das Problem irgendwie noch nicht. :-)
Klar, wiederherstellen kann ich damit nichts. Aber ich finde mit den crc Prüfsummen einen Fehler im Backup, bzw. wenn ich das Backup wieder auf meine Produktiv-HDD kopiert habe. Oder übersehe ich da was?

ps: 7-zip hat eine tolle funktion, man kann einfach ordner/ausgewählte dateien per kontextmenü eine Prüfsumme erstellen. so kann man zumindest größe daten einfach auf veränderung prüfen - blöd ist das man bei änderungen nicht sieht welche betroffen sind.

 

[Tenchi Muyo]

Danke nochmal für den Tip mit TurboSFV - macht einen wirklich ausgereiften Eindruck,
werde es die Tage kaufen.

 

[Tenchi Muyo]

Hatte ja TurboSFV gekauft:
https://turbosfv.com/?l=1

Habe aber noch eine günstigere Alternative gefunden:

EF Checksum Manager
http://www.efsoftware.com/cm/d.htm

Das Programm macht auch einen sehr guten Eindruck.

Edit:

Ich habe mehrere Programme mal getestet (4790K@4,4Ghz 32GB RAM):

114 Dateien auf HDD die 27GB groß sind (Prüfsummen für SHA3-512 erstellt):

TurboSFV: 2 Min. 42 Sek.
HashCheck: 3 Min. 37 Sek.
MultiHash: 4 Min. 6 Sek.
EF Checksum Manager: 7 Min. 57 Sek.
RapidCRC Unicode 0.3.23: über 11 Min. (mit High Priority)

Die Überprüfung der der Hashwerte dauert logischerweise genauso lange
wie die Erstellung.
Da sind die die Zeitunterschiede schon erheblich.

 

[Masamune2]

Warum nutzt du SHA3 mit 512 Bit? Hier geht es ja nicht um Sicherheit und mögliche Kollisionen sollen nicht verhindert werden. Du wärst nochmal schneller mit einem viel einfacheren Hashverfahren.

Kannst du zum Vergleich noch die Windows eigene Hashfunktion benchen?

 

[Tenchi Muyo]

Habe nur zum testen das aufwendigere SHA3 genommen.

Welche Windows eigene Hashfunktion meinst Du?

Edit:

Mit get-childitem komme ich nicht klar.

 

[r15ch13]

https://github.com/gurnec/HashCheck
Download unter: https://github.com/gurnec/HashCheck/releases/latest

 

[Tenchi Muyo]

Hab ich mal gebencht:

3 Min. 37 Sek.

 

[Tenchi Muyo]

MultiHash: 4 Min. 6s

http://corz.org/windows/software/checksum/#section-Multi-Hash

Hab ich oben noch ergänzt.

 

[Tenchi Muyo]

TurboSFV ist vor kurzem in der Version 8 erschienen - als 7er Käufer darf man netterweise kostenlos upgraden.

Mit Version 8 wurde auch noch eine günstigere Light Version für ca 17€ veröffentlicht (25€ die Standard).

Kann das Tool weiterhin bestens empfehlen es gab einige Updates die auch Verbesserungen mit brachten.

 

[askling]

Ich habe das Tool TurboSFV jetzt auch lange im Einsatz. Daher mal ein kleines Review.

Ich kann es absolut empfehlen und die 25€ sind für mich gut ausgegebenes Geld. Die ganzen Freeware Tools hatten immer irgendwo etwas was mir nicht gefallen hat oder nicht rund lief.

Das TurboSFV wird ständig gepflegt, ist wirklich gut zu benutzen, wird mit aktuellen Hash-Alogrithmen upgedatet, alle Funktionen sind auf der Webseite genau beschrieben. Es ist einfach super zum verifizieren für Backups oder Daten geeignet. Da unterstütze ich den Entwickler gerne.

Was mir so gut gefällt vom Workflow:
Wenn man einen Ordner prüft (Einfach per Rechtsklick auf den Ordner und den Eintrag TurboSFV), bekommt man ein kleines Checkfile direkt neben dem geprüften Ordner. Später kann man per Doppel-Klick auf das Checkfile einfach den aktuellen Zustand gegen den "damals gecheckten Zustand" Prüfen.

Man kann auch per extra Funktion prüfen, ob Files in dem Ordner gegenüber dem Zeitpunkt, wo das Checkfile erstellt wurde, neu dazu gekommen sind. Das fand ich das ein oder andere Mal auch ganz praktisch und man könnte schön sehen welche Files in den letzten Monaten dazu gekommen sind.

Was auch super ist, man kann für alle Unterordner jeweils einzeln ein Checkfile erstellen. Das Ist praktisch in Strukturen wo man öfter mal Ordner verschiebt. Denn trotz der Verschiebung können die Files so weiter korrekt geprüft werden.