Checksum Test Files gesucht

[user324543]

Hallo,
das Thema passt hier vielleicht eher: Ich suche Testdaten, die sich lediglich durch ihre Checksum unterscheiden, ansonsten identisch sind. Ich habe leider beim Recherchieren nicht heraus gefunden, wie man solche Daten selbst erzeugt oder solche Daten findet.

Ich brauche diese Dateien, um mein Backup Programm zu testen (um korrupte Dateien zu erkennen und diese zu ersetzten).

Danke schon mal!

 

[0x8100]

gleiche daten ergeben auch die gleiche checksumme. gleiche checksumme bei unterschiedlichen daten dagegen ist möglich.

 

[user324543]

gleiche daten ergeben auch die gleiche checksumme. gleiche checksumme bei unterschiedlichen daten dagegen ist möglich.

ok, anders ausgedrückt: Kann ich bei Dateien Bitänderungen erzeugen, ohne dass der Zeitstempel bzw. die Größe geändert wird? Es soll auf die Erkennung des Backup Programms von Bitfehlern hinauslaufen.

 

[Mihawk90]

Ja kann man, in Linux mit dd zum Beispiel. Unter Windows keine Ahnung Man muss eben auf Blocklevel-Ebene schreiben und nicht auf Dateisystem-Ebene.

Dann kann man aber als Backup-System auch gleich was verwenden wo das Dateisystem genau darauf ausgelegt ist, ZFS zum Beispiel.

 

[user324543]

Dann kann man aber als Backup-System auch gleich was verwenden wo das Dateisystem genau darauf ausgelegt ist, ZFS zum Beispiel.

Das Ganze soll unter Windows (NTFS) bleiben. Dateisysteme wie ZFS oder BTRFS sind mir zwar bekannt, möchte ich aber nicht nutzen.

 

[BFF]

Kann ich bei Dateien Bitänderungen erzeugen, ohne dass der Zeitstempel bzw. die Größe geändert wird?

Groesse bleibt doch gleich, wenn Du nix hinzufuegst oder entfernst.
Der Zeitstempel wird dann manuell auf das Gewuenschte gesetzt nachdem die Aenderung gespeichert ist.

https://www.tecchannel.de/a/datum-von-dateien-und-ordnern-in-windows-manipulieren,3278002

 

[LukS]

Einfach mit einem Hex Editor ein Bit ändern und danach die Zeitstempel manipulieren. So wies BFF vorschlägt.

 

[Wilhelm14]

Als Editor vielleicht den hier: https://notepad-plus-plus.org/
Zur Editierung der Zeitstempel: https://www.ghisler.com/ddownload.htm
Da kann man Erstellt, Geändert, Zugriff manuell vergeben. Du kannst dabei auch einem Ordner mit Unterordner/Inhalt in einem Rutsch einen Wunschstempel aufdrücken.

 

[user324543]

Danke, habe es nun so gelöst:
1) Txt Datei erstellt (Inhalt: 123)
2) Kopie erstellt
3) Kopie editiert (Inhalt: 456)
4) Zeitstempel der Kopie auf Original Datei geändert mittels Total Commander (ich wusste bisher nicht, das TC dies kann)

 

[Wilhelm14]

Ich habe mir noch nie Gedanken darüber gemacht, aber wird der Zeitstempel nicht bei der Prüfsummenerstellung ausgenommen? Oder wo steht der Zeitstempel? Zu großen Downloads werden ja häufig Prüfsummen bereitgestellt und der Zeitstempel ist ja je nach Download immer anders.
Beim Total-Commander kannst du auch vergleichen und dabei sagen, dass das nicht nach Zeitstempel, sondern Inhalt gemacht werden soll. Dauert dann entsprechend lange.

 

[user324543]

Ich habe mir noch nie Gedanken darüber gemacht, aber wird der Zeitstempel nicht bei der Prüfsummenerstellung ausgenommen? Oder wo steht der Zeitstempel? Zu großen Downloads werden ja häufig Prüfsummen bereitgestellt und der Zeitstempel ist ja je nach Download immer anders.
Beim Total-Commander kannst du auch vergleichen und dabei sagen, dass das nicht nach Zeitstempel, sondern Inhalt gemacht werden soll. Dauert dann entsprechend lange.

Der Zeitstempel steht unter den Eigenschaften bzw. ist in der Explorer Ansicht (Erstelldatum, Änderungsdatum,...). Die Prüfsumme ist unabhängig vom Zeitstempel und ist nur vom Dateiinhalt abhängig.

Bei der ganzen Thematik stellt sich mir jetzt aber folgende Frage:
Wie kann das Backup Programm zwischen einer gewollten und einer ungewollten (Bitfehler) Änderung einer Datei bei unverändertem Zeitstempel unterscheiden?

 

[Mihawk90]

Ich habe mir noch nie Gedanken darüber gemacht, aber wird der Zeitstempel nicht bei der Prüfsummenerstellung ausgenommen?

Das schon, es geht aber vermutlich eher um das verwendete Backupprogramm das primär erstmal nach dem Zeitstempel suchen wird bevor es anfängt für jede Datei eine Prüfsumme zu bilden.

Wie kann das Backup Programm zwischen einer gewollten und einer ungewollten (Bitfehler) Änderung einer Datei bei unverändertem Zeitstempel unterscheiden?

Eigentlich nur, wenn das Programm zeitgleich eine Art Datenbank pflegt, wo die "richtige" (beim ursprünglichen Backup erzeugte) Prüfsumme irgendwo aufgezeichnet wird, sonst weiß es ja auch nicht ob das Backup oder das Live-System defekt ist.
Deshalb hatte ich auch schon ZFS erwähnt weil das genau sowas tut.

 

[Wilhelm14]

Ja, der "steht" da, wird dort angezeigt. Aber der Stempel muss ja woanders als "in" der Datei sein, sonst würden die Prüfsummen bei ISO-Downloads immer anders aussehen. Was ich meine, der Zeitstempel sollte bei der Prüfsummenerstellung irrelevant sein.

Edit@Mihawk90: Ja, aber das kann man doch in den meisten Programmen einstellen, ob nach Zeitstempel/schnell oder "Inhalt"/langsam.

 

[Mihawk90]

Klar kann man es einstellen, ich meinte damit nur dass die Aussage vermutlich darauf hinaus lief.

 

[user324543]

Eigentlich nur, wenn das Programm zeitgleich eine Art Datenbank pflegt, wo die "richtige" (beim ursprünglichen Backup erzeugte) Prüfsumme irgendwo aufgezeichnet wird, sonst weiß es ja auch nicht ob das Backup oder das Live-System defekt ist.

Gibt es ein Backup Programm (für Win), was genau dies tut? Im Prinzip habe ich dann min. 3 Datensätze (1 Quell, 2 Backup).

 

[Wilhelm14]

Ich mache das mittlerweile via NAS. Also alles liegt auf dem NAS und das macht Backups mit Prüfsummen. Die integrierten Backup-Funktionen von Qnap und Synology können das.
Bevor ich das per NAS gemacht habe, kann ich mich z.B. an QtdSync erinnern. Wenn ich mich richtig erinnere ist QtdSync nur ein GUI für rsync. rsync selbst macht das, was du wünschst.
Ich habe noch andere in Erinnerung, wie FreeFileSync, aber das war irgendwann Werbe-und PUP-verseucht.

Ich bin allerdings ganz Ohr hier beim Thema. Woher weiß ein Backup-Programm ohne "Datenbank" sonst, ob die Datei i.O. ist oder nicht. Bzw. soll ja die defekte Datei mit der intakten überschrieben werden und nicht umgekehrt. Vielleicht gibt es hier anständige Tipps.

Edit: Gerade den Beitrag abgeschickt, fällt mir doch was ein:
https://www.heise.de/select/ct/2016/11/1464255473415047
strg+f integrität

 

[Mihawk90]

Kann ich dir leider nicht sagen, nie so wirklich mit beschäftigt
Deshalb nutzen die meisten für sowas eher ein NAS was solche Funktionen erfüllt.

Ergänzung (29. Januar 2020)

Woher weiß ein Backup-Programm ohne "Datenbank" sonst, ob die Datei i.O. ist oder nicht.

Eigentlich gar nicht. Das ist übrigens dasselbe Problem das Hardware RAID-Controller haben - bei einem Bitflip auf einem RAID1-Mirror weiß der Controller nicht welche Platte "Recht" hat. Hier kann nur mit intelligenten Dateisystemen Abhilfe geschaffen werden, die aber natürlich einen gewissen Overhead haben.

Anstelle der Datenbank können auch Dateiattribute verwendet werden (xargs auf Unixoiden, gibt sicher auch ähnliches bei Windows Extended File Attributes).
Im Anime-Universum ist es auch üblich die Checksummen in den Dateinamen zu haben (á la Serie FolgeXYZ [CRC32].mkv), aber das ist halt auch nicht überall machbar.

 

[user324543]

Eigentlich gar nicht. Das ist übrigens dasselbe Problem das Hardware RAID-Controller haben - bei einem Bitflip auf einem RAID1-Mirror weiß der Controller nicht welche Platte "Recht" hat. Hier kann nur mit intelligenten Dateisystemen Abhilfe geschaffen werden, die aber natürlich einen gewissen Overhead haben.

Hmm, lässt sich das nicht "einfach" über eine Prüfsummendatenbank abfedern? Dadurch kann ich die redundanten Datensätze mit der Prüfsumme in der Datenbank vergleichen (und die von der Prüfsumme abweichende Datei mit der richtigen Datei ggfs. ersetzen)

Edit: Gerade den Beitrag abgeschickt, fällt mir doch was ein:
https://www.heise.de/select/ct/2016/11/1464255473415047
strg+f integrität

Werde ich mal testen. Danke!
Habe es gerade getestet (V2.0.5.101). Leider ist das Ganze Browser basiert (und die Datenbank ist lokal abgespeichert). Hmm, das Programm warnt mich leider auch nicht, bei welcher Datei denn nun ein potentieller Bitfehler vorliegt

 

[Darkman.X]

Gibt es überhaupt Backup-Programme, die Prüfsummen nutzen? Weil sonst muss das Programm bei jedem Backup-Vorgang jede Quelldatei vollständig einlesen, damit es die Prüfsumme erstellen und mit einer Datenbank abgleichen kann. Das würde besonders bei sehr großen & vollen HDDs ja eine Ewigkeit dauern.

Daher würde ich davon ausgehen, dass ausschließlich mit Dateigrößen und Zeitstempel gearbeitet wird. Gerade Zeitstempel sind toll, weil die Zeit z.B. bei NTFS inkl. Nanosekunden gespeichert wird. Aber das schützt natürlich nicht vor Bitfehler.

 

[Mihawk90]

Hmm, lässt sich das nicht "einfach" über eine Prüfsummendatenbank abfedern?

Das ist ja genau das von dem ich gesprochen habe 🤔 :

Eigentlich nur, wenn das Programm zeitgleich eine Art Datenbank pflegt, wo die "richtige" (beim ursprünglichen Backup erzeugte) Prüfsumme irgendwo aufgezeichnet wird, sonst weiß es ja auch nicht ob das Backup oder das Live-System defekt ist.

Aber Hardware RAID-Controller sind dafür nicht ausgelegt bzw. haben auch nicht den Speicher dafür.

Hardware Controller sind sowieso "auf dem Weg nach draußen" wenn man so will. In größeren Unternehmen gibt es schon immer SANs die sowas handhaben und für kleinere sind Dateisysteme wie ZFS und Btrfs heute leicht zugänglich weil sie selbst von NAS Herstellern unter der Haube verwendet werden.
Die Performance-"Nachteile" sind heute eben nicht mehr relevant. Hardware RAID-Controller hatten ihre Berechtigung als der Overhead für solche Dateisysteme noch zu groß war, heute werden die meisten Controller gebraucht einfach geflasht und als HBA genutzt.