Im Netzwerk übertragene Dateien auf vollständigkeit prüfen (Checksumme)

[silvermir]

Hallo,

ich wollte mal Fragen wie sicher die Daten die man in einem Netzwer überträgt an ihrem Ziel ankommen. Ich habe in vergangenheit schonmal das Problem gehabt das ich z.B. eine Videodatei übertragen habe diese dann aber nicht abspielbar gewesen ist obwohl die Dateigröße identisch gewesen ist. Nun möchte ich sensibelere Dateien auf mein Server kopieren und verhindern das so etwas passieren kann bzw. das ich gewarnt werde wenn eine datei nicht korrekt übertragen wurde...

Habt ihr ideen oder vorschläge?

 

[Akkulaus]

Vielleicht hilft dir sowas weiter: https://www.codesector.com/teracopy

 

[KillerCow]

Sowas sollten Backuptools erledigen, aber auch bessere Dateimanager respektive Kopier-/Synctools. Für Windows könntest du dir robocopy anschauen, damit dürfte ein Check nach dem Übertragen möglich sein.

 

[UNDERESTIMATED]

Dopus oder TotalCommander können das auch.
Dopus aber meines Wissens nur via FTP, also nicht im normalen Windows.

Teracopy und Robocopy können also SFTP? Interessant.

 

[yxman]

rsync

 

[Telvanis]

Würde sowas auch einfach über nen selbst erzeugten Hash funktionieren? Also von der Datei vorher und nachher ein Hash erstellen und danach vergleichen...
Das müsste eigentlich auch automatisiert und ohne extra Programme funktionieren. Wobei n extra Programm natürlich einfacher zu bedienen ist.

 

[LieberNetterFlo]

edit: ich zieh die aussage mit rsync zurück

 

[KillerCow]

Teracopy und Robocopy können also SFTP? Interessant.

Ich sehe gerade nirgends die Anforderung für SFTP... ist vielleicht noch zu früh für mich ^^

 

[UNDERESTIMATED]

Ich sehe die Anforderung "in einem Netzwerk" "sensible" Dateien "geprüft" auf "einen Server" zu kopieren.

Da muss ich nicht lang' grübeln um bei SFTP zu landen.

 

[Madman1209]

Hi,

ich schon, weil wenn der Server im gleichen Netzwerk steht ist es durchaus wahrscheinlich, dass es sich um eine SMB Freigabe / Netzlaufwerk oder ähnliches handelt. Zumindest wenn nicht explizit davon gesprochen wird.

VG,
Mad

 

[KillerCow]

Ich sehe die Anforderung "in einem Netzwerk" "sensible" Dateien "geprüft" auf "einen Server" zu kopieren.

Da muss ich nicht lang' grübeln um bei SFTP zu landen.

Die Frage war aber nicht, wie schicke ich Daten sicher über ein Netzwerk, sondern, wie gehe ich sicher, dass die gesendeten Daten unverfälscht am anderen Ende angekommen sind Außerdem kann es brand gefährlich sein, Dinge einfach anzunehmen... das habe ich durch meinen Job oft genug miterleben dürfen.

 

[UNDERESTIMATED]

Wie kannst du denn aber mit dem WindowsBordmitteln oder Helferlein dafür bitte via Netwerk mit Prüfsummenchecks auf einen Server kopieren? Würde mich echt interessieren.

Betreibe und verwalte selbst einige kleinere VPS und Rootserver bzw. administriere diese für einfachere Dinge.
Natürlich laufen die nicht auf Windows - aber selbst wenn: Geht das so "einfach" wie im Explorer "Neu->Verknüpfung->FTP->Name->Adresse" mit den genannten Kriterien dann? Wäre mir jedenfalls neu, man lernt ja aber nie aus.

Ergänzung (29. März 2019)

weil wenn [ist es] durchaus wahrscheinlich

Klar. Ist mir aber zuviel Ratespiel inside. Dann berate ich lieber in Richtung Plattform und Standortunabhängig. Just said.

Nur mal so:

TCP/IP (in IPv4) has 32 bit CRC error checking that is capable of catching (and asking for a retransmit of) packets with the following errors:

Any 1 bit error
Any two adjacent 1 bit errors
Any odd number of 1 bit errors
Any burst of errors with a length of 32 or less

Wüsste also nicht warum ich da noch eine Extralast auf beiden Geräten mit Drittsoftware auf einem erzeugen sollte.

 

[silvermir]

How to protect your critical data during transfer
By definition the Ethernet and TCP stacks cannot protect your data from errors that are undetectable. You can however ensure that any corruption is still detected by you or your application.
If you are transferring files via FTP or some other protocol you can zip the file before transferring. A corrupted file will not unzip correctly. Depending on the file this may have the added benefit of reducing the file size, fewer bits means less probability of undetectable errors and a shorter transfer time. If you are transferring data in an application you can add a hash (MD5, SHA-1, or something similar) of the data as part of each application layer message that is being sent. This will add bits to the message and CPU processing time but you will be guaranteed that any data corruption will be detected by the receiving application.

-----------------------------
Ich denke das ich das so machen werde... Ich Zippe die daten vorher und entpacke sie auf dem server... falls dann was schief gelaufen ist weis ich sofort beschei... danke

 

[h00bi]

das is doch total umständlich, das musst du ja alles in Etappen manuell erledigen.
Ich rate auch zu teracopy und co wenn es im gleichen Netzwerk ist, das übernimmt die ganze Klickerei.
Teracopy bietet deutlich mehr vorteile als nur den Check. Zum Beispiel kann man mit teracopy auch verschieben, aber eben erst die Quelldatei löschen wenn der Check ok ist. Dazu kommen dann auch noch Spielereien wie Pause, vernünftiges Fehlerhandling (werden ans Ende der Warteschlange gestellt und der Job erstmal läuft weiter), Shutdown nach Erledigung des Jobs usw.