Dateien synchronisieren

[Hauro]

jemand meinte, es wäre nicht möglich beide schritte zusammen zu machen , weil "bc" die daten zuerst kopieren muss
und dann erst vergleichen kann. "beyond compare" kann das aber ganz sicher in einem schritt ?
er kopiert zuerst quasi jede datei und vergleicht diese binaer und erst dann kommt die naechste datei usw ?

Anmerkung:

Beyond Compare ist ein Programm das es erlaubt Ordner und Dateien zu vergleichen und damit die Differenzen darzustellen. Neben dem Vergleich von Dateien kann es auch gesamte Verzeichnisse, FTP- und SFTP- Verzeichnissen, Dropbox, Amazon S3 sowie Archive gegenüberstellen. Dafür werden die Ordner und Dateien im ersten Schritt eingelesen und angezeigt.

Warum?

Beyond Compare gibt dem Anwender/-in damit die Möglichkeit zu entscheiden Ordner und Dateien (dieses mal) auszuschließen oder die Quell-Datei durch das Ziel-Datei zu ersetzen, falls der vorherige Stand wiederhergestellt soll.

Erst mit dem Ausführen der Aktualisierung / Synchronisierung wird das Überschreiben mit anschließenden Vergleich ausgelöst. Da ein Fehler, z.B. Speicherfehler, beim Kopieren nicht ausgeschlossen werden kann, wird der Vergleich abschließend ausgeführt, um sicherzustellen dass der Vorgang erfolgreich war.

Kurz:

1. Ordner und Dateien einlesen und anzeigen
2. Optional: Ordner und Dateien aktuallisien / synchronisieren

wie ist es mit den hdds ?
werden die zusaetzlich strapaziert ?

Jede Aktivität belastet einen Datenträger mehr oder weniger - ein Schreib-Vorgang mehr, ein Lese-Vorgang weniger. Bei einer SSD ist dies gravierender, aber im privaten Bereich völlig unkritisch.

beziehunsgweise verringert das deren lebensdauer wenn ich bei backups beide schritte zusammen mache ?

Wird aktuell nicht unterstützt, siehe oben.

wieso eher im geschaeftsumfeld ?
kennst du zufaellig die begruendung dafuer ?

Volumeschattenkopie-Dienst (Volume Shadow Copy Service oder VSS) von Window

Das Sichern und Wiederherstellen wichtiger Geschäftsdaten kann aufgrund der folgenden Probleme sehr komplex sein:

• Die Daten müssen in der Regel gesichert werden, während die Anwendungen, die die Daten liefern, noch ausgeführt werden. Dies bedeutet, dass einige der Datendateien geöffnet sein oder sich in einem inkonsistenten Zustand befinden können.
• Wenn das Dataset groß ist, kann es schwierig sein, alle Daten gleichzeitig zu sichern.

Die ordnungsgemäße Ausführung von Sicherungs- und Wiederherstellungsvorgängen erfordert eine enge Koordination zwischen den Sicherungsanwendungen, den zu sichernden Branchenanwendungen und der Speicherverwaltungshardware und -software. Der Volumeschattenkopie-Dienst (Volume Shadow Copy Service oder VSS), der in Windows Server® 2003 eingeführt wurde, ermöglicht die Konversation zwischen diesen Komponenten, damit diese besser zusammenarbeiten können. Wenn alle Komponenten VSS unterstützen, können Sie sie verwenden, um Ihre Anwendungsdaten zu sichern, ohne die Anwendungen offline zu schalten.

Kurz:
Es nutzt nichts wenn die Backup-Anwendung VSS unterstütz es müssen alle beteiligten Anwendungen/Programme/Komponenten unterstützen sonst funktioniert es nicht. Im privaten Bereich wird dies ehner nicht gegeben sein.

 

[ksjdgzagt]

Warum?

Beyond Compare gibt dem Anwender/-in damit die Möglichkeit zu entscheiden Ordner und Dateien (dieses mal) auszuschließen oder die Quell-Datei durch das Ziel-Datei zu ersetzen, falls der vorherige Stand wiederhergestellt soll.

Erst mit dem Ausführen der Aktualisierung / Synchronisierung wird das Überschreiben mit anschließenden Vergleich ausgelöst. Da ein Fehler, z.B. Speicherfehler, beim Kopieren nicht ausgeschlossen werden kann, wird der Vergleich abschließend ausgeführt, um sicherzustellen dass der Vorgang erfolgreich war.

zunächsteinmal vielen dank für die mühe so ausführlich zu antworten !
ich weiss das sehr zu schätzen !

wenn ich dich richtig verstanden habe, dann regst du an die zwei einzelschritte nacheinander zu machen...
aber...

ich glaube hier liegt ein missverstaendnis, was die startbedingungen anbetrifft :-)

ich mache immer volle backups, das bedeutet ich formatiere vor dem kopieren das target-laufwerk.
ich habe derzeit kein nerv und zeit irgendwas zu vergleichen.
also, target-hdd formatieren und als target rechts im bc einbinden.
links wird das quell-laufwerk eingebunden.
demnach gibt es erstmal nichts zu vergleichen, weil rechts alles leer ist.

das ist immer der ausgangspunkt bei mir.

nun stehe ich vor der entscheidung einzel-kopieren oder kopieren samt binär-vergleich.
auf diese voraussetzungen basierte meine frage ob ich gleich doppel oder einzelschritte machen soll.

da ich sowieso alles nach rechts rüberschieben muss (kopieren muss) stellt sich diese frage nun.
was regst du nun ?
kann ich beide schritte bedenkenlos "reinballern" wie die jugend heutzutage so schön sagt ?
oder doch nacheinander ?

 

[Hauro]

ich mache immer volle backups, das bedeutet ich formatiere vor dem kopieren das target-laufwerk.

kann ich beide schritte bedenkenlos "reinballern" wie die jugend heutzutage so schön sagt ?
oder doch nacheinander ?

Da immer eine Initiale Datensicherung gemacht wird und damit die Quelle noch nicht vorhanden ist, kann der Binär-Vergleich bei der Sitzung eingestellt werden - es gibt ja noch nichts zu vergleichen. Damit kann sofort die Aktualisierung mit Binär-Vergleich gestartet werden. Bei großen Dateien, wie Videos, ist dann gut zu beobachten, dass kopiert und anschließend vergleichen wird.

 

[ksjdgzagt]

Da immer eine Initiale Datensicherung gemacht wird und damit die Quelle noch nicht vorhanden ist, kann der Binär-Vergleich bei der Sitzung eingestellt werden - es gibt ja noch nichts zu vergleichen. Damit kann sofort die Aktualisierung mit Binär-Vergleich gestartet werden. Bei großen Dateien, wie Videos, ist dann gut zu beobachten, dass kopiert und anschließend vergleichen wird.

wenn ich dich richtig verstanden habe, habe ich dein segen um beide schritte auf einmal zu machen :-)
vielen dank für deine mühe...ich bin die kreative typin und ich mag es nicht mich um hardware-angelegenheiten zu kümmern...umso wertvoller ist es so eine tolle hilfe zu haben ! mehr als jedesmal auf "gefällt mir" zu klicken kann ich leider nicht... :-(

an den moderatoren, administratoren hier. auf manchen plattformen kann man quasi einen kaffee jemand zukommen lassen...vielleicht kann man das hier im forum auch implementieren, bezahlung dann mit paypal.

 

[ksjdgzagt]

Damit kann sofort die Aktualisierung mit Binär-Vergleich gestartet werden. Bei großen Dateien, wie Videos, ist dann gut zu beobachten, dass kopiert und anschließend vergleichen wird.

hi,

du bist ja damit einverstanden dass ich als vergleichsmethode die binär-variante nutze.

beyond compare bietet ja auch die crc-variante an auf die du zb hier sehr ausfuehrlich eingehst:
https://www.computerbase.de/forum/threads/vergleich-von-datensaetzen-mehrer-hdds-software.1989844/

mein aktueller fallbeispiel ist ja simpel:
ich muss nur der inhalt von hdd 1 auf hdd 2 sichern und überprüfen.

fuer die zukunft damit ich nochwas lernen kann denn ich mag immer mehr
beyond compare:

in welchen komplizierteren fällen ist es ratsam eher die binaer und in welchen eher die crc-methode zu wählen ?
in meinem einfachen fall wären beide gleich geeignet ?

 

[Hauro]

in welchen komplizierteren fällen ist es ratsam eher die binaer und in welchen eher die crc-methode zu wählen ?
in meinem einfachen fall wären beide gleich geeignet ?

CRC Comparison - What is a CRC? | Beyond Compare

A CRC is a 4-byte mathematical checksum of a file's contents. If a pair of files have different CRCs, then you can be sure their contents are different. If they have matching CRCs, then it's likely (but not certain) that their contents match. If you happen to have CRCs already calculated for files, then comparing them is quite fast. But here's the catch: Beyond Compare has to read every byte of each file to calculate the CRCs, so why not do the (more accurate) binary comparison instead? Binary comparisons can also be faster, because they stop reading each file as soon as a difference is found.

Beim CRC-Vergleich wird die Datei eingelesen und ein Prüfwert berechnet und verglichen. Dies ist aufwendiger und daher besser den Binär-Vergleich durchführen, der Byte für Byte vergleicht und beim ersten Unterschied abbricht.

 

[Rickmer]

Je nach Setup ist CRC halt doch besser, jetzt mal allgemeiner gesehen.

Veeam z.B. mach den Health Check der Backup-Dateien auch mit CRC-Prüfsummen mit drei Vorteilen:
1) Es kann die gesamte Backup-Kette gecheckt werden weil die CRC-Prüfsummen kaum Speicherplatz brauchen aber man kaum ältere Backups mit der Produktivumgebung vergleichen kann. Sobald man eine Versionierung hat ist 'binary comparison' machtlos.
2) CRC-Prüfsummen können lokal auf dem Backup-Server abgeglichen werden, d.h. keine unnötige Auslastung der Netzwerkinfrastruktur (insbesondere wenn man eine Backup Copy auf einem Remote Standort hat mit bestenfalls vielleicht Gigabit Glasfaser Internetanschlüssen.)
3) Keine unnötige Belastung des Storage der Produktivumgebung

Das meiste davon ist natürlich für ein paar lokale Dateien egal, aber wenn man mit 'ner lokalen HDD vergleicht ist die Quelle trotzdem ein paar Stunden am rödeln bei einem binary Vergleich.

 

[ksjdgzagt]

Je nach Setup ist CRC halt doch besser, jetzt mal allgemeiner gesehen.

ok, und wie schaut es aus wenn man den crc-vergleich gleich beim sichern der daten macht ?
also backup mit gleichzeitigem crc-check...beyond compare bietet das an.



ich selbst habe ja bereits die backup-geschwinidigkeit von beyond compare getestet:

a) unter regelbasierter-vergleich (standard-einstellung)
b) gleichzeitigers kopieren und binärer vergleich (5 stunden länger als a)

ich teste mal jetzt gleichzeitiges kopieren und crc-vergleich.
mal sehen wie lange das dauert.
normal müsste es erheblich länger dauern, weil ja aufwendiger...
(systemauslastung scheint ähnlich wie binär zu sein...)

 

[ksjdgzagt]

das experiment c) (vollbackup & crc-vergleich gleichzeitig) habe ich abgebrochen weil:

in vergleich zum binären-vergleich wo "kopieren & binärer-vergleich" beides gleichzeitig enden,
verläuft die prozedur beim kopieren & crc-vergleich so ab, dass das kopieren schneller endet als das
der crc-vergleich. der crc-vergleich läuft einfach weiter obwohl beide gleichzeitig gestartet sind....
somit konnte ich nicht absehen wie lange das noch dauert.

Ergänzung (23. April 2021)

@Hauro: in deinem letzten screenshot steht etwas, was mich überrascht hat:
im (standard) regelbasierter vergleich, ist bereits ein binärer vergleich mit enthalten ?

wo ist dann der unterschied zu der option aus den regeln wo man
explizit den binärer vergleich anklicken kann ?

 

[Hauro]

wo ist dann der unterschied zu der option aus den regeln wo man
explizit den binärer vergleich anklicken kann ?

Der regelbasierte Vergleich berücksichtigt das Dateiformat:

Mögliche Einteilungen | Wikipedia

Dateiformate können nach vielen Kriterien eingeteilt werden. Verbreitete Kriterien sind zum Beispiel:

• textuell gegenüber binär

Dateien eines textuellen Formats können mit einem einfachen, allgemeinen Editor eingelesen, betrachtet und verändert werden; Binär-Dateien sind nur mit speziell geeigneten Anwendungen verständlich. Binär codierte Dateiformate wurden früher häufig gegenüber den textuellen Dateiformaten bevorzugt, weil sie deutlich weniger Speicherplatz beanspruchen. Demgegenüber haben heutzutage die textuellen Dateiformate eine zunehmende Verbreitung. Dies gilt insbesondere für das Metaformat XML.

• Daten gegenüber ausführbare Anwendung
• nach Inhaltstyp: Text-, Bild-, Ton-, Video-Formate
• offen gegenüber proprietär
• verbreitet gegenüber selten
• usw.

Über Regeln kann z.B. bei einem Text-Format festgelegt werden, ob Text unwichtig ist. Z.B. Regeln für den Vergleich von Firefox-Lesezeichen.



Damit ist der Inhalt auch gleich, wenn sich ICON, ICON_URI, ADD_DATE und LAST_MODIFIED ändern:

• Regel inaktiv
  
  
• Regel aktiv
  

Bei der Datensicherung daher Binär- oder CRC-Vergleich, da die Dateien auf Quelle und Ziel identisch sein müssen.

 

[ksjdgzagt]

Der regelbasierte Vergleich berücksichtigt das Dateiformat:

hi, ich schätze deine gründlichkeit zu antworten..aber könntest du einfacher und verständlicher fuer eine laie-in antworten ? ;-)



also mache ich das wie bisher festgelegt, beides gleichzeitig:
vollbackup & binärer vergleich.

offensichtlich ist der ausgang nicht immer der gleiche denn...
beim aktuellen durchlauf endet der binärvergleich nicht gleichzeitig mit der kopiervorgang sondern dauert noch an auch nachdem dieser beendet ist.

sonderbar...

• alle kopiervorgänge die ein binärvergleich beinhalteten endeten gleichzeitig.
• der letzte durchlauf erfolgte mit crc-vergleich statt binär und wurde abgebrochen.
• nun scheint der binärvergleich sich wie der crc-vergleich zu verhalten...

was denkst du darüber ?
wurden eventuell einstellungen aus dem crc vergleich im binär übernommen ?

 

[Hauro]

aber könntest du einfacher und verständlicher fuer eine laie-in antworten ? ;-)

Beim regelbasierter Vergleich wird z.B. ein Text (Dateinamenserweiterung .txt), nicht Byte für Byte sondern auf Zeichen-Ebene verglichen, ein Bild Pixel für Pixel, usw.

denn...
beim aktuellen durchlauf endet der binärvergleich nicht gleichzeitig mit der kopiervorgang sondern dauert noch an auch nachdem dieser beendet ist.

Habe einige Zeit keine Komplett-/Vollsicherung mehr gemacht. Es wurden die Dateien aber im Hintergrund parallel kopiert - der Inhalt mehrerer Ordner auf einmal. Damit kann der Kopiervorgang abgeschlossen sein, bevor der Vergleich, der länger dauert, beendet ist.

was denkst du darüber ?

Ein Diagnose ist schwierig da ich die Dateien, Anzahl und Größe nicht kenne.

Ich würde die Datensicherungsstrategie ändern und aufbauend auf die Komplett-/Vollsicherung eine differenzielle Sicherung machen. Falls aber immer eine Komplett-/Vollsicherung gemacht werden soll, zuerst die Daten kopieren und anschließend vergleichen.

wurden eventuell einstellungen aus dem crc vergleich im binär übernommen ?

Eher auszuschließen.

'Schnelltest-Ergebnisse außer Kraft setzen' setzt die Ergebnisse des Schnelltests außer Kraft:

Sitzung > Sitzungseinstellungen > Vergleich

Schnelltest-Ergebnisse außer Kraft setzen Markiert Dateien als gleich, wenn ein Inhaltsvergleich Übereinstimmung festgestellt hat, obwohl es ggf. Unterschiede im Zeitstempel oder anderen Schnelltests gibt.​

 

[ksjdgzagt]

Eher auszuschließen.

also, ich habe bc beendet, neu gestartet und alle einstellungen manuell auf werk gemacht, danach auf binär.
um sicher zu sein, dass keine einstellung aus dem crc-vergleich ünbernommen wurde.

tatsache ist, dass sich bc nach einer weile, zumindest bei mir ein wenig merkwürdig verhält:
nach installation und nutzung einie male geht er nach jedem beenden auf standardeinstellungen.
das heisst man muss jedesmal neu einstellen was man will, wenn man kein standard will.

nach einer zeit nutzung änert sich nach neustart nichts, er übernimmt die letzten einstellungen vor dem neustart. deshalb dachte ich vllt dasser aus dem crc-vergleich etwas übernommen hätte.

ok, neue erkenntnis: m besten immer bc neu starten und zunächst alle einstellungen auf werk setzen. dann einstellen was man will.