robocopy logdate auswerten, zeigt bereits übertragene Dateien im Log als "Neue Datei"

floogy

Cadet 4th Year
Registriert
Jan. 2011
Beiträge
74
robocopy logfile auswerten, zeigt bereits übertragene Dateien im Log als "Neue Datei"

Hallo,

ich benutze robocopy XP027 auf einem windows 10 professional System (upgrade von 7) mittels YarcGUI.

Im Log finden sich folgende Klassen:
Code:
        Name      -1
      Geändert
    Neue Datei
  *EXTRA Datei
  <TWEAKED F>
  Fix    neuer
  Fix   gleich
  Fix geändert

Code:
robocopy Dateiklasse (file class) 	Anzahl Zeilen/Vorkommnisse

        Name      -1	                6
      Geändert	                        905
    Neue Datei	                        65435
  *EXTRA Datei	                        1828
  <TWEAKED F>	                        1530
  Fix    neuer	                        9358
  Fix   gleich	                        268131
  Fix geändert 	                        91015

Dazu hatte ich das hier gefunden, aber was entspricht welcher deutschsprachigen Klasse?
Code:
File        Exists In   Exists In        Source/Dest     Source/Dest   Source/Dest
Class       Source      Destination      File Times      File Sizes    Attributes
=========== =========== ================ =============== ============= ============
Lonely      Yes         No               n/a             n/a           n/a
Tweaked     Yes         Yes              Equal           Equal         Different
Same        Yes         Yes              Equal           Equal         Equal
Changed     Yes         Yes              Equal           Different     n/a
Newer       Yes         Yes              Source > Dest   n/a           n/a
Older       Yes         Yes              Source < Dest   n/a           n/a
Extra       No          Yes              n/a             n/a           n/a
Mismatched  Yes (file)  Yes (directory)  n/a             n/a           n/a
http://superuser.com/questions/314503/what-does-robocopy-mean-by-tweaked-lonely-and-extra

Außerdem werden offensichtlich bereits übertragene Dateien als "Neue Datei" erneut übertragen? Das hier scheint ein ähnliches Problem zu beschreiben. https://www.computerbase.de/forum/t...erte-dateien-als-geaendert-angesehen.1206561/

Code:
     1  Laufwerksdaten Quelle (\\Datenserver\ao):
     2      Gesamt:   17.592.186.036.224 Bytes
     3      Belegt:   15.561.643.577.344 Bytes (88,5%)
     4      Frei:      2.030.542.458.880 Bytes (11,5%)
     5      Verfügbar: 2.030.542.458.880 Bytes
     6
     7  -------------------------------------------------------------------------------
     8     ROBOCOPY     ::     Robustes Dateikopieren für Windows
     9  -------------------------------------------------------------------------------
    10
    11    Gestartet: Montag, 24. Oktober 2016 22:20:03
    12     Quelle : \\Datenserver\ao\ao\
    13       Ziel : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao\
    14
    15      Dateien : *.*
    16
    17   Ausf. Verzeichnisse : $RECYCLE.BIN
    18              .AppleDouble
    19              System Volume Information
    20
    21    Optionen: *.* /FFT /DST /V /X /TS /FP /TEE /S /E /DCOPY:T /COPY:DAT /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /MT:128 /R:3 /W:3
    22
    23  ------------------------------------------------------------------------------
    24
[...]
    30            Fix geändert             25214 2015/05/05 15:16:03    \\Datenserver\ao\ao\Drive D\cfiicon_265.ico


[...]       

518024              Neue Datei             23040 2016/08/25 07:57:10    \\Datenserver\ao\ao\verlegte_Raumbilder\A2\K18\Thumbs.db
[...]   
518027
518028  ------------------------------------------------------------------------------
518029
518030             Insgesamt   KopiertÜbersprungenKeine Übereinstimmung    FEHLER    Extras
518031  Verzeich.:      5653      5647      5435         0        95         0
518032    Dateien:    515904     66351    449557         0         0      1957
518033      Bytes:   6.086 t 408.959 g   5.687 t         0         0  25.776 g
518034     Zeiten: 523:59:50   4:47:36                       0:00:00   0:00:00
518035     Beendet: Dienstag, 25. Oktober 2016 03:07:40
518036
518037
518038  Laufwerksdaten Ziel (\\FREENAS\data):
518039      Gesamt:   16.632.296.747.008 Bytes
518040      Belegt:    6.998.595.795.968 Bytes (42,1%)
518041      Frei:      9.633.700.951.040 Bytes (57,9%)
518042      Verfügbar: 9.633.700.951.040 Bytes

Mich würde auch mal interessieren, ob die Zusammenfassung eigentlich so formatiert sein sollte:

Code:
518030         Insgesamt |  Kopiert | Übersprungen | Keine Übereinstimmung | FEHLER | Extras

518031 Verzeich.:   5653       5647           5435                       0       95        0
518032   Dateien: 515904      66351         449557                       0        0     1957
518033     Bytes:  6.086 t  408.959 g        5.687 t                     0        0   25.776 g

518034     Zeiten: 523:59:50    4:47:36                       0:00:00   0:00:00

Update:
Ich habe nun XP026 nachinstalliert, da es im Netz mehrere Hinweise darauf gab, dass das Problem der erneuten Übertragung an der Version XP027 liegen würde.

Das war allerdings nicht so einfach. XP010 lässt sich ganz einfach mit den Windows Server 2003 Resource Tool Kit nachinstallieren. XP026 (5.1.2600.26) hingegen lässt sich auf Windows 7-10 (Vista ungetestet) nicht nachinstallieren, da der Installer, der dazu notwendigen „Microsoft Robocopy GUI. Produktversion: 1.0.0“, aus den UtilitySpotlight2006_11.exe, die auf dem System bereits vorhandene Robocopy-Version nicht überschreiben kann, und diese durch den TrustedInstaller geschützt ist. Aber selbst, wenn man den TrustedInstaller abschaltet und die ACLs der bestehende Robocopy.exe (XP027, 5.1.10.1027 [Win 7], 10.0.14393.0 [Win 10]) so anpast, dass der Administrator Schreibrechte bekommt und die Robocopy.exe umbenennt, um sie aus dem Weg zu schaffen, dann wird sie nicht installiert, obwohl Robocopy Gui erfolgreich installiert wurde, und mit der XP 026 Version der Robocopy.exe ausgeliefert wird. Eventuell muss man auch die Hardlinkreferenz umbenennen, das hatte ich nicht gemacht, da ich denke, diese würde entsprechend nach der anderen Version benannt, also ohne Konflikt vom Installer abzuspeichern sein.

https://technet.microsoft.com/en-us/library/2006.11.utilityspotlight.aspx

Besitz einer Datei übernehmen
http://www.wintotal.de/tipparchiv/?id=1325

Ich habe dazu in Virtual Box ein altes XP installiert und dort MS Robocopy GUI aus dem Paket UtilitySpotlight2006_11.exe installiert und die so mitinstallierte Robocopy.exe XP026 auf die Win 7 und Win 10 Systeme kopiert. https://www.computerbase.de/forum/t...nd-xp010-auf-windows-10-installieren.1629130/

Nun konnte ich also alle Versionen in YarcGUI testen.

QPeQoGE.png


Und tatsächlich funktionierten, im Gegensatz zu XP027, beide Versionen XP010, als auch XP026 ohne erneut die im Ziel bereits vorhanden Dateien zu übertragen! Das wird ja auch an mehreren Stellen beschrieben.

RobocopyMonitor FAQs
http://www.ophthalmostar.de/robocopy.htm#bottom
Die Version XP010 scheint Probleme beim Kopieren von NTFS- auf FAT32-Laufwerke zu haben. Es kommt vor, dass der Zeitstempel nicht korrekt übertragen wird. Dies führt dazu, dass Dateien unnötig wiederholt kopiert werden. Daher empfehlen wir XP-Anwendern die Version XP026 (UtilitySpotlight2006_11.exe)

Robocopy problem under Windows 8
https://social.technet.microsoft.co...-problem-under-windows-8?forum=w8itprogeneral

Dort wird auch erwähnt, man solle das HomeGroup Feature ab Windows 7 ausschalten.

Could this be caused by the same problem that causes Windows File History to backup unmodified files?

The following thread discusses this topic: Windows 8 File History - Excessive backup - Excessively saving copies of files (photos, videos, documents, etc.) http://social.technet.microsoft.com...l/thread/14cedd95-b3b0-4830-be00-da793dda9e27

The fix there was to disable Homegroup functionality.
[...]
Could this be it? As far as I know, BOTH the File History and Robocopy use Shadow Copy functionality to copy locked files on-the-fly. So it looks like, the problem lies with how Shadow Copy works when Home Group functionality is turned on.

Gentlemen, could you please verify that and check if switching Home Group off helps here as well or not?

Das scheint aber auch nicht unbedingt zu helfen.
Glad to get the Homegroup link out of Explorer, but wish that would have been the fix. It wasn't.
FWIW, I'm running W8 x64 Enterprise, there are no HomeGroups in my domain, and File History is not on. I'm also experiencing Robert's problem with robocopy when copying Intel drivers from my E: drive to a USB key.

Hier ist aber eine positive Meldung dazu:
I'm going to try to force the indexing to see if "modified" recurs; I haven't seen it since I left the homegroup yesterday.

Robert

later: I forced the reindex, ran the script and had no "Modified" files in the Robocopy log.

--

Drat! I reestablished the homegroup, ran the script with /COPY: DT and was deluged again with modified files. Now I have to try adding the ATTRIB commands found in the link suggested by Exotic Hadron.

Robert

--

I'd be happy to abandon robocopy were there something which offers the same facilities: I have to be able to move encrypted files and to exclude certain files, certain subdirectories and, of course, to copy only newer files.

So far, abandoning the homegroup seems to be the most useful.

Robert

Andere, die das gleiche Problem haben sind aber auf XP010 aus dem WS2k3 Resource Tool Kit umgestiegen.
Same issues here.... I've reverted back to the one from the 2003 resource kit which seems to work ok.

http://www.microsoft.com/en-us/download/details.aspx?id=17657

Arjan

--

Yep, Windows 10 same issue here. Too bad MS does not want to fix it.



Trotzdem hier der Hinweis, wie man das ausschalten kann.
How To Disable or Enable the Homegroup Feature in Windows 7
http://www.howtogeek.com/howto/27091/how-to-disable-or-enable-the-homegroup-feature-in-windows-7/

Das habe ich allerdings noch nicht versucht.

Hier meine Log-Dateie-Ausgaben. Man sieht auch schön, dass in der englischsprachigen Version die Formattierung der Zusammenfassung auch schön sauber ist und nicht so kaputt wie in der deutschen Version von XP 027. ;)

Code:
22:22:04 YARCGUI 4726.29659
22:22:04 Mittwoch 26. Oktober 2016 KW 43
22:22:06 Standardauftragsliste geladen.
23:38:45 Einstellungen gespeichert.
00:10:53 Auftrag geändert
00:11:01 
00:11:01 27.10.2016 ---------------------------- Start ----------------------------------------
00:11:01 
00:11:01 Auftrag Pos. 3 - Durchführung mit Robocopyversion XP010
00:11:01 Auftrag 1 von 1.
00:11:01   AuftragsID: 37a7ec36-c79f-4bc7-8a3f-86e815ee7b86
00:11:01   Quelle    : \\Datenserver\ao\ao
00:11:01   Ziel      : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao
00:11:01   Dateien   : 
00:11:01   Optionen  : /MIR /ZB /XN /XJ /FFT /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /V /X /GBFQ /GBFZ /LOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"
00:11:01   Bemerkung : Spiegelung von B:\ao -> FreeNAS (XP010)
00:11:01   Protokoll : "C:\Program Files (x86)\YARCGUI\Logs\37a7ec36-c79f-4bc7-8a3f-86e815ee7b86_3__Datenserver_ao_ao_2016-10-27_00.11-2.txt"
01:24:04   Fertig. RoboCopy XP010 ExitCode: 1 (COPY).
01:24:04   COPY
01:24:04    - Dateien wurden erfolgreich kopiert (also sind neue Dateien angekommen).
01:24:04   Laufzeit: 01:13:02
01:24:04 27.10.2016 ---------------------------- Finis ----------------------------------------
01:24:04 Gesamtlaufzeit: 01:13:02
01:42:54 Starte Protokollanzeige...
01:47:20 
01:47:20 27.10.2016 ---------------------------- Start ----------------------------------------
01:47:20 
01:47:20 Auftrag Pos. 3 - Durchführung mit Robocopyversion XP010
01:47:20 Auftrag 1 von 1.
01:47:20   AuftragsID: 37a7ec36-c79f-4bc7-8a3f-86e815ee7b86
01:47:20   Quelle    : \\Datenserver\ao\ao
01:47:20   Ziel      : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao
01:47:20   Dateien   : 
01:47:20   Optionen  : /MIR /ZB /XN /XJ /FFT /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /V /X /GBFQ /GBFZ /LOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"
01:47:20   Bemerkung : Spiegelung von B:\ao -> FreeNAS (XP010)
01:47:20   Protokoll : "C:\Program Files (x86)\YARCGUI\Logs\37a7ec36-c79f-4bc7-8a3f-86e815ee7b86_3__Datenserver_ao_ao_2016-10-27_01.47-2.txt"
02:04:36   Fertig. RoboCopy XP010 ExitCode: 0 (NO_CHANGE).
02:04:36   NO_CHANGE
02:04:36    - Keine Fehler und nichts kopiert.
02:04:36    - Quelle und Ziel sind komplett synchron.
02:04:36   Laufzeit: 00:17:15
02:04:36 27.10.2016 ---------------------------- Finis ----------------------------------------
02:04:36 Gesamtlaufzeit: 00:17:16
03:19:15 Einstellungen gespeichert.
03:19:38 Starte Protokollanzeige...
03:21:27 Auftrag geändert
03:21:40 
03:21:40 27.10.2016 ---------------------------- Start ----------------------------------------
03:21:40 
03:21:40 Auftrag Pos. 4 - Durchführung mit Robocopyversion XP026
03:21:40 Auftrag 1 von 1.
03:21:40   AuftragsID: af70db68-30f0-422e-b61b-62d9d0fe9478
03:21:40   Quelle    : \\Datenserver\ao\ao
03:21:40   Ziel      : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao
03:21:40   Dateien   : 
03:21:40   Optionen  : /MIR /DCOPY:T /ZB /TIMFIX /XN /XJ /XJD /XJF /FFT /DST /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /V /X /GBFQ /GBFZ /LOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"
03:21:40   Bemerkung : Spiegelung von B:\ao -> FreeNAS (XP 026)
03:21:40   Protokoll : "C:\Program Files (x86)\YARCGUI\Logs\af70db68-30f0-422e-b61b-62d9d0fe9478_4__Datenserver_ao_ao_2016-10-27_03.21-2.txt"
04:25:20   Fertig. RoboCopy !- XP026 -! ExitCode: 0 (NO_CHANGE).
04:25:20   NO_CHANGE
04:25:20    - Keine Fehler und nichts kopiert.
04:25:20    - Quelle und Ziel sind komplett synchron.
04:25:20   >ABER<
04:25:20     - Robocopyversion XP026 gibt IMMER Exitcode 0 zurück!
04:25:20     - Wenn nötig das Auftragsprotokoll zu Rate ziehen.
04:25:20   Laufzeit: 01:03:39
04:25:20 27.10.2016 ---------------------------- Finis ----------------------------------------
04:25:20 Gesamtlaufzeit: 01:03:39
10:44:10 Starte Protokollanzeige...

_________________________________________________________________________________________________________________________

Laufwerksdaten Quelle (\\Datenserver\ao):
    Gesamt:   17.592.186.036.224 Bytes
    Belegt:   15.566.600.814.592 Bytes (88,5%)
    Frei:      2.025.585.221.632 Bytes (11,5%)
    Verfügbar: 2.025.585.221.632 Bytes

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP010
-------------------------------------------------------------------------------

  Started : Thu Oct 27 00:11:02 2016

   Source : \\Datenserver\ao\ao\
     Dest : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao\

    Files : *.*
	    
 Exc Dirs : $RECYCLE.BIN
	    .AppleDouble
	    System Volume Information
	    
  Options : *.* /FFT /V /X /TS /FP /TEE /S /E /COPY:DAT /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3 

------------------------------------------------------------------------------

	                   0	\\Datenserver\ao\ao\
[...]
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :      5941         0      5941         0         0         0
    Files :    836850      3342    833508         0         0         0
    Bytes :7522.124 g   5.913 g7516.211 g         0         0         0
    Times :   1:13:02   0:08:06                       0:00:00   1:04:55

    Speed :            13038679 Bytes/sec.
    Speed :             746.079 MegaBytes/min.

    Ended : Thu Oct 27 01:24:04 2016

Laufwerksdaten Ziel (\\FREENAS\data):
    Gesamt:   16.631.953.387.520 Bytes
    Belegt:    6.999.714.180.096 Bytes (42,1%)
    Frei:      9.632.239.207.424 Bytes (57,9%)
    Verfügbar: 9.632.239.207.424 Bytes
_________________________________________________________________________________________________________________________

Laufwerksdaten Quelle (\\Datenserver\ao):
    Gesamt:   17.592.186.036.224 Bytes
    Belegt:   15.566.600.814.592 Bytes (88,5%)
    Frei:      2.025.585.221.632 Bytes (11,5%)
    Verfügbar: 2.025.585.221.632 Bytes

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP010
-------------------------------------------------------------------------------

  Started : Thu Oct 27 01:47:20 2016

   Source : \\Datenserver\ao\ao\
     Dest : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao\

    Files : *.*
	    
 Exc Dirs : $RECYCLE.BIN
	    .AppleDouble
	    System Volume Information
	    
  Options : *.* /FFT /V /X /TS /FP /TEE /S /E /COPY:DAT /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3 

------------------------------------------------------------------------------

	                   0	\\Datenserver\ao\ao\
[...]
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :      5941         0      5941         0         0         0
    Files :    836850         0    836850         0         0         0
    Bytes :7522.124 g         07522.124 g         0         0         0
    Times :   0:17:15   0:00:00                       0:00:00   0:17:15

    Ended : Thu Oct 27 02:04:36 2016

Laufwerksdaten Ziel (\\FREENAS\data):
    Gesamt:   16.631.948.272.640 Bytes
    Belegt:    6.999.714.180.096 Bytes (42,1%)
    Frei:      9.632.234.092.544 Bytes (57,9%)
    Verfügbar: 9.632.234.092.544 Bytes

_________________________________________________________________________________________________________________________

Laufwerksdaten Quelle (\\Datenserver\ao):
    Gesamt:   17.592.186.036.224 Bytes
    Belegt:   15.566.600.814.592 Bytes (88,5%)
    Frei:      2.025.585.221.632 Bytes (11,5%)
    Verfügbar: 2.025.585.221.632 Bytes

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP026
-------------------------------------------------------------------------------

  Started : Thu Oct 27 03:21:40 2016

   Source : \\Datenserver\ao\ao\
     Dest : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao\

    Files : *.*
	    
 Exc Dirs : $RECYCLE.BIN
	    .AppleDouble
	    System Volume Information
	    
  Options : *.* /FFT /DST /V /X /TS /FP /TEE /S /E /COPY:DAT /DCOPY:T /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3 

------------------------------------------------------------------------------

	                   0	\\Datenserver\ao\ao\
 [...]
					   
------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :      5941         0      5941         0         0         0
    Files :    836850         0    836850         0         0         0
    Bytes :7522.124 g         07522.124 g         0         0         0
    Times :   1:03:39   0:46:04                       0:00:00   0:17:34

    Ended : Thu Oct 27 04:25:20 2016

Laufwerksdaten Ziel (\\FREENAS\data):
    Gesamt:   16.631.945.579.520 Bytes
    Belegt:    6.999.714.180.096 Bytes (42,1%)
    Frei:      9.632.231.399.424 Bytes (57,9%)
    Verfügbar: 9.632.231.399.424 Bytes
 
Zuletzt bearbeitet: (Typo)
Hallo,

um nochmal auf die Datei-Klassen zurückzukommen. Kann das „Fix“ bedeuten, dass es sich hier ausschließlich um die Sicherheitskennungen handelt, die neuer, gleich oder geändert sind, und die Tabelle zu XP 010 diese gar nicht kennt und es da fix newer, fix same, fix changed heißen müsste (> XP 026)? Ich komme darauf wegen dem Parameter /SECFIX, der ausschließlich die Sicherheitskennung anpasst, ohne gleiche Dateiinhalte nochmals zu kopieren.
https://blogs.technet.microsoft.com...bocopy-mir-switch-mirroring-file-permissions/

Für einen Link zu einem eingehenden Artikel zum Logfile wäre ich dankbar.

Im Log finden sich folgende Klassen:
Code:
        Name      -1
      Geändert
    Neue Datei
  *EXTRA Datei
  <TWEAKED F>
  Fix    neuer
  Fix   gleich
  Fix geändert

Code:
robocopy Dateiklasse (file class) 	Anzahl Zeilen/Vorkommnisse

        Name      -1	                6
      Geändert	                        905
    Neue Datei	                        65435
  *EXTRA Datei	                        1828
  <TWEAKED F>	                        1530
  Fix    neuer	                        9358
  Fix   gleich	                        268131
  Fix geändert 	                        91015

Dazu hatte ich das hier gefunden, aber was entspricht welcher deutschsprachigen Klasse?
Code:
File        Exists In   Exists In        Source/Dest     Source/Dest   Source/Dest
Class       Source      Destination      File Times      File Sizes    Attributes
=========== =========== ================ =============== ============= ============
Lonely      Yes         No               n/a             n/a           n/a
Tweaked     Yes         Yes              Equal           Equal         Different
Same        Yes         Yes              Equal           Equal         Equal
Changed     Yes         Yes              Equal           Different     n/a
Newer       Yes         Yes              Source > Dest   n/a           n/a
Older       Yes         Yes              Source < Dest   n/a           n/a
Extra       No          Yes              n/a             n/a           n/a
Mismatched  Yes (file)  Yes (directory)  n/a             n/a           n/a
http://superuser.com/questions/314503/what-does-robocopy-mean-by-tweaked-lonely-and-extra


Die erneute Übertragung neuer Dateien findet mit XP 026 nicht statt, das hat mich ermutigt, einige Optionen zu den ACLs, Benutzer sowie Auditing nochmals auszuprobieren. Bei /COPYALL bekomme ich aber mit der Version XP 026 ebenfalls Fehler.

Code:
  Options : *.* /FFT /DST /X /TS /FP /TEE /UNICODE /S /E /COPY:DATSO /DCOPY:T /SECFIX /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3 

------------------------------------------------------------------------------

	                   0	\\Datenserver\ao\ao\
2016/10/29 14:51:43 ERROR 1307 (0x0000051B) Copying NTFS Security to Destination Directory \\Datenserver\ao\ao\
Diese Sicherheitskennung kann nicht als Besitzer des Objekts zugeordnet werden.

ERROR 1307 (0x0000051B) - While copying with Robocopy - None of the known sollutions work
http://serverfault.com/Questions/55...e of the known sollutions work#answers-header

Robocopy failure with Windows Server 2008 Scheduled Task
http://serverfault.com/questions/236963/robocopy-failure-with-windows-server-2008-scheduled-task


Mit XP 027 bekam ich folgende Fehler, möglicherweise belastete robocopy dort zu sehr einen der beiden SMB-Shares (Helios PCShare oder FreeNas Samba)
Code:
2016/10/28 00:31:21 FEHLER 59 (0x0000003B) (Unerwarteter Netzwerkfehler.)
2016/10/28 00:31:21 FEHLER 64 (0x00000040) (Der angegebene Netzwerkname ist nicht mehr verfügbar.)
2016/10/28 01:10:25 FEHLER 5 (0x00000005) (Zugriff verweigert)

Update:
Ich hatte nun statt /COPYALL verschiedene Optionen ausprobiert, wie /COPY: DATSO und /COPY: DATS. /COPY: DATS /SECFIX scheint dabei zu funktionieren. Also ist es möglicherweise etwas mit verwaisten SIDs, also Benutzerkennungen, die aus der AD gelöscht wurden (beide FreeNAS, als auch HELIOS sind der Active Directory Domäne beigetreten), oder eine bestimmte Berechtigung in den Gruppenrichtlinien ("Restore files and directories") für den Account und Benutzer, mit dem robocopy aufgerufen wird?

The account used to perform the copy must have the "Restore files and directories" user right to change the owner to anything other than itself or Administrators.
http://serverfault.com/questions/236963/robocopy-failure-with-windows-server-2008-scheduled-task
https://technet.microsoft.com/en-us/library/cc783530(v=ws.10).aspx

Code:
  Options : *.* /FFT /DST /X /TS /FP /TEE /UNICODE /S /E /COPY:DATS /DCOPY:T /SECFIX /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3
 
Zuletzt bearbeitet: (Typo)
Könntest du uns mal erleuchten wo du diese Schalteritis zusammengeklaubt hast? Die Hilfe zu ROBOCOPY würde eröffenen dass /MIR ≡ /E /PURGE ist, warum gibst du beides an?

Lonely = nur an der Quelle vorhanden
Extra = Nur am Ziel vorhanden
Tweaked = auch tohchehd genannt - Attribute wurden geändert, nicht Zeit/Datum oder Inhalt
Same = Quelle und Ziel sind gleich
Changed = Quelle wurde verändert
Newer = Quelle hat allein neueres Datum/Zeit
Older = Quelle hat allein älteres Datum/Zeit

So weit ich sehe tut ROBOCOPY was verlangt wird.

CN8
 
Hallo cumulonimbus8, vielen Dank für die Rückmeldung. Ich kann das nicht nachvollziehen, scheint aber durch YarcGUI so umgesetzt zu werden, ohne dass in der /PURGE checkbox ein Häkchen gesetzt ist. Der Radiobutton /E ist auch nicht gefüllt (YarcGUI GUI). Das habe ich nun bei allen Jobs überprüft. Das ist natürlich ein doppelt gemoppele. Ich nehme aber an, in diesem Fall ein harmloses.

Danke für Deine Zusammenstellung mir fehlt leider die Zuordnung zu den deutschsprachigen Klassen und die Bedeutung von Fix, z.B. bei fix same, fix changed, fix newer.

Mir geht es auch nicht darum robocopy diverser bugs zu bezichtigen, sondern zu verstehen, weshalb die Spiegelung misslingt.

Ich bin nun der Meinung, dass viele Probleme zum großen Teil daraqn liegt, dass trotz des Beitritts des NAS (target) und des Fileservers (source) zur AD an Berechtigungen liegt, die Probleme machen. trotz /B oder /ZB scheint robocopy sich auch oft in einem zweiten Lauf selbst auszusperren, wenn übertragene ACLs aus der Quelle für Zugriffsverweigerungen (ERROR 5) sorgen, oder die Übertragung der Sicherheitskennungen misslingt (ERROR 1307). Im ersten Lauf können diese Daten wahrscheinlich dann trotzdem problemlos übertragen werden, da erst nach dem Kopiervorgang die ACLs gesetzt werden. Ich versuche das zu verstehen. Weshalb es so einen großen Unterschied zwischen XP026 und XP027 gibt, der dafür sorgt, dass XP027 hier in diesem Fall nicht glatt durchläuft wäre auch interessant.

Mit einem weiteren Test einer Spiegelung einer ganzen Festplatte in ein Verzeichnis des FreeNAS CIFS/SMB-Shares habe ich nun deutlich größere Probleme.

lp4EcU8.png

Code:
01:20:50 Auftrag geändert
01:20:55 
01:20:55 31.10.2016 ---------------------------- Start ----------------------------------------
01:20:55 
01:20:55 Auftrag Pos. 14 - Durchführung mit Robocopyversion XP026
01:20:55 Auftrag 1 von 1.
01:20:55   AuftragsID: 784e1e58-4170-4e6f-8699-d4f6eb969e54
01:20:55   Quelle    : F:\.
01:20:55   Ziel      : \\FREENAS\ao\gaussling\Hitachi HUA723020ALA641\f_
01:20:55   Dateien   : 
01:20:55   Optionen  : /MIR /COPY:DA /DCOPY: /ZB /TIMFIX /XJ /XJD /XJF /FFT /DST /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /V /X /UNICODE /GBFQ /GBFZ /UNILOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"
01:20:55   Bemerkung : Spiegelung von F:\ -> FreeNAS Hitachi HUA723020ALA641\f_\ (XP026), without timestamping - /SECFIX + /SEC (/DCOPY:DATS), +/DCOPY:T, +/V, -/XN, -/L  homegroup off, (entsprechend Test 2, (B:\ao) 
01:20:55   Protokoll : "C:\Program Files (x86)\YARCGUI\Logs\784e1e58-4170-4e6f-8699-d4f6eb969e54_14_F_._2016-10-31_01.20-2.txt"
01:50:43   Fertig. RoboCopy !- XP026 -! ExitCode: 0 (NO_CHANGE).
01:50:43   NO_CHANGE
01:50:43    - Keine Fehler und nichts kopiert.
01:50:43    - Quelle und Ziel sind komplett synchron.
01:50:43   >ABER<
01:50:43     - Robocopyversion XP026 gibt IMMER Exitcode 0 zurück!
01:50:43     - Wenn nötig das Auftragsprotokoll zu Rate ziehen.
01:50:43   Laufzeit: 00:29:47
01:50:43 31.10.2016 ---------------------------- Finis ----------------------------------------
01:50:43 Gesamtlaufzeit: 00:29:48
09:23:52 Starte Protokollanzeige...
Code:
 cygwin
[44. Week, Mo, 2016-10-31, 10:42] me@PC20 ~
$ rcparseXP026.sh 'C:\Program Files (x86)\YARCGUI\Logs\784e1e58-4170-4e6f-8699-d4f6eb969e54_14_F_._2016-10-31_00.04-2.txt'

Robocopy Protocol:

Laufwerksdaten Quelle (F:\):
    Gesamt:    2.000.396.742.656 Bytes
    Belegt:    1.970.931.593.216 Bytes (98,5%)
    Frei:         29.465.149.440 Bytes (1,5%)
    Verfügbar:    29.465.149.440 Bytes

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP026
-------------------------------------------------------------------------------

  Started : Mon Oct 31 00:04:34 2016

   Source : F:\
     Dest : \\FREENAS\ao\gaussling\Hitachi HUA723020ALA641\f_\

    Files : *.*

 Exc Dirs : $RECYCLE.BIN
            .AppleDouble
            System Volume Information

  Options : *.* /FFT /DST /V /X /TS /FP /TEE /UNICODE /S /E /COPY:DAT /DCOPY:T /TIMFIX /PURGE /MIR /ZB /NP /ETA /XJ /R:3 /W:3

------------------------------------------------------------------------------


------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :      9020         0      9019         0         1       122
    Files :    410185        32    410151         0         2       133
    Bytes :2038.846 g  478.88 m2038.379 g         0    53.0 k   47.59 m
    Times :   0:51:41   0:24:16                       0:19:21   0:08:03

    Speed :              344719 Bytes/sec.
    Speed :              19.725 MegaBytes/min.

    Ended : Mon Oct 31 00:56:16 2016

Laufwerksdaten Ziel (\\FREENAS\ao):
    Gesamt:   23.832.828.225.536 Bytes
    Belegt:   14.273.104.218.112 Bytes (59,9%)
    Frei:      9.559.724.007.424 Bytes (40,1%)
    Verfügbar: 9.559.724.007.424 Bytes

_______________________________________________________________________________________________


Robocopy Protocol: C:\Program Files (x86)\YARCGUI\Logs\784e1e58-4170-4e6f-8699-d4f6eb969e54_14_F_._2016-10-31_00.04-2.txt

file class      :       occurred
================================
ERROR           :       516
ERROR 5         :       516
fix.*same       :       410153
named.*-1       :       2
junction.*-1    :       126
Newer           :       24
New.*File       :       8
\*EXTRA.*File   :       133

Hier wird wohl auch klar, dass robocopy nicht für alle Zwecke eine Backuplösung ist. Vielleicht sollte ich mir auch mal Veeam Endpoint Backup Free oder ähnliches ansehen. Trotzdem würde ich die Fallstricke in der Verwendung robocopys gerne verstehen.
 
Zuletzt bearbeitet:
cumulonimbus8 schrieb:
Könntest du uns mal erleuchten wo du diese Schalteritis zusammengeklaubt hast? Die Hilfe zu ROBOCOPY würde eröffenen dass /MIR ≡ /E /PURGE ist, warum gibst du beides an?

Das macht Robocopy selbst, sobald du /MIR angibst ;)

@Topic
Ich hatte mal gelesen, daß gewisse Phänomene auftreten können, wenn das Ziel ein Nicht-NTFS Dtaeisystem ist - z.B ein NAS mit einem Linux Dateisystem. Das wurde aber eher auf das Zieldateisystem geschoben.
 
Ja, das ist hier sowohl als Quelle, als auch als Target der Fall.

Quelle: SuSE SLES 11 SP2, XFS, HELIOS PcShare (SMB)
Target: FreeNAS FreeNAS-9.10.1-U2 (f045a8b), ZFS zpool version 5000 (based on FreeBSD 9.1), (SMB/CIFS)

Darüber bin ich auch immer wieder im Netz gestoßen. Die wenigsten NAS laufen ja wohl unter Windows.
Ich denke trotzdem, dass es viel damit zu tun hat, wie das NAS konfiguriert ist, ob es der AD beigetreten ist und wie die Berechtigungen des Target-Ordners (und auch des Quell-Ordners) aussehen.

Vielleicht mache ich auch ein Test z.B. Laufwerk F: mal auf einen Windows10 SMB-Share in der AD zu unternehmen. Jedenfalls danke für den Hinweis.
 
Zuletzt bearbeitet:
Ich hatte auch ein wenig rumexperimentiert. Von einem Windows (8 oder 10) Gerät habe ich das gleiche Verzeichnis einmal auf einen anderen Windows (8 oder 10) Rechner kopiert und einmal auf ein Qnap NAS. Aller Geräte waren AD-gejoint. Trotzdem hat Robocopy beim Kopieren zwischen den Windows Rechnern die Dateien als 'same' erkannt, beim Kopieren auf da NAS als 'changed'.
 
Hallo Frightener, vielen Dank für diese Rückmeldung. Als workaround funktioniert hier nun die Spiegelung nur mit robocopy XP026 vom HELIOS-Fileserver-Ordner auf einen FreeNAS cifs/smb-share. Der Lauf benötigt knapp eine Stunde, bei ~7,5TB Daten, die nun unverändert sind.

Code:
11:38:24   AuftragsID: 953bef91-d709-4f3c-b7e1-ed58f3ea6736
11:38:24   Quelle    : \\Datenserver\ao\ao
11:38:24   Ziel      : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao
11:38:24   Dateien   :
11:38:24   Optionen  : /MIR /DCOPY:T /ZB /TIMFIX /XN /XJ /XJD /XJF /FFT /DST /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /X /UNICODE /GBFQ /GBFZ /UNILOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"

Allerdings klappt das z.B. nicht mit dem Laufwerk F: auf dem sich Systemordner (Users etc.) befinden, wenn ich dieses in einen Ordner auf dem FreeNAS spiegeln möchte. (Siehe Post zuvor, auch mit der Staistik zu den Dateiklassen.)

FastCopy hat ganz ähnliche Probleme und überträgt auch immer wieder die >500GiB von 2TiB Daten, obwohl diese unverändert sind.

Ein Ansatz könnte sein erst mal die Berechtigungen und Besitzer rekursiv zu konsolidieren, z.B. mit icacls oder fileacl. Möglicherweise reicht hier die Korrektur des Targets nicht aus und es muss auch die Quelle konsolidiert werden?

Ich könnte mir auch vorstellen, dass die Optionen /B und /ZB nur im Zusammenspiel mit Windows cifs/smb funktionieren, und es so auf non-windows-shares dazu kommt, dass robocopy „sich selbst aussperrt“?

Werde mir auch mal Veeam ansehen.

Update:

Hier nochmal aufbereitete Logdateien des nun problemlosen wiederholten Laufs mit XP026, mit Statistik der Dateiklassen und Fehlermeldungen. Dazu habe ich ein bash-Skript erstellt, das die robocopy Logdateien auswert/zusammenfasst.

Code:
[44. Week, Di, 2016-11-01, 13:47] me@PC20 ~
$ rcparse.sh "C:\Program Files (x86)\YARCGUI\Logs\953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.txt"

/cygdrive/c/Program Files (x86)/YARCGUI/Logs/953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.txt


Robocopy-Log-Version != XP 027 Deutsch. Log kann geparst werden.
Parse 953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.


953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2 is a robocopy XP026 Logfile, encoded UTF 16LE.
ROBOCOPY Version: 5.1.2600.26


Robocopy Protocol:

5980 lines in robocopy logfile, file size 1,3M	.
Logfile: 953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.txt


Laufwerksdaten Quelle (\\Datenserver\ao):
    Gesamt:   17.592.186.036.224 Bytes
    Belegt:   15.569.275.912.192 Bytes (88,5%)
    Frei:      2.022.910.124.032 Bytes (11,5%)
    Verfügbar: 2.022.910.124.032 Bytes

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows     ::     Version XP026
-------------------------------------------------------------------------------

  Started : Mon Oct 31 11:38:24 2016

   Source : \\Datenserver\ao\ao\
     Dest : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao\

    Files : *.*
	    
 Exc Dirs : $RECYCLE.BIN
	    .AppleDouble
	    System Volume Information
	    
  Options : *.* /FFT /DST /X /TS /FP /TEE /UNICODE /S /E /COPY:DAT /DCOPY:T /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3 

------------------------------------------------------------------------------

------------------------------------------------------------------------------

                Total    Copied   Skipped  Mismatch    FAILED    Extras
     Dirs :      5942         0      5942         0         0         0
    Files :    836857         0    836857         0         0         0
    Bytes :7523.083 g         07523.083 g         0         0         0
    Times :   1:47:52   0:37:13                       0:00:03   1:10:36

    Ended : Mon Oct 31 13:26:17 2016

Laufwerksdaten Ziel (\\FREENAS\data):
    Gesamt:   16.560.472.358.912 Bytes
    Belegt:    7.000.758.032.384 Bytes (42,3%)
    Frei:      9.559.714.326.528 Bytes (57,7%)
    Verfügbar: 9.559.714.326.528 Bytes

_______________________________________________________________________________________________


Suspicious lines in robocopy log, i.e. due to unintentional termination of robocopy, i.e. caused by errors.
Such unintentional exceptional lines would appear before or after the line above.



_______________________________________________________________________________________________



Robocopy Protocol:
/cygdrive/c/Program Files (x86)/YARCGUI/Logs/953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.txt


File Class Statistics.
======================


No File Class logged.
Probably file classes are not logged, because you maybe omitted the /V flag under robocopy logging section,
or there was no transfer occurred.





Error Statistics
================



ERROR		:	occurred
================================
ERROR 64	:	1

Parsing for errors took 0 00:01:29 [h:m:s].


_______________________________________________________________________________________________

Section 11:38:2 - 13:26:1 in /cygdrive/c/Program Files (x86)/YARCGUI/Logs/YARCGUI161030131518.txt:

11:38:24 31.10.2016 ---------------------------- Start ----------------------------------------
11:38:24 
11:38:24 Auftrag Pos. 6 - Durchführung mit Robocopyversion XP026
11:38:24 Auftrag 1 von 1.
11:38:24   AuftragsID: 953bef91-d709-4f3c-b7e1-ed58f3ea6736
11:38:24   Quelle    : \\Datenserver\ao\ao
11:38:24   Ziel      : \\FREENAS\data\Backup\Datenserver_share_ao_b\ao
11:38:24   Dateien   : 
11:38:24   Optionen  : /MIR /DCOPY:T /ZB /TIMFIX /XN /XJ /XJD /XJF /FFT /DST /XD "$RECYCLE.BIN" ".AppleDouble" "System Volume Information" /R:3 /W:3 /ETA /FP /NP /TEE /TS /X /UNICODE /GBFQ /GBFZ /UNILOG+:"C:\Program Files (x86)\YARCGUI\Logs\%AuftragsID%_%POS%_%Q%_%JJJJ%-%MM%-%TT%_%hh%.%nn%-2.txt"
11:38:24   Bemerkung : Spiegelung von B:\ao -> FreeNAS (XP026) homegroup off, Test 2, Protokolloption ohne /V, /Unilog+file, /unicode
11:38:24   Protokoll : "C:\Program Files (x86)\YARCGUI\Logs\953bef91-d709-4f3c-b7e1-ed58f3ea6736_06__Datenserver_ao_ao_2016-10-31_11.38-2.txt"
13:26:17   Fertig. RoboCopy !- XP026 -! ExitCode: 0 (NO_CHANGE).
13:26:17   NO_CHANGE
13:26:17    - Keine Fehler und nichts kopiert.
13:26:17    - Quelle und Ziel sind komplett synchron.
13:26:17   >ABER<
13:26:17     - Robocopyversion XP026 gibt IMMER Exitcode 0 zurück
13:26:17     - Wenn nötig das Auftragsprotokoll zu Rate ziehen.
13:26:17   Laufzeit: 01:47:53
13:26:17 31.10.2016 ---------------------------- Finis ----------------------------------------

done


real	0m19.464s
user	0m4.946s
sys	0m13.876s

Um nochmal auf die Dokumentation zur Log-Datei zurückzukommen, weiß da jemand mehr zu?

Mir sind bisher diese Datei-Klassen und Fehler untergekommen:

Code:
# file class      :       occurred
# ================================
# fix same        :       0
# fix change      :       0
# fix new         :       0
# named -1        :       0
# junction -1     :       0
# Newer           :       0
# New File        :       13248
# Same File       :       0
# Change File     :       0
# Lonely          :       0
# Tweaked         :       0
# Older           :       53
# Mismatched      :       0
# Changed         :       0
# Same            :       0
# Neue Datei      :       0
# Geändert        :       0
# EXTRA File      :       135
# EXTRA Dir       :       122


# ERROR           :       occurred
# ================================
# ERROR           :       0
# ERROR 5         :       0
# ERROR 64        :       0
# ERROR 49        :       0
# ERROR 59        :       0
# ERROR 1307      :       0
# FEHLER          :       0
# FEHLER 5        :       0
# FEHLER 64       :       0
# FEHLER 49       :       0
# FEHLER 59       :       0
# FEHLER 1307     :       0

Ich würde das Skript zur Auswertung des Loggings gerne an die drei Versionen anpassen, die zudem deutsch oder englischsprachig sind. Weiterhin würde mich auch der vorangestellte Zusatz fix und die eindeutige Zuordnung der deutschen Begriffe zu den englischen interessieren.

Zusätzlich habe ich noch fix newer gefunden, aber keine Doku außer für XP010 aus dem resourcetoolkit ws2003.
Code:
# fix newer         :       0

Das cygwin Skript funktioniert nun aber so weit ganz gut. Weshalb genau die aktuellen Versionen größere Schwierigkeiten mit un*ces NAS smb/cifs Lösungen und ihren Dateisystemen haben, als ROBOCOPY XP026, weiß ich nicht. Ich habe auch noch nicht getestet, ob das auf einem ws2012 kein Problem darstellt, oder ob sich robocopy auch dort aussperrt, je nachdem ob man Sicherheitskennungen/ACLs mitkopieren möchte oder nicht.
 
Zuletzt bearbeitet:
Das macht Robocopy selbst, sobald du /MIR angibst
Yepp… Aber auch in der als Beispiel aufgeführten Konstruktion?

Ich habe RobCopy durchaus schon öfter manuell gestartet, allgemein aber lasse ich starten (Batch). Tatsächlich weist die »Bestätigung« die RoboCopy vorm Kopieren auswirft neben /MIR auch /E /PURGE aus worauf ich zugegeben nie geachtet habe (sondern auf die Kopierereignisse).

Als echte Befehlszeile jedenfalls ist es nicht unbedingt logisch.

CN8
 
In der GUI hat er doch nur /MIR angegeben, der Ausschnitt ' Options : *.* /FFT /DST /X /TS /FP /TEE /UNICODE /S /E /COPY:DATS /DCOPY:T /SECFIX /TIMFIX /PURGE /MIR /ZB /NP /ETA /XN /XJ /R:3 /W:3' ist aus der Robocopy Ausgabe.
 
Zurück
Oben