iSCSI Backup auf externe HDD

[Michi777]

Liebe Community!

NAS: Synology DS1513
Anbindung: 1GB LAN via iSCSI auf SBS 2011 Server
Backup: Tägliche Spiegelung auf "WD MyBook 3TB" - USB 3.0
Daten: 1,6TB

Frage:
Wäre kein iSCSI im Einsatz, könnte ich über eine Synology App den täglich Abgleich auf die Externe machen, dies ist aber nicht der Fall.
Nun ist mir ein simples Robocopy script eingefallen, was täglich um 20Uhr mit einem Mirror Abgleich durchgeht.
Beim Beobachten ist mir aber aufgefallen, dass dies nicht sehr schnell ist, somit wollte ich fragen, was hierfür wohl die beste Lösung wäre bzw. ob es überhaupt eine gibt.

Vielen Dank!

 

[PichlAlex]

wieviele Dateien sind es denn?
- 1,6 TB sind nciht viel wenn es um eine Videosammlung geht
- 1,6 TB sind verdammt viel wenn dort nur Office-Dokumente liegen

wie lange dauert es?
- nicht sehr schnell ist ziemlich relativ

 

[Michi777]

Es handelt sich um Office Dateien & AutoCAD Zeichnungen, er macht den Abgleich noch immer (15 Stunden), obwohl fast nichts zu ersetzen ist, da noch identisch.

Wie folgt sieht das Szenario aus:
NAS (GB Lan) - vis iSCSI auf SBS2011 eingebunden - externe HDD via USB 3.0 an NAS - robocopy auf SBS2011 zum Abgleich

 

[PichlAlex]

AutoCAD Zeichnungen... sind wenn ich mich recht erinner normalerweise relativ groß oder? (nutze AutoCAD nicht)

Ergänzung (10. Juli 2013)

Hi!

hab gestern etwas mit meiner Hardware experimentiert (Qnap Turbo Station TS-859 Pro+ <=> Win8 externe mit USB3.0 und 7200 RPM über GBit LAN)

ich hab folgende Annahmen getroffen:
1,6 TB Nutzdaten (1677721,6 MB)
durchschnittliche Dateigröße: 1,5 MB (sollte in etwa hinkommen)
--> 1.118.481,07 Dateien


bei meinem experiment (meine Hardware mit ca 10 GB Nutzdaten mit je 1,5 MB) kam ich auf 50 files pro s wobei ich keine optimierungen gesetzt habe.

wenn ich das jetzt mit deiner Dateianzahl in Verbindung setze komm ich auf 22.369 s -> 6,21 Stunden ohne dass er auch nur eine Datei kopiert hat.

wenns nicht ganz so optimal läuft (dh zB günstiges NAS) wären 20 Files / s ein guter Ansatz: 15,5 h

soweit einmal die Ergebnisse aus meiner Gaskugel.... ohne genau zu wissen um wieviel Files es sich handelt wirds schwer... auch ist die konstellation wie sie bei dir läuft nicht ideal ist.

wenn ich das richtig verstanden hab läuft es bei dir so:
es gibt 2 involvierte PCs:

-) SBS 2013 mit 1 "Platte": iSCSI Device das am NAS liegt
-) NAS mit 2 "Platten": Externe mit 3 TB und USB 3.0 und internes Raid (5, 10 ?)

wenn jetzt robocopy für ein File den Vergleich machen will muss es einerseits übers GBit LAN auf das iSCSI Target und andererseits auf das SMB-Share der USB3.0. Beide Technologien (iSCSI und SMB) funktionieren sehr gut, haben im burst schnelle Übertragungsraten nur im random access (und genau das ist ein Robocopy-syncjob) sind sie ziemlich langsam.

was du optimieren könntest:
-) die externe an den SBS2012 anhängen.
damit eliminierst du das alte und langsame SMB 2 Protokoll das vom techn. Stand immer noch aus Windows 98 Zeiten stammt und erst mit Samba 3 (das derzeit noch für kein NAS verfügbar ist) auf das Level von Windows 7 gehoben wird.
weiters erlaubst du dem SBS 2012 den Lese und Schreibcache für die Externe zu nutzen.
-) Verbose Output von Robocopy abdrehn oder in Datei umleiten (Ausgaben auf den Bildschirm verursachen sehr viel Rechenzeit!)

damit sollte das ganze schneller werden.

Grüße
Alex

 

[Michi777]

Danke für deine Antwort:

der Server hat aber nur USB 2.0 und eSata müsste ich abchecken ob verfügbar...
Gibt es vielleicht ein Bit genaues Synchronisationstool, damit nur das nötigste und TOP aktuell synchronisiert wird?
Gibt ein die Möglichkeit ein LUN Backup direkt über die NAS zu machen?
Wie deaktivierte ich Verbose Output & gebe Rechte für Lese\Schreibcache?

Greetz

 

[PichlAlex]

der Server hat aber nur USB 2.0 und eSata müsste ich abchecken ob verfügbar...

USB 2.0 reicht... wären 20 MByte/s netto... das wäre für eine einzelne Festplatte und kleinen Files eh schon nicht wenig.
nachdem dein Problem aber wahrscheinlich nicht der Datendurchsatz sondern die Zugriffszeiten sind solltest du den Unterschied USB 3.0/2.0 nicht merken.
das merkst du erst wenn große Files (ab 10 MB) kopiert werden

Gibt es vielleicht ein Bit genaues Synchronisationstool, damit nur das nötigste und TOP aktuell synchronisiert wird?

bitgenau ist nicht schneller und erfordert viel mehr overhead. bitgenau ist langsamer als robocopy. bitgenau kann man nur mit Copy-on-Write Dateisystemen wie zB ZFS lösen.. eine Linux/NAS und Windows-Verbindung kann man damit aber nicht syncen.

Gibt ein die Möglichkeit ein LUN Backup direkt über die NAS zu machen?

gibts auf meinem QNAP. da wird aber bei jeder Sicherung IMMER die ganze LUN (dh in deinem Fall 1,6 TB) kopiert.

Wie deaktivierte ich Verbose Output & gebe Rechte für Lese\Schreibcache?

robocopy /? ;-)
aber schau dir mal die Protokollierungsoptionen an.... /v ist sicher keine gute Wahl... /X

um einmal abzuschätzen wo das Problem liegt mach bitte folgendes:
-) sicherung mit robocopy-Parameter /L (nur ausgabe)
echo %date% > D:\log.txt
robocopy c:\ d:\backup /L > D:\log.txt
echo %date% > D:\log.txt

-) Produktivlauf von Robocopy (ohne /L Parameter)
echo %date% > D:\log.txt
robocopy c:\ d:\backup > D:\log.txt
echo %date% > D:\log.txt

auch wären ein paar infos noch nicht schlecht:
GesamtAnzahl der Dateien
durchschnittliche Änderung in MB/GB zwischen den Sicherungen

beide Infos gibt Robocopy am schluss aus

 

[Michi777]

Habe nun mal die zwei Verzeichnisse zu synchronisierenden Verzeichnisse gescannt und es sieht wie folgt aus:
CAD
429GB /223.842 Dateien /27.417 Ordner

SCHRIFTVERKEHR
39GB /62.482 Dateien /4876 Ordner

Soll ich nun von USB 3.0 (NAS) auf USB 2.0 (iSCSI Server) umstecken?
Wieviel Ersparnis würde es bringen SCHRIFTVERKEHR wegzulassen?

SyncToy braucht direkt aufgerufen nicht lange für den Abgleich, über Task Sheduler gestartet endet es aber nach Tagen nicht:
Programm starten "C:\Program Files\SyncToy 2.1\SyncToyCmd.exe" -R

Greetz

 

[PichlAlex]

Hi!

also wenn man Excel damit füttert kommt interessantes heraus:

CAD:
1,9 MB pro Datei
15 MB pro Ordner

SCHRIFTVERKEHR:
0,6 MB pro Datei
7,9 MB pro Ordner

für beide Ordner wäre direkt über USB 2.0 schneller.

zu deiner Frage nach der Ersparnis: wenn du mal schreiben würdest wie lang jeder Ordner braucht dann könnt man eine Ersparnis abschätzen... aber so gibts a typisch österreichsiche Antwort: "a wengal wirds scho sei"

warum synctoy über den Task scheduler so lange braucht kann ich dir nicht sagen... das hängt von sehr vielen Faktoren ab.
Nachdem Synctoy anscheinend in der Batchverarbeitung ein Problem hat.... vielleicht ist dein eigentliches Problem gar nicht iSCSI oder USB2.0/3.0 sondern Synctoy.....
-> mach einmal einen gegentest mit zB Robocopy...
-> wie lange sind genau die Differenzen? "nicht so lange" sind Angaben mit denen man als Techniker nicht viel anfangen kann....

Grüße