NAS extrem langsam beim kopieren von großen Datenmengen kleiner Datein

[finy007]

Nabend Zusammen,

der Laptop meiner Mum ist abgeraucht und ich bin aktuell dabei die Festplatte zu retten, bzw. Ihre Fotos zu sichern.
Insgesamt geht es um knapp 50.000 Dateien, bzw. ca. 140GB, was demnach knapp 2,5MB / Datei im Durchschnitt macht.
Ich befürchte dass es um wenige große Dateien und ziemlich viele mittlere bis kleine Dateien geht.
Sei es drum, dass muss sie dann nochmal sortieren.

Nun zum eigentlichen Thema:

Die Fotos sollen auf meinem günstigen NAS (WD MyBookLive Duo) gesichert werden. Hierzu habe ich mir die Festplatte ausgebaut und versucht die Dateien mittels eines USB 3.0 / SATA-Adapters direkt über meinen PC auf das NAS zu kopieren.

Zu Beginn ging das auch relativ Flott, mit ca. 30 MB/s jedoch musste ich irgendwann abbrechen da es einfach viel zu lange gedauert hat.
Ich dachte mir, dass es ggf. an der USB Anbindung und der direkten Übertragung von der HDD über meinen PC zum NAS liegt, daher habe ich die HDD direkt an meine PC über SATA angeschlossen und die Dateien auf meinen PC gezogen.

Dies ging Flott und ohne Probleme mit 60 MB/s. Aktuell kopiere ich die Daten von meinem PC auf das NAS und es dauert leider wieder so verdammt lange und schwankt extrem.

Zu Beginn des Kopiervorganges lag die Geschwindigkeit noch bei ca 30 MB/s und einer geschätzten Restdauer von ca. 3 Stunden.
Mittlerweile schwankt es ganz extrem zwischen 0 Bytes/s über wenige 100Kb/s bis maximal 2 mb/s.
Wobei die Geschwindigkeit von 0 Bytes/s überwiegt und sich regelmäßig länger als 30 Sekunden überhaupt nichts tut.

Restdauer ist mit mehr als einen Tag angegeben und die letzten 6 Stunden habe ich ganze 3 Prozent geschafft.

Was ist das falsch, bzw. woran kann das liegen?

Mir ist bewusst, dass es mehr Zeit benötigt viele kleine Dateien anstelle von einer großen zu kopieren. Mir ist auch bewusst, dass man dadurch deutlich an Geschwindigkeit verliert, so krass kann doch aber nicht sein?

Das NAS und mein Rechner sind über meine FritzBox 7560 angebunden. Kopiere ich größere Datein so gibt es überhaupt keine Probleme.

Ich bin aktuell leider etwas ratlos und kann meinen Rechner ja diesbezüglich keine Woche am Stück laufen lassen.

 

[Moep89]

Was kopierst du denn alles? Wenn du z.B. zigtausend winzige Systemdateien oder irgendwelche Fragmente kopierst, dann kann es schonmal so langsam werden. Besonders wenn das NAS eher schwach ist. Manche kommen mit so vielen Operationen einfach nicht klar.
Da hilft nur abwarten oder vorher aussortieren. Viele tausend Dateien mit wenigen KB wird man vermutlich gar nicht brauchen.

 

[finy007]

Was kopierst du denn alles? Wenn du z.B. zigtausend winzige Systemdateien oder irgendwelche Fragmente kopierst, dann kann es schonmal so langsam werden.

Hauptsächlich sind es Fotos. Der Großteil der Fotos ist bereits etwas älter und daher oftmals nicht größer als 1 MB. Zusätzlich sind sicher auch ein paar Systemdateien dabei, insb. diese Index-Dateien die einige Kameras auf der SD-Karte ablegen. Min. 95% sind jedoch Fotos.

Macht es mehr Sinn die Dateien aufzuteilen und nacheinander zu kopieren?

Ich schaue hier grade wieder zu wie er an einem Foto schon fast 30 Sekunden hängt....

 

[Suxxess]

Ggf. zippen mit 0% Kompression und dann kopieren?
Sollte eigentlich schneller sein.

Alternativ mal mit Freesync kopieren, dann sieht man wengstens wo es harkt.

 

[xexex]

Was ist das falsch, bzw. woran kann das liegen?

Nur zur Verständnis, was ist denn aktuell wie angeschlossen? Dein PC kopiert die Daten auf die WD Platte die per USB an der FritzBox hängt?

Die FB ist das schlimmste was du als "NAS" verwenden kannst, da ist jedes billigste NAS System schneller.
https://avm.de/service/fritzbox/fri...ication/show/175_USB-Speicherzugriff-langsam/

Oder hängt dein PC und die WD Platte nur per LAN an der Fritze?

 

[Axxid]

Kann es sein, dass das Teil zu warm wird? Preiswerte Modelle sind ja nicht für hohe Dauerlast konstruiert.

 

[Nuon]

Eventuell hat die Zielplatte SMR, dann musst du einfach abwarten.
Die Idee mit dem ZIP Archiv ist nicht schlecht, das dürfte es etwas beschleunigen.

 

[Wynn3h]

Wenn dein NAS eine externe Festplatte an der Fritzbox ist, dann wird das die Bremse sein.
Läuft bei mir auch nicht besser, mir reicht der Speed aber.

 

[Moep89]

Zippen kann den Kopiervorgang beschleunigen, aber ggf. dauert das Zippen und besonders das Unzippen sehr lange. Irgendwann müssen die vielen Daten ja doch wiederum geschrieben werden.

 

[Burki73]

Die Idee z.b ganze Ordner per .zip zu komprimieren auf dem lokalen PC ist sehr gut. Grosse, einzelne Dateien lassen sich besser kopieren auf externe Quellen, als viele kleine.

Ist bei mir auch so, das Ordner einige grosse Dateien haben und viele, viele kleine. Die grossen Dateien gehen vom PC per USB 3.1 auf eine externe USB 3.1 HDD sehr schnell, kleine dauern ewig.

Da zeigt aber die Anzeige von Windows beim kopieren auch Müll an. Ist ungenau aus Prinzip. Ich möchte z.b einen Ordner mit 5 gb nach extern kopieren. Am Anfang geht es Flott, Windows sagt z.b 10 minuten Restdauer. Aber nach 3 minuten kommen tausende kleine Dateien. Dann zeigt Windows an, es dauert plötzlich noch 9 Stunden

Windows berechnet z.b die Transferrate der lezten 10 sekunden oder so, das waren z.b 100 mb/s. Dann kommen viele kleine Dateien, die Tansferrate sinkt auf 2,5 mb/s und daher kommen so hohe Werte für die Restdauer zustande.

 

[xexex]

Da zeigt aber die Anzeige von Windows beim kopieren auch Müll an. Ist ungenau aus Prinzip. Ich möchte z.b einen Ordner mit 5 gb nach extern kopieren. Am Anfang geht es Flott, Windows sagt z.b 10 minuten Restdauer. Aber nach 3 minuten kommen tausende kleine Dateien. Dann zeigt Windows an, es dauert plötzlich noch 9 Stunden

Das hat nichts mit den kleinen Dateien zu tun an dieser Stelle. Windows kopiert am Anfang die Daten schlichtweg in den eigenen RAM Cache, was man wunderbar beobachten kann, wenn man den Task Manager auf hat. Sobald dann eine gewisse Grenze erreicht ist (Speicher voll), wird dann tatsächlich auf die Übertragung gewartet und man sieht wie lange es noch wirklich dauert.

@finy007
Das Problem der langsamen Übertragung liegt vor allem am Explorer selbst und natürlich auch an deinem lahmen NAS System. Der Explorer kopiert die Daten nun mal eins nach dem anderen und nutzt nur einen Thread, zumindest wenn die Gegenstelle kein SMB Multichannel unterstützt.

Wenn ich das richtig lese, dann ist deine WD Platte anscheinend doch per LAN angeschlossen, also sind die Bremsen vor allem das lahme NAS und vermutlich auch eine SMR Festplatte die darin verbaut ist.

Wenn du die Daten möglichst schnell übertragen willst, solltest du dafür am einfachsten Robocopy verwenden.

robocopy D: F: /e /zb /copy:DAT /dcopy:DAT /r:3 /w:1 /ns /nc /nfl /MT:8

Der letzte Parameter weist Robocopy an gleichzeitig 8 Prozesse zu starten, du kannst mit der Anzahl der Prozesse aber gerne etwas experimentieren.

 

[RalphS]

Natürlich sind die kleinen Dateien das Hauptproblem vor allen anderen, plus das SMB-Protokoll und seine Blockgröße.

SMB überträgt in 1MB-Blöcken. Alles was kleiner ist, muß mindestens 1MB über die Leitung schicken. Außerdem müssen die kleinen Dateien geöffnet, gelesen und geschlossen werden -- das ist alles Overhead, der mit größeren Dateien uninteressanter wird.

Müßig zu erwähnen, daß das Problem ab 1MB bis <= 3 oder so MB auch nicht "behoben" ist. Datei ist 1025kB groß? 2MB auf die Leitung.

Die kleinen Dateien zu zippen ist daher nicht der letzte Ansatz, sondern gleich der erste. Ob das alles ein Archiv ist oder mehrere kleine ist egal, solange wir uns nicht über Einzelgrößen kleiner 10MB unterhalten.

Wenn das immer noch ewig dauert, dann kann man weiter schauen, woran es liegen könnte. Selbst die beste Leitung gibt aber mit Zehntausenden Dateien kleiner 100kB das Stück nicht mehr her, zumindest dann nicht, wenn SMB verwendet wird.

 

[xexex]

SMB überträgt in 1MB-Blöcken.

Für diesen Schwachsinn hätte ich gerne eine Quelle.

 

[Kasjo]

würde n normals Image erstellen icht schneller gehen? Die Programme machen das doch ne ebene tiefer oder?

 

[Titanrelod]

Falls du das ganze über WLAN machst, probier mal ein Netzwerkkabel anzuschließen.

 

[Nolag]

Vermutlich ist es einfach das Indexing des DLNA Servers.

 

[chrigu]

....zudem ist es eine Festplatte eines „abgerauchten“ lappi.... kann sehr gut sein dass auch die Festplatte defekt ist und die Fotos im digitalen Nirvana sind.

 

[Jocjelac]

Verbinde den Nas per LAN mit deinem PC bzw. Laptop dann bekommst du einen Geschwindigkeitsrausch.
So helfe ich mich meistens

 

[finy007]

Danke Euch für die ganzen Rückmeldungen, anscheinend ist einiges aus meinem eigentlich Thread noch nicht ganz klar, gehe daher auf einige Post kurz ein.
Zum aktuellen Status, seht selbst :

Ggf. zippen mit 0% Kompression und dann kopieren?
Sollte eigentlich schneller sein.

Die Idee ist gut, jedoch hätte ich die Dateien gerne ungezippt auf meinem NAS. Wenn ich die Dateien im Anschluss entpacke dann wird mein Rechner die ja ebenfalls erst in den RAM und dann wieder zurück auf das NAS spielen, müsste doch dann wieder ähnlich lange dauern - oder liege ich da falsch?

Alternativ mal mit Freesync kopieren, dann sieht man wengstens wo es harkt.

Kannte ich bisher nicht, kann ich sonst einmal testen

Nur zur Verständnis, was ist denn aktuell wie angeschlossen? Dein PC kopiert die Daten auf die WD Platte die per USB an der FritzBox hängt?

Mein WD My Book Live Duo ist ein eigenes NAS mit RAID 1 aus 2013. Damals ein schon ziemliches Low-Budget System gewesen mit 800MHz Prozessor, hat aber für meine Bedürfnisse vollkommen ausgereicht.
Angeschlossen sinddas NAS, sowie auch mein PC, direkt per Gigabit Ethernet an an der Fritzbox. Die Verkabelung sollte daher meiner Meinung nach nicht das Problem sein.

Eventuell hat die Zielplatte SMR, dann musst du einfach abwarten.

Verbaut sind meines Wissens nach WD Green Platten...

Wenn du die Daten möglichst schnell übertragen willst, solltest du dafür am einfachsten Robocopy verwenden.

robocopy D: F: /e /zb /copy:DAT /dcopy:DAT /r:3 /w:1 /ns /nc /nfl /MT:8

Der letzte Parameter weist Robocopy an gleichzeitig 8 Prozesse zu starten, du kannst mit der Anzahl der Prozesse aber gerne etwas experimentieren.

Okay, vielen Dank. Auch für die nützlichen Infos von Dir!

....zudem ist es eine Festplatte eines „abgerauchten“ lappi.... kann sehr gut sein dass auch die Festplatte defekt ist und die Fotos im digitalen Nirvana sind.

Das kann eigentlich nicht sein, da ich die Daten ja problemlos, direkt über SATA, auf meinen PC ziehen konnte.
Demnach hat die alte Festplatte damit aktuell keinen direkten Einfluss mehr...

 

[Nolag]

Der DLNA Server auf dem NAS ist bereits ausgeschaltet? Wenn der nämlich anfängt die Bilder zu indexieren, dann geht die Performance in den Keller.