Kopieren von Daten

[mika534]

Hey Leute,
ich bin gerade dabei Daten von meinem Pc (größteils Bilder (.raw)) auf meine neue 4TB Seagate HDD zu kopieren und habe sehr langsame Lese- und Schreibgeschwindigkeiten. Ich kopiere von einer HDD auf die neue HDD mit dem Befehl Robocopy. Davor habe ich es ganz normal über den Explorer gemacht. In beiden fällen bekomme ich fast nur Schreibgeschwindigkeiten unter 50 MB/s.
Beide Festplatten sind über SATA6 am Mainboard verbunden.
Zu meiner Frage: Wieso ist die Geschwindigkeit so langsam und was kann ich tun um das Problem zu beheben?

zu meinem System:
Windows 10
Ryzen 7 3700X
32GB 3200MHz RAM

 

[Drewkev]

Kopierst du Ordner oder nur .raw Dateien? Falls letzteres: Alle gleichzeitig und wie groß sind die im Durchschnitt?

 

[mika534]

Kopierst du Ordner oder nur .raw Dateien? Falls letzteres: Alle gleichzeitig und wie groß sind die im Durchschnitt?

Ich Kopiere Ordner. In denen sind neben .RAW Daten auch .jpg .png .mp4. Insgesamt habe ich vor 4TB an Daten auf die neue Festplatte zu verschieben. Das mache ich aber nicht auf einmal sondern in ca 500Gb Stücken

 

[xxMuahdibxx]

und wie groß ist so eine Datei ... wenn die nur ein paar MB groß sind sie froh das es so schnell ist.

 

[mika534]

und wie groß ist so eine Datei

In den Ordnern sind Datein von >1Mb bis 100Mb alles mit dabei. Wieso fällt denn die Geschwindigkeit bei kleinen Dateien ?

 

[rg88]

Da die Rate ja zwischendurch sehr hoch geht seh ich hier kein Problem, sondern wahrscheinlich sinds, anders als behauptet, einfach viele kleine Dateien und das bringt primitive magnet-mechanische Speicher eben in miese Performance.

Ergänzung (29. Januar 2022)

Wieso fällt denn die Geschwindigkeit bei kleinen Dateien ?

Fragmentierung und kleine Dateien brechen jedem mechanischem Datenträger das Genickt bei der Performance. War noch nie anders.
Wenn mans schneller haben will, muss man am Dateisystem vorbei arbeiten und eine 1:1 Kopie/Image machen

 

[mika534]

bringt primitive magnet-mechanische Speicher eben in miese Performance.

Das heißt, wenn ich den gleichen Ordner auf meine SSD Kopieren würde, würde ich konstant höhere Datenraten haben ?

 

[rg88]

Das heißt, wenn ich den gleichen Ordner auf meine SSD Kopieren würde, würde ich konstant höhere Datenraten haben ?

Wenn deine Quelle eine SSD ist, ja bis jein. Also die Datenraten wären höher, ganz klar. Aber je mehr Dateien, desto mehr Overhead gibts von Seiten des Filesystems.

 

[mika534]

Wenn mans schneller haben will, muss man am Dateisystem vorbei arbeiten und eine 1:1 Kopie/Image machen

Danke für die Hilfe. Kannst du mir sagen wie ich das machen kann? oder ein Schlagwort für das Verfahren nennen, damit ich es auf Youtube nachschauen kann?
Ich hab noch über 3,5 TB vor mir und will das ganze etwas beschleunigen

 

[rg88]

ich vereinfache es mal extrem. Ein Datei kopiervorgang funktioniert ungefähr so:

• Vorgang starten
• Quelle verifzieren
• Datei erstellen
• Quelle laden
• Daten auf Ziel schreiben
• Vorgang abschließen
• Nächste Datei

Stell dir vor du musst das laut aussprechen: Dann dauert das ziemlich lang
Die volle Lese/Schreibgeschwindigkeit hast du aber nur bei

• Quelle laden
• Daten auf Ziel schreiben

Der Rest ist (notwendiger) Overhead.

Ergänzung (29. Januar 2022)

Ich hab noch über 3,5 TB vor mir und will das ganze etwas beschleunigen

gibts keine Möglichkeit, außer du würdest ein Image machen und das direkt auf das Ziel einspielen.
Einzelne Dateien lesen und schreiben ist nunmal ein sehr langsamer Vorgang

 

[mika534]

gibts keine Möglichkeit, außer du würdest ein Image machen und das direkt auf das Ziel einspielen.
Einzelne Dateien lesen und schreiben ist nunmal ein sehr langsamer Vorgang

Okay ich verstehe. Danke dir.
2 Fragen noch
1. Wie macht man diesen Image und
2. mag vtl blöd klingen aber sollte ich der HDD gewisse Pausen gönnen nach zb 500Gb oder kann die Hardware 4TB problemlos auf dauerschleife schreiben

 

[rg88]

2. mag vtl blöd klingen aber sollte ich der HDD gewisse Pausen gönnen nach zb 500Gb oder kann die Hardware 4TB problemlos auf dauerschleife schreiben

nö, einfach machen lassen

1. Wie macht man diesen Image und

Es gibt viele Image-Tools, zB Acronis. aber das ist eigentlich nicht Sinn und Zweck diese für simples Datenkopieren einzusetzen, weil du damit andere Probleme hast, wie zB falsche Partitionsgrößen auf dem Ziel und Einschränkungen, dass der Zieldatenträger mindestens so groß sein muss, wie die Quelle

Das einzige was du noch probieren kannst:
Kopiere nicht mit Windows sondern zB mit TotalCommander. Das bietet mehr Möglichkeiten.
Und: Niemals mehrere Kopiervorgänge gleichzeitig starten, das macht es nur viel schlimmer

 

[Fusionator]

Wie macht man diesen Image

Das wäre dann hier wohl ein Klon und kein Image.
Also wenn du Platte A auf Platte B übertragen willst, könnte das tatsächlich schneller gehen, wenn auf
Block, statt auf Dateiebene gearbeitet wird.

Da du aber mit dem Thema offensichtlich keine Erfahrung hast, lass es jetzt einfach mal so laufen.

Wieso ist die Geschwindigkeit so langsam und was kann ich tun um das Problem zu beheben?

SSD

Ergänzung (29. Januar 2022)

Die st4000dm004 ist eine SMR-HDD. Das dürfte dem ganzen auch nicht gerade zuträglich sein.

 

[xxMuahdibxx]

@rg88

Daten Checksumme vergleichen hast noch vergessen

 

[Hauro]

@mika534

Ein Versuch ist die Dateien mit FastCopy (FastCopy | heise Download) zu kopieren. Im ersten Schritt würde ich eine Prüfsumme anlegen, danach die Dateien ohne Prüfung (Verifikation) kopieren und anschließend die Prüfsumme kontrollieren.

Über die Prüfsumme, z.B. über eine kryptographische Hashfunktion MD5, SHA-2, SHA-3, lässt sich die Integrität der Datei jederzeit überprüfen.

Beispiel

Total Commander 10.0 64-bit Setup

Prüfsumme SHA-256 - Secure Hash Algorithm 2 mit einer Länge von 256 Bit:
c14ac3e7a9976959151fd656168b5cf51b757c88d215f6766e00a9c604976738 *tcmd1000x64.exe

Nach dem Hash-Wert kann z.B. auf VirusTotal über die Suche gesucht werden:
https://www.virustotal.com/gui/file/c14ac3e7a9976959151fd656168b5cf51b757c88d215f6766e00a9c604976738

Siehe z.B. Thema Backup Files auf Fehler prüfen?

2. mag vtl blöd klingen aber sollte ich der HDD gewisse Pausen gönnen nach zb 500Gb oder kann die Hardware 4TB problemlos auf dauerschleife schreiben

Solange die Festplatte nicht zu heiß wird ist es egal.

 

[doro_]

Ich würde da auch eher das Problem bei SMR sehen. Habe selbst auch eine 6TB-Seagate mit SMR und da ist es auch so, dass die Übertragungsrate schnell nach unten geht.

 

[mika534]

Ein Versuch ist die Dateien mit FastCopy (FastCopy | heise Download) zu kopieren. Im ersten Schritt würde ich eine Prüfsumme anlegen, danach die Dateien ohne Prüfung (Verifikation) kopieren und anschließend die Prüfsumme kontrollieren.

Okay vielen Dank für die ausführliche Anleitung, aber ich denke das überschreitet grade meine Skills haha

SSD

habe 4TB SSD aber nunmal auch viel HDD Speicher. Als Fotograf mit unmengen an Speicherbedarf ist es mir leider aus kostengründen nicht Möglich nur mir SSD zu arbeiten

 

[BlubbsDE]

Einfach in Geduld üben. 4 TB von HDD zu HDD kopieren dauert einfach. Da kanst Du mit 10 Stunden oder mehr rechnen.

 

[Hauro]

Okay vielen Dank für die ausführliche Anleitung, aber ich denke das überschreitet grade meine Skills haha

Würde mich dennoch damit beschäftigen, denn nur über die Prüfsumme lässt sich die Integrität einer Datei - es wurde keine Veränderung daran vorgenommen - überprüfen.

---

Prüfsummen mit Total Commander erzeugen:

1. Ordner oder Dateien selektieren
2. Im "Datei" Menü den Eintrag "Erzeuge Prüfsummen (CRC32, MD5, SHA1)..." auswählen
   
   
   
   Es wird der Dialog "Erzeuge CRC-Prüfsummendatei" geöffnet.
   
   
3. Im Dialog "Erzeuge CRC-Prüfsummendatei" die gewünschten Einstellungen vornehmen.
   
   Zum Beispiel eine Prüfsummendatei für alle Dateien im Ordner "d:\写真\日本\富士五湖\本栖湖" , der selektiert ist:
   
   
   
   Den Dialog über die Schaltfläche "OK" verlassen, um die Datei mit der Prüfsumme bzw. Prüfsummen zu erzeugen. Ergebnis ist die Prüfsummendatei "本栖湖.sha256"

Prüfsummen mit Total Commander verifizieren:

1. Die Prüfsummendatei selektieren und im "Datei" Menü den Eintrag "Verifiziere Prüfsummen (aus Prüfsummendateien)" auswählen. Alternativ reicht ein Doppelklick auf die Prüfsummendatei.
   
   
   
   Der Dialog "CRC: Fehler: " wird geöffnet.
   
   
2. Die Prüfsummen werden verifiziert und am Ende eine Zusammenfassung "OK: , nicht gefunden: , Lesefehler: , falsche Prüfsumme: " angezeigt.
   
   

Einfach geht es nicht und die gesicherten Dateien auf dem externen Datenträger können so jederzeit überprüft werden - mache ich in Periodischen Abständen.

Siehe auch

• Richtiges Kopieren/Datensichern/Datenprüfung
• Tool für Verify nach xcopy oder robocopy

 

[Fusionator]

leider aus kostengründen nicht Möglich nur mir SSD zu arbeiten

Schon klar, aber am Verhalten einer Festplatte kann man nichts ändern, außer eine bessere HDD zu kaufen.

das überschreitet grade meine Skills

Sachen kann man durchaus lernen, wenn man will. Einen Ordnervergleich kann man z.B. auch mit Freefilesync oder SyncBack durchführen (jeweils CRC bzw. Dateiinhalt vergleichen). Die Programme sind auch dazu da, Ordner synchron zu halten.