Verschieben zwischen 4 Festplatten synchron seeehr langsam

[Enomine88]

Hi,

ich habe hier zwei Ausschneiden-Vorgänge zwischen 4 Festplatten (tatsächlich physikalische Festplatten, keine Partitionen!) in zwei Aufträgen. Ich habe bemerkt, dass das Verschieben teilweise sehr langsam ist: Es schwankt zwischen 1MB/s und 50MB/s, wobei es meistens unter 5MB/s bleibt.
Zuerst dachte ich mir: Ach das liegt bestimmt an einer sehr hohen Fragmentierung der Dateien.
Aber dann ist mir aufgefallen, dass die Verschieben-Vorgänge gleichzeitig schneller und langsamer werden, was ja nicht der Fall wäre, wenn hohe Fragmentierung der einzige Faktor wäre.
Woran kann das liegen?

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Danke - Enomine

Ergänzung (19. Juni 2024)

Ich sehe keinen Bottlenack, der das GEMEINSAME Steigen und Fallen der Geschwindigkeit erklärt. Zwar werden zwei der Festplatten regelmäßig als 100% Auslastung angezeigt, dies erklärt höchstens, warum es insgesamt langsam Verschiebt, aber nicht warum es GLEICHZEITIG steigt und fällt. CPU, RAM haben noch Kapazität.

 

[JumpingCat]

Sind das HDD (SMR), SSD (ohne Cache) oder nvme(SLC Cache)?

 

[Enomine88]

HDD über SATA, potenziell über die selbe PCIe-SATA Card oder über den selben (Southbridge?)-SATA-Hub des Mainboards angeschlossen.

 

[BFF]

Verschieben heisst immer Kopieren plus Loeschen. @Enomine88
Was bedeutet das auf der Quellplatte mehr zu tun ist als beim blanken Kopieren. Und gewoehnliche Kontroller auf Consumerbrettern oder PCIe-Karten sind fuer solch art Aufgaben vermutlich garnicht ausgelegt. Weder mit Cache noch mit Bandbreite.

Mich wuerde interessieren was konkret das fuer HDD sind und welche PCIe SATA Karte das ist. Nach der Hardware da drunter und ob eine Virenschutz aktiv ist frag ich erst garnicht.

 

[Baal Netbeck]

Ich kann dir nicht genausagen, was da bei dir passiert, aber es kann auch die CPU limitieren.

Windows ist bei Dateioperationen ganz schlecht mit Multithreading und kann durchaus limitieren.

Du kannst versuchen kleinere Aufträge zu geben, die nicht so große Dateienmengen beinhalten, das hat bei mir teilweise durchaus beschleunigend gewirkt.

Das die Datenverbindung limitiert sehe ich als unwahrscheinlich an, da würde ja selbst PCIe 1x reichen um das locker zu bewegen.

Das die Datenraten so start einbrechen kann an SMR HDDs liegen, dabei ist es nicht ungewöhnlich, dass die Datenrate auch mal komplett pausiert. Aber sofern du keinen Fehler gemacht hast und die beidenAufträge doch eine HDD gemeinsam benutzen, erklärt das nicht, warum es so synchron läuft.

Daher tippe ich auf die CPU.

Ergänzung (19. Juni 2024)

ob eine Virenschutz aktiv ist frag ich erst garnicht.

Guter Punkt. Virenschutz kann das ganze auch massiv einbremsen.

 

[Enomine88]

Virenprüfung von Windows ist aus, oder? Zusätzlich jedenfalls keins installiert.

Ergänzung (19. Juni 2024)

• Windows 10 ETSC -> Updates komplett abgeschaltet!
• AES verschlüsselt (aber kein CPU bottleneck!)
• Mainboard Sabertooth 990fx r2.0 + AMD FX-8350 (Ist halt ein alter Datenserver)
• PCIe-SATA Karte: https://www.amazon.de/gp/product/B082Q24Y6K/ref=ppx_yo_dt_b_asin_title_o00_s00?ie=UTF8&psc=1

SMART:
Kopiervorgang 1:
Von T:

Nach S:

Kopiervorgang 2:
Von N:

Nach Q:

Die SMARTs dieser Festplatten von vor 2 Jahren (und damit die Veränderung über die Zeit) können hier bewundert werden: https://www.computerbase.de/forum/t...-defekte-sektoren-smart.2092511/post-27064802

 

[rg88]

wenn du jetzt noch so gütig wärst und würdest verraten, was nun "Datenträger 8" für eine Platte ist, könnte man vielleicht sogar eine Diagnose anfangen.

Warum hast eigentlich die fehlerhafte Platte immer noch in Betrieb, die dir vor 2 Jahren schon angetragen wurde sie nicht mehr zu nutzen?

 

[Cardhu]

Naja multiples Kopieren war schon immer krückenlahm bei HDDs. Vorallem wenn eine HDD 2 Ziele/Quellen bedienen soll.
Ansonsten würde ich allgemein mal die Kiste neustarten. 73 Tage "Laufzeit" sind bei manchen Windowsinstallationen ein zusätzliches Problem unabhängig von deinen Kopierergebnissen.

 

[Enomine88]

K und T habe ich nach dieser empfehlung: https://www.computerbase.de/forum/t...-defekte-sektoren-smart.2092511/post-27066150
auf "beobachtung" gestellt. J O und R habe ich aussortiert, wie von ihm empfohlen. Mit K und T hatte ich seither keine Probleme.

 

[BFF]

Die ST8000AS0002 sind SMR. Die kleinen WD in Theorie noch CMR.
Die eine ST8000 hat ueber die Jahre wohl 8 Fehlereintraege (C5/C6) dazu bekommen. Nicht schlecht, kann aber bremsen wenn der Controller da jedes Mal mit denkt.

 

[Ja_Ge]

Warum das Verschieben insgesamt langsam ist dürfte klar sein bei HDDs, wurde ja schon erklärt. Zu deiner Frage, das ist vermutlich dein RAM bzw. der Teil des RAMs, der als Filecache genutzt wird. Ist dieser voll werden schlagartig alle gerade laufenden Kopiervorgänge langsamer da nicht mehr gecached.

 

[SaCre]

Eine Frage wäre auch was du kopierst? Viele Dateien in unterschiedlicher Größe = verhalten normal, oder eine Hand voll große Dateien?

 

[Kasjo]

Ich würde für größere Datei Operationen wenns schnell gehen soll Robo Copy oder ChoEazyCopy (robocopy gui) Benutzen. Das kann Multithreading und kopiert demnach mit allem was geht.
Der Windows Explorer selbst wie viele andere sind single threaded.
Betrifft halt nur den umstand wenn du es mit vielen unterschiedlichen files zu tun hast. Wenn das alles gepackte große Archive sind macht multithreading weniger sinn, dann is Windows aber auch nich so lahm.

Ergänzung (19. Juni 2024)

die dir vor 2 Jahren schon angetragen wurde sie nicht mehr zu nutzen?

Naja... aber immerhin hat sie noch 2 Jahre funktioniert. Wenn er backups hat, why not.

 

[Donnerkind]

Ich würde als einfachsten Schritt auch mal nen anderen Dateimanager probieren. Z.B. Total Commander von ghisler.com, der hat ne interne Kopierroutine. Auf der linken Seite kannst du dann Tabs mit den Quellorten öffnen und auf der rechten mit den Zielorten (oder anders rum, wie du willst). Mit F5 wird von der einen Seite zur anderen kopiert, mit F6 verschoben. Wenn eine Aktion läuft, kannst du sie in den Hintergrund legen und dann eine zweite Aktion parallel starten.

 

[Enomine88]

Danke @Donnerkind ich habe "TeraCopy" dort installiert es aber meist abgeschaltet, weil wenn ich es benutze stürzt es öfters ab. Wenn ich dann viele Kopiervorgänge an verschiedenen Orten in die queue beauftragt habe dann ist das bei einem Programmabsturz weg, also die Aufträge. Schade dass TeraCopy keine Liste sichert und bei einem Absturz da weiter macht, wo es aufgehört hat.
Gibt es mit Total Commander solche Probleme?

Danke - Enomine

 

[Donnerkind]

Nein. TC ist inzwischen über 30 Jahre alt (wird bis heute weiter entwickelt) und ziemlich ausgereift, würde ich sagen. Ich kann mich nicht erinnern, dass er mir jemals einfach so abgestürzt ist in den etwa 20 Jahren, die ich ihn nutze. (Wobei ich fairerweise sagen muss, dass ich ihn privat praktisch kaum noch nutze, weil ich privat vor vielen Jahren von Windows weg ging. Aber auf dem Firmenrechner ist er weiterhin mein Daily Driver, wenn es um Dateiaufgaben geht).

TeraCopy ist laut Wiki ja auch nicht gerade neu; wer weiß, was die Ursache für deine Probleme war. (Gab es eine genaue Fehlermeldung? Passiert das Problem immer bei denselben Dateien?) Ich kann mir nicht vorstellen, dass das Programm einfach nur eine schlechte Qualität hat. Das klingt eher nach einer tiefer liegenden Ursache.