30GB Zip Datei verschieben dauert ewig

[gymfan]

Unerwartet lange bei 90GB? Was hast du denn erwartet bei einer SMR HDD?

Was interessiert mich beim Verschieben auf der selben (NTFS oder FAT32) Partition SMR? Auch bei 4,90 TB erwarte ich dort nur ein paar Sekunden.

Was der Total Commander macht, wissen die Götter. Im Zweifel mal in den Ressourcen Monitor schauen, u.U. war auch die HDD noch vom Verschieben der 17GB zu 100% ausgelastet, weil irgendwer irgendwas anderes gemacht hat (und wenn es nur wieder eine amok laufender Virenscaner war, der auch beim Veshcieben die gesamte Datei liest und scannt).

 

[Drewkev]

Wenn ich 90GB bei meiner NVME SSD verschiebe dauert das auch etwas ^^

Was interessiert mich beim Verschieben auf der selben (NTFS oder FAT32) Partition SMR?

Na genau das ist einer der Gründe warum das etwas länger dauert, wie bereits von anderen hier erklärt.

 

[nehonimo]

Unerwartet lange bei 90GB? Was hast du denn erwartet bei einer SMR HDD?

Naja, ich hatte erwartet, dass es wenige sekunden dauert bei einem Move. Aber weniger asl eine Minute.
Hätte ich kopiert, hätte ich mit 1-2 Stunden gerechnet.

Was interessiert mich beim Verschieben auf der selben (NTFS oder FAT32) Partition SMR? Auch bei 4,90 TB erwarte ich dort nur ein paar Sekunden.

Was der Total Commander macht, wissen die Götter. Im Zweifel mal in den Ressourcen Monitor schauen, u.U. war auch die HDD noch vom Verschieben der 17GB zu 100% ausgelastet, weil irgendwer irgendwas anderes gemacht hat (und wenn es nur wieder eine amok laufender Virenscaner war, der auch beim Veshcieben die gesamte Datei liest und scannt).

Ja, ich hätte auch nur mit ein paar Sekunden gerechnet.
Weil es mit dem TC so lange dauerte, habe ich danach die 30GB Datei mit dem explorer verschoben,
und da hat es auch lange gedauert. Hätte ich damit gerechnet, dann hätte ich mitgestoppt.

Wenn ich 90GB bei meiner NVME SSD verschiebe dauert das auch etwas ^^


Na genau das ist einer der Gründe warum das etwas länger dauert, wie bereits von anderen hier erklärt.

Mir ist unklar, warum das bei SMR länger dauern soll.
Wird denn nicht einfach nur in einem Directory Baum gesagt, wo der erste Block der Datei liegt?

Und warum dauert sowas auf einer SSD auch etwas? Was ist denn hier ungefähr die Größenordnung für "etwas"? Sekunden, Minuten, oder größer 10 Minuten?


Danke für eure Hilfe

 

[Drewkev]

Mir ist unklar, warum das bei SMR länger dauern soll.

Na weil da sobald der Cache voll ist die Geschwindigkeit sich drastisch mindert, auch das wurde bereits erläutert. Ja, es wird lediglich "umadressiert", aber da kommt es halt auch darauf an wie viele Ordner, wie viele einzelne Dateien und wie groß diese sind.

Und warum dauert sowas auf einer SSD auch etwas? Was ist denn hier ungefähr die Größenordnung für "etwas"? Sekunden, Minuten, oder größer 10 Minuten?

Stimmt, das müsste eigentlich mit Lichtgeschwindigkeit gehen.

Auch hier: Abhängig von Pfad, Ziel, Anzahl der Dateien/Ordner, Größe der Dateien/Ordner

 

[nehonimo]

Na weil da sobald der Cache voll ist die Geschwindigkeit sich drastisch mindert, auch das wurde bereits erläutert. Ja, es wird lediglich "umadressiert", aber da kommt es halt auch darauf an wie viele Ordner, wie viele einzelne Dateien und wie groß diese sind.


Stimmt, das müsste eigentlich mit Lichtgeschwindigkeit gehen.

Auch hier: Abhängig von Pfad, Ziel, Anzahl der Dateien/Ordner, Größe der Dateien/Ordner

Keine Ordner, nur 1 Datei.zip mit 30GB im explorer verschoben. Warum wird denn dabei ein Cache voll?

 

[Drewkev]

Du hast halt leider (zumindest für dieses Szenario) die falsche Technologie gewählt. Die CMR Technologie ist genau für sowas ausgelegt, die SMR Technologie eher zum "bunkern" der Daten.

Hier ist es glaube ich noch genauer beschrieben:
https://www.reichelt.de/magazin/rat...tte-eignet-sich-am-besten-fuer-welchen-zweck/

Was genau beim Verschieben in den Cache geschrieben wird, übersteigt leider (noch muahaha) meine Expertise.

 

[nehonimo]

Gerade mit dem explorer 30GB verschoben. Mehrere Ordner mit insgesammt 2 Dateien.
Dauer: weniger als 1 Sekunde.
Vielleicht war ja doch nur der Virenscanner amok gelaufen.

Vielen Dank

 

[Drewkev]

Na siehste. 30GB und 90GB ist halt schon ein Unterschied.

 

[nehonimo]

...
Dann wollte ich drei auf einmal verschieben, wobei jede ca. 30GB groß ist (Alles Zip Files).
....

Explorer:
Da dachte ich mir, ich verschiebe die letzte mit dem explorer. Das dauert aber jetzt auch schon wieder sehr lange.
...

Das war auch eine 30GB Datei die wohl länger als 10 (gefühlte) Minuten gedauert hat.

 

[Drewkev]

Aber du hast drei aufeinmal verschoben? Steht zumindest da.

 

[Madman1209]

Hi,

auch 90 GB dürfen nicht so lange dauern. Ich verschiebe teils 70 - 100 GB Dateien auf SMR Laufwerke über Gigabit, sprich mit ca. 110MB pro Sekunde. Weder bricht da etwas ein noch wird da etwas langsam. Das Kopieren von einer Platte in Rechner A über das Netzwerk auf eine SMR in Rechner B lastet die Gigabit Verbindung komplett und dauerhaft aus.

Dauer: ca. 10 Sekunden pro GB. Analog 5 Minuten für 30 GB. Und der Flaschenhals hier ist das Gigabit Netzwerk.

Ein Verschieben innerhalb der Verzeichnisstruktur geht instant. Auch bei 100 GB Dateien. Der Cache kommt dabei doch gar nicht ins Spiel.

VG,
Mad

 

[nehonimo]

Zuerst 3 auf einmal mit TC. Dauerte zu lange -> Abort.
2 waren schon gemoved von TC
Die restliche eine Datei dann mit explorer, weil mir das mit TC komisch vor kam.

 

[Drewkev]

Und wenn du die selben drei aufeinmal mit Explorer statt TC verschiebst?

 

[nehonimo]

Das werde ich vielleicht heute Nacht ausprobieren, wenn ich den Rechner nicht mehr benutze.

Ergänzung (2. November 2021)

Ein Verschieben innerhalb der Verzeichnisstruktur geht instant. Auch bei 100 GB Dateien. Der Cache kommt dabei doch gar nicht ins Spiel.

So habe ich es erwartet. Vielleicht hatt sich der McAfee verschluckt.

 

[Madman1209]

Hi,

also den würde ich umgehend entfernen, sofern das überhaupt noch möglich ist so tief wie sich dieses Schlangenöl ins System frisst.

VG,
Mad

 

[Naru]

Ich habe immer gedacht, dass Verschieben ganz schnell geht, wenn man innerhalb einer Partition bleibt.

Tendenziell ist dem so, jedoch werden viele und großen Dateien zuerst in einem äußeren Sektor der Platter geschrieben. Die Modi Conventional Magnetic Recording (CMR) und Shingled Magnetic Recording (SMR) sind weitere Indikatoren.

Im Übrigen mögen HDDs es gar nicht, mehrere solcher Aufgaben gleichzeitig zu bewältigen. Dafür mangelt es einfach an der erforderlichen I/O-Performance derer Caches und Lese- und Schreibleistungen derer Platter.

Versuche mal mit MKVToolNix mehrere Videos in einer eigenständigen oder zusammengeführten Aufgabe von einer HDD auszulesen oder gar eine HDD als Ziel der zu schreibenden vielen Videos auszuwählen. Die HDD rattere sich zu Tode und der Vorgang gehe in gefühlten Jahren nicht voran, gegenüber der Option, die Videos einzeln nacheinander erzeugen zu lassen. Einen solchen Vorgang beherrschen ausschließlich SSDs.

Die Caches moderner Desktop-HDDs können maximal 1,5 GB in einem Rutsch durchjagen. Etwas ältere HDDs nur 1,0 GB. Bei einem Video mit 1,75 GB an Gesamtgröße werden demzufolge die übrigen 250 MB nach einem Entpuffern des Chaches langsam bis sehr langsam übertragen.

Keine Ordner, nur 1 Datei.zip mit 30GB im explorer verschoben. Warum wird denn dabei ein Cache voll?

Weil der Cache mit den zu dispatchenden Datenpaketen auf die vergleichsweise viel zu lahmen Platter zu warten hat.

 

[Hoplahop]

Das verschieben von 90 GB von interner Platte auf interne Platte geht bei mir ziemlich rasch. Sollen 90 GB auf eine externe Festplatte, dann dauert es schon viel länger. Ich kenne das schon und bin darauf eingestellt.
SMR sind nur mit Einschränkung für überwiegend schreibende Tätigkeiten zu gebrauchen.

 

[Drewkev]

Aber es gibt einen Unterschied zwischen 90GB aufeinmal (eine .zip Datei bspw.) und drei seperaten Dateien mit jeweils 30GB. Ich lass mich aber gerne eines Besseren belehren.

 

[Madman1209]

Hi,

der Unterschied dürfte marginal sein, außer es wird parallel kopiert/verschoben. Nehme ich eine 90 GB Datei per Drag and Drop und nehme ich drei 30 GB Dateien per Drag and Drop dürfte das minimal Unterschied machen, da die drei Dateien ja auch sequenziell kopiert/verschoben werden.

VG,
Mad

 

[Naru]

Aber es gibt einen Unterschied zwischen 90GB aufeinmal (eine .zip Datei bspw.) und drei seperaten Dateien mit jeweils 30GB. Ich lass mich aber gerne eines Besseren belehren.

Stimmt, weil die Datenpakete von je allen drei gleichzeitig zu übertragenden Dateien durch das Device Input and Output Control (IOCTL) gejagt werden und von den HDDs in sequenzell geschrieben werden. Dabei wartet kein Datenpaket auf ein anderes. Zwei Dateien auf einer HDD gleichzeitig zum Schreiben zu übertragen ist eine I/O-Herausforderung. Umso weiter es nach außen hin eines Platter gehe, desto langsamer geht ein solcher Prozess vonstatten.