Komprimieren dauert Ewigkeiten

[neudabei]

Hallo.

Ich möchte viele Dateien komprimieren. Es sind insgesamt 30 GB bei mehreren 100.000 Dateien. Nun dauert das Erstellen des zip-Ordners alelrdings schon 5 Stunden und der Ordner ist 20 GB groß. Leider bekomme ich auch keinen Progress angezeigt (Erstellt in Linux Mint 19.3, rechtsklick, komprimieren).

Ist das normal? Und geht es irgendwie schneller?

 

[SpiII]

CPU-Power und eine schnelle SSD.

Ein i5-2520M hat sicherlich zu kämpfen...

 

[0x8100]

Und geht es irgendwie schneller?

sind das wirklich komprimierbare daten? falls nicht, einfach zu einem archiv zusammenfassen, ohne komprimierung. diese wird nämlich nur single-threaded sein.

 

[nighteeeeey]

Ist das normal? Und geht es irgendwie schneller?

Ja. Mit einer CPU die nicht 11 Jahre alt ist und in nem Laptop steckt.

Sorry aber 100.000 Dateien, 30GB groß? auf nem 11 Jahre alten Notebook 2 Kerner? Ehm....

 

[neudabei]

CPU-Power und eine schnelle SSD.

Ein i5-2520M hat sicherlich zu kämpfen...

Alles klar, dann weiß ich schonmal mehr, danke.

Noch eine Frage: Hätte ich das jetzt mit dd gemacht, über das Terminal, wäre das schneller gegangen?

 

[Mickey Mouse]

vermutlich ja...
HDD oder SSD?

 

[neudabei]

sind das wirklich komprimierbare daten? falls nicht, einfach zu einem archiv zusammenfassen, ohne komprimierung. diese wird nämlich nur single-threaded sein.

Sieh mal an, ich wusste nicht, dass das geht. Das wäre sogar mein Anliegen.

Ergänzung (4. Januar 2023)

vermutlich ja...
HDD oder SSD?

SSD

Ergänzung (4. Januar 2023)

Sorry aber 100.000 Dateien, 30GB groß? auf nem 11 Jahre alten Notebook 2 Kerner? Ehm....

Entschuldigung angenommen

 

[0x8100]

tar -cf mein_archiv.tar /pfad/zum/verzeichnis

alternativ in der gui einfach "tar" als format auswählen.

 

[neudabei]

ach guck mal, das ging ja jetzt in ein paar Minuten

 

[Tenferenzu]

Mint 19 würde ich übrigens auch mal updaten. Das müsste nämlich noch auf Ubuntu 18.04 basierend sein das nur noch bis April 2023 unterstützt wird.

 

[NOTAUS]

Generell würde ich eine so große Menge nie in ein Archiv stopfen. Desweiteren kann man die Komprimierungsrate auch noch einstellen. Zu hoch ist immer aufwändiger und fehlerbehafterter. (und dauert länger) Bei z.B. schon von Hause aus komprimierten Videodateien, kann man auch kaum noch mehr Speicherplatzersparnis rauskitzeln.

 

[Raijin]

Was das Komprimieren generell angeht muss man auch bedenken, dass es auf die Art der Daten ankommt. Bereits komprimierte Daten lassen sich nur schwierig weiter komprimieren.

JPG, MP3 oder gar 7z, zip, rar und vergleichbare Dateiformate sind bereits stark komprimiert. Auch docx/xlsx sind schon komprimiert, weil das gewissermaßen zip-Dateien sind. Jagt man diese nun erneut durch zip, o.ä. ändert sich von der Größe her relativ wenig, aber der Rechenaufwand für das Packprogramm ist dennoch vorhanden, weil der Packer es ja versucht. Das Archiv ist hinterher allerdings kaum kleiner als die Originale.

Dementgegen stehen Dateiformate wie banale txt-Dateien, ältere Office-Formate (xls, doc) und dergleichen. Diese Daten können sehr effizient gepackt werden, weil sie viel ... ... Luft enthalten. Der Rechenaufwand für den Packer ist natürlich trotzdem da, aber das Archiv ist am Ende deutlich kleiner als die Ausgangsdaten.

 

[Mickey Mouse]

ach guck mal, das ging ja jetzt in ein paar Minuten

ist nur nicht das, was du im Eröffnungspost geschrieben hattest:

Ich möchte viele Dateien komprimieren.

du kannst ja mal probieren, das erstellte Archiv mit gzip, bzip oder was deine Distri da mitbringt zu komprimieren. Oftmals können "mehr" Daten auch effizienter komprimiert werden. Du kannst dir dazu auch mal die "Tuning" Optionen angucken und eine geringere Kompression und dafür höhere Geschwindigkeit auswählen.

 

[neudabei]

Mint 19 würde ich übrigens auch mal updaten. Das müsste nämlich noch auf Ubuntu 18.04 basierend sein das nur noch bis April 2023 unterstützt wird.

Das ist in einem anderen Thread aktuell Thema. Du merkst, ich bin ein Neuling Danke aber für den Hinweis.

ist nur nicht das, was du im Eröffnungspost geschrieben hattest:

Ich dachte immer "Archiv = Komprimieren". In diesem Thread habe ich aber wieder so einiges gelernt.

@NOTAUS Was bedeutet "fehlerbehafter"? Es können also Daten verloren gehen bzw. korrumpiert werden?

 

[LochinSocke]

Bei solchen Dingen immer erstmal mit einigen Testdateien üben was Fortschrittsanzeige und ähnliches betrifft.

 

[0x8100]

Was bedeutet "fehlerbehafter"? Es können also Daten verloren gehen bzw. korrumpiert werden?

nein, die aussage ist quatsch.

 

[neudabei]

Weil?

 

[0x8100]

warum sollten komprimierte daten fehleranfälliger sein als unkomprimierte? und warum sollte das von der kompressionsstärke abhängen? entweder die daten sind intakt oder nicht. zip & co. sind nicht verlustbehaftet - wenn die archive korrekt gelesen werden können, kann man immer die unkomprimierten daten wiederherstellen.

ebenso hängt das nicht von der menge ab. kompressionsalgorithmen sind selbst in dateisystemen eingebaut, die tera- und petabyteweise daten speichern können.

 

[Raijin]

Bei demselben Algorithmus mit lediglich stärkerer Komprimierung erhöht sich tendentiell nur der Rechenaufwand - das Packen dauert länger - bei gleichzeitig (hoffentlich) kleinerem Endergebnis. Würden die Daten dadurch korrumpiert werden, wäre das absolut fatal und der Algorithmus als Ganzes untauglich - unabhängig davon ob man damit 3000 Dateien mit 60 GB packt oder eine einzelne 1kb kleine txt-Datei.

 

[Garmor]

Was soll das überhaupt werden? Ich habe so ein bisschen die Befürchtung, dass das hier ein XY-Problem ist und du eigentlich eine Backupsoftware suchst.