Werden verlustlose Packer noch weiterentwickelt?

[robin007]

Hallo
werden verlustlose Komprimierungsalgorithmen bzw Packer wie pkzip, arj, lha, lzh, rar, gzip, bzip2 und andere noch weiter entwickelt? Heute scheint ja fast jeder nur noch zip zu verwenden, auch wenn es besseres gibt. Ich kenne das zip mit der Software pkzip noch aus den 90er Jahren. Unter Windows verwendet heute fast jeder die Software 7-zip. Das beeinhaltet verschiedene Packalgorithmen in verschiedenen Varianten. Da gibt es ja selbst bei zip so viele Einstellmöglichkeiten, dass ich Bedenken habe ob so erzeugte Dateien noch überall ausgepackt werden können. Deshalb belasse ich das meistens bei den Standardeinstellungen.
Nur unter Linux ist gzip und bzip2 weiter verbreitet.
Werden noch neue Algorithmen entwickelt? Vor ein paar Jahren hörte man manchmal was von Zstandard. Das wird so weit ich weiß nur von einigen Linux-Distributionen verwendet.

Jendenfalls wurde die nützliche Seite
http://compression.ca/act/
schon lange nicht mehr aktualisiert.

Zwar könnte man meinen, dass durch billige Speichermedien das alles nicht mehr so relevant ist. Aber ich denke gerade wegen der vielen Cloud-Anwendungen ist es eben noch relevant.

VG

 

[wern001]

bei normale packer gibt es nur verlustlos. sonst können die daten nicht wiederhergestellt werden.
Verlustbehaftet gibt es bei Audio,Bilder und Videos. Das hat aber nichts mit packer für dateien zu tun.

manche der packer auf der Seite sind ja schon ewig alt und aus der pc/amiga steinzeit

 

[kieleich]

Ja schon nur die Leute verwenden es halt nicht bei Audio ja das gleiche immer noch Steinzeit MP3

Und am Ende kann man da auch nicht mehr so wahnsinnig viel heraus holen

Viele Datei Formate sind ja auch schon von sich aus gepackt also eine DOC o.ä. ist dann schon komprimiert und das kann man dann, nicht noch mal komprimieren ohne das Datei Format selbst zu ändern wodurch, es nicht mehr verlustlos wäre

 

[RalphS]

Gibt halt keinen Bedarf. Storage war mal teuer - entsprechend gabs die Komprimierer -- aber inzwischen kriegst das nachgeworfen.

Entwicklung lohnt sich da eher in Streamoptimierung. Wenn ich eine Datei habe, wie bekomme ich sie so aus dem Dateisystem, daß ich sie "paketweise" weitergeben kann und nicht erst die ganze Datei lesen muß? Sowas in der Art.

 

[Topflappen]

Ich meine so was wie Komprimierung gibt es heute hauptsächlich um die Datenrate im Streamen niedrig zu halten. Packer sind bei der verwendeten Datenmenge heutzutage so kaum noch notwendig, dazu sind USB Speicher und auch Festplatten heute zu günstig.

 

[Garmor]

Vor ein paar Jahren hörte man manchmal was von Zstandard. Das wird so weit ich weiß nur von einigen Linux-Distributionen verwendet.

Wird halt eher für Kompression auf Dateisystemebene verwendet: https://btrfs.wiki.kernel.org/index.php/Compression

 

[whats4]

ich würde sagen: diese algorythmen sich recht ausentwickelt.
was ned heisst, daß nix geht, aber immer weniger mit immer mehr an leistung und resourcen, die´s braucht.

 

[Drewkev]

Datenkomprimierungen wie mit 7Zip, RAR, WinZip etc. pp. sind sowieso verlustfrei, nur bei Audio/Video/Foto gibt es verlustbehaftete Datenkompressionen, aber selbst da nicht immer.

 

[robin007]

Datenkomprimierungen wie mit 7Zip, RAR, WinZip etc. pp. sind sowieso verlustfrei, nur bei Audio/Video/Foto gibt es verlustbehaftete Datenkompressionen, aber selbst da nicht immer.

Ja das ist schon klar.

 

[WinnieW2]

@robin007
Klar werden die Algorithmen weiter entwickelt. Meist sind das Informatik-Hochschulprojekte welche sich mit diesem Thema befassen.
Es muss ein vernünftiger Kompromiss zwischen Kompressionsstärke und Verarbeitungsgeschwindigkeit gefunden werden; es gibt Kompressionsalgorithmen welche nicht weit verbreitet sind oder nicht von vielen Leuten genutzt werden weil diese einfach zu rechenintensiv sind und deshalb langsam.

7-Zip ist mit dem LZMA Algorithmus ein guter Kompromiss, würde ich sagen. Komprmiert gut, ist aber auch noch akzeptabel flott.
Das Problem ist dass der Zusammenhang nicht linear ist und ab einem gewissen Punkt sich die notwendige Anzahl der Rechenoperationen verdoppelt nur um die Daten um wenige Prozent besser zu packen.
Und die besten Algorithmen benötigen sogar Faktor 100 an Rechenoperationen um das zu schaffen.
ZPAQ & Co.

Es gibt aber auch Neuentwicklungen um Gzip abzulösen, wie z.B. Zstandard. Das hattest du ja erwähnt.
Zstandard soll gar nicht die max. mögliche Kompression schaffen, es soll nur ein wenig besser komprimieren im Vergleich zu Gzip, aber dabei genauso schnell arbeiten.
Alte Kompressionsalgorithmen haben das Problem dass diese schlecht an aktuelle Datenmengen bzw. Dateigrößen und die Fähigkeiten moderner Rechner angepasst sind.

 

[Drewkev]

@robin007
Andere werden natürlich auch noch weiterentwickelt. Aber die sind entweder schon "fertig" oder werden nicht genutzt, warum kann mehrere Gründe haben.

 

[whats4]

vermutung: am meisten wird sich bei verlustbehaftetem tun.
weitergehende vermutung: es wird zu formaten tendieren, die zwar von jedem consumergerät in hardware dekomprimierbar sind, aber nur unter größtem aufwand "selbst" in dieses format komprimierbar sind.

das löst wahrscheinlich viel beim platzproblem, forciert generationenerneuerung bei der hardware... ...und die content industrie kann auch sicher sehr gut damit.

 

[Autokiller677]

Heute scheint ja fast jeder nur noch zip zu verwenden, auch wenn es besseres gibt.

Mal aus meiner Perspektive: Ich benutze das eigentlich nur, wenn ich mehrere Dateien verschicken will. Solang ich nicht sicher weiß, dass die Gegenseite mit etwas anderem als zip was anfangen kann, wird halt zip genommen. Und meistens weiß ich das nicht sicher.

Selten benutze ich mal 7z, mittlerweile eigentlich nur noch um altes Zeug zu packen, damit es nicht tausende Klein-Dateien sind, was beim Backup lange dauert. Speicherplatz ist eher kein Argument. Die Sachen, die richtig Platz fressen sind bei mir Bilder und Videos, und da helfen die verlustfreien alle wenig.

Unter Windows verwendet heute fast jeder die Software 7-zip.

Glaube ich bei weitem nicht. Unter den technisch versierten vielleicht, aber die große Mehrheit wird da gar nix installiert haben und einfach zip mit dem Windows Explorer öffnen.

 

[WinnieW2]

ich würde sagen: diese algorythmen sich recht ausentwickelt.

Jein. Das Hauptproblem ist an dieser Stelle die Kompatibilität. Wenn ein Kompressionsformat mal festgelegt ist dann sind die Möglichkeiten die Kompression weiter zu verbessern begrenzt.
Die Kompression kann dann nur verbessert werden wenn die Formatkompatibilität aufgegeben wird, aber das bedeutet dann es ist ein neues Kompressionsformat.

Ein Trend welchen ich mitbekommen habe ist mehrere Algorithmen für unterschiedliche Datenformate zu verwenden bzw. pre-processing für bestimmte Datenformate.

 

[Chief Gewickelt]

Werden noch neue Algorithmen entwickelt?

Klar; siehe zum Beispiel Google's Brotli oder Zopfli, als gzip Nachfolger entwickelt. Moderne, verlustbehaftete Codecs bringe auch gerne verlustfreie Modi mit, welche natürlich von deren zeitgemässeren Techniken profitieren (AV1/AVIF, HEIC/HEIF, JPEG XL ...).

 

[KernelpanicX]

Bilder wie jpg oder jpeg etc. zu komprimieren ist in der Sache Unsinn, weil es nichts bringt. Das gilt auch für Videos. Der Sinn der Komprimierung solcher Dinge besteht darin, sie in einem Bündel anzuliefern. Bei Textdateien ist das schon anders.

Und zu 7z, wie schon erwähnt, die meisten Leute kennen 7z nicht, selbst RAR-Dateien sind vielfach noch unbekannt. Noch unbekannter dürfte für die meisten das ACE-Format sein. Das war mal ein Packer, der damals die kleinsten Gepackten produzierte. Ich habe damals ein paarmal so gepackte Dateien verschickt, und bekam prompt die Rückfrage, was das denn sei.
ACE Komprimierer

Ich benutze heute fast nur 7z. Ein ganzes Verzeichnis wird verpackt, mit einem Kennwort gesichert, und hoch in die Wolke gehievt. - Und wer ganz sicher gehen will, der packt die gepackte Datei dann nochmal mit Win-RAR plus Paßwort . . . damit der chinesische Geheimdienst in die Röhre guckt.

 

[Apopex]

Glaube ich bei weitem nicht. Unter den technisch versierten vielleicht, aber die große Mehrheit wird da gar nix installiert haben und einfach zip mit dem Windows Explorer öffnen.

Ich nutze auch kein extra Pack Programm mehr (früher immer WinRar), öffnen konnte ich bisher alles was ich verpackt bekommen oder Heruntergeladen habe mit Windows selbst.

Ich selbst verpacke eigentlich auch nichts, höchstens mal mehrere kleinere Dateien zu einem Archiv, um dieses per E-Mail zu versenden. (Was sehr selten vorkommt).
Aber nicht um Speicher zu sparen, sondern das alles sauber ein einer Datei zusammengefasst ist.
Das kann Windows mittlerweile auch gut schnell und einfach.

Und ich bin mir sicher das mein gegenüber das auch ohne aufwand und ohne extra Programme entpacken kann.

Und zu 7z, wie schon erwähnt, die meisten Leute kennen 7z nicht, selbst RAR-Dateien sind vielfach noch unbekannt. Noch unbekannter dürfte für die meisten das ACE-Format sein. Das war mal ein Packer, der damals die kleinsten Gepackten produzierte. Ich habe damals ein paarmal so gepackte Dateien verschickt, und bekam prompt die Rückfrage, was das denn sei.
ACE Komprimierer

Oh ja WinAce kenne ich auch noch, ist aber ewig her, war unter Windows 98/ME 🙂
🙂🙂

 

[TomH22]

Die Algorithmen und Formate haben in den 80ern/90ern eine stürmische Entwicklung erlebt, danach war ein Level erreicht, den man nicht mehr nennenswert steigern konnte. Dazu gibt es theoretische Konzepte, wie die Entropie. Siehe auch hier: https://de.wikipedia.org/wiki/Entropiekodierung

Ein wesentlicher Treiber der Entwicklung waren sie damals sehr begrenzten Bandbreiten bei der Datenübertragung z.B. mit Analog Modems. Gleichzeitig war die Rechenleistung für die Kodierung ein relevanter Faktor. Diese Algorithmen sind heute immer noch sehr wichtig, denn gerade die textbasierten Datenformate, wie HTML oder XML, gehen sehr verschwenderisch mit Platz um und lassen sich dadurch auch gut komprimieren. Deswegen werden HTTP Requests/Responses oft mit gzip komprimiert.

Nur ist die Qualität der etablierten Verfahren bzgl. Kompressionsrate und CPU Belastung so gut, dass der Nutzen für neuere Verfahren in keinem Verhältnis zum Aufwand für deren Einführung steht.
Im übrigen muss man zwischen Archivformaten (wie etwa ZIP, gz, etc.) und Algorithmen unterscheiden. Man kann die Algorithmen weiterentwickeln, ohne neue Formate einführen zu müssen. Die „Musik“ spielt bei der Kompression. Hier muss man einen Kompromiss aus Rechenleistung und optimaler Kodierung finden, für die Dekompression spielt das keine Rolle.

Ein weiterer Aspekt ist, das Anwendungsdaten heute oft schon komprimiet sind (z.B. fast alle Medienformate) und sich nicht weiter komprimieren lassen. Gängig Packer erkennen das übrigens auch und versuchen garnicht mehr solche Dateien weiter zu komprimieren.

Und ich bin mir sicher das mein gegenüber das auch ohne aufwand und ohne extra Programme entpacken kann.

Das ist ein sehr wichtiger Aspekt. Dabei muss man auch daran denken, das nicht alle Packer von den Lizenzbestimmungen her überall eingesetzt werden dürfen. Viele Programme sind nämlich nur für den Privatgebrauch kostenlos.

Ich bin immer super angenervt wenn mir jemand z.B. eine RAR Datei an meine Firmen Email schickt. Denn WinRAR ist so ein Programm.

 

[WinnieW2]

Bilder wie jpg oder jpeg etc. zu komprimieren ist in der Sache Unsinn, weil es nichts bringt. Das gilt auch für Videos. Der Sinn der Komprimierung solcher Dinge besteht darin, sie in einem Bündel anzuliefern. Bei Textdateien ist das schon anders.

Klar können auch JPEG-Dateien mit einem an das Format angepassten Algorithmus weiter komprimiert werden.
siehe: Lepton
https://github.com/dropbox/lepton

Und zu 7z, wie schon erwähnt, die meisten Leute kennen 7z nicht, selbst RAR-Dateien sind vielfach noch unbekannt. Noch unbekannter dürfte für die meisten das ACE-Format sein. Das war mal ein Packer, der damals die kleinsten Gepackten produzierte. Ich habe damals ein paarmal so gepackte Dateien verschickt, und bekam prompt die Rückfrage, was das denn sei.
ACE Komprimierer

ACE sollte allerdings nicht mehr genutzt werden, da die Software bekannte Sicherheitslücken hat und nicht mehr aktiv weiter gepflegt bzw. nicht mehr weiterentwickelt wird.

 

[foo_1337]

Nur unter Linux ist gzip und bzip2 weiter verbreitet.

Das geht übrigens immer mehr zurück. LZMA/LZMA2 (xz) und LZ4 (kommt immer mehr) sind da der "heiße scheiß" bzip2 verwendet niemand mehr ernsthaft, da es einfach viel zu langsam ist. Und auch gzip ist vergleichsweise lahm, wenn es um gute Ergebnisse geht.
Das beantwortet hoffentlich auch die Frage: Ja, die Entwicklung geht weiter. LZ4 ist z.B. noch gar nicht soo alt.