Größe auf Datenträger

[wus]

Bei der Datensicherung auf eine externe USB HDD fiel mir mal wieder auf, dass es einen Unterschied zwischen der eigentlichen Größe (netto) und der "Größe auf Datenträger" (brutto) gibt. Bisher hatte ich grob im Hinterkopf, dass das so um die 5 oder 10% ausmacht, aber jetzt sehe ich das:

Also schlappe 42% mehr. Da ich außer diesem Ordner noch etliche weitere mit insgesamt 11 TB sichern muss spielt das schon eine Rolle, denn erheblich größere bzw. mehrere Festplatten kosten auch deutlich mehr.

Kann man das System oder die HDD irgendwie dazu bringen mit deutlich geringerem Overhead zu arbeiten?

Die Platte ist eine WD MyBook mit 14 TB, sie ist exFAT formatiert.

 

[holdes]

Das passiert wenn man beim formatieren eine große Zuordnungseinheit wählt und dann deutlich kleinere Dateien drauf speichert. Hast du z.B. die Zuordnungseinheiten auf 256KB gewählt und speicherst nun eine 1Byte Datei, so verbraucht sie auf der Platte trotzdem 256KB.

Der Vorteil bei großen Zuordnungseinheiten liegt nur darin wenn man riesige Dateien ablegt wie z.B. Bluray ISO Dateien a 50GB, dann müssen weniger Zuordnungseinheiten angefasst und verwaltet werden was in etwas besserer Performance endet.

Ändern lässt sich der Wert im Nachgang nicht, man kann nur die Daten sichern, die Platte mit kleinerer Einstellung neu formatieren und wieder zurück kopieren. Im Idealfall mit NTFS.

 

[areiland]

WD MyBook mit 14 TB, sie ist exFAT formatiert

Und genau das dürfte diesen Unterschied verursachen. Denn eine solche Datenträgergrösse dürfte bei ExFat auch zu sehr grossen Clustergrössen führen. Also ist der Verschnitt gerade bei kleineren Dateien extrem gross und das führt zu dieser Diskrepanz zwischen der tatsächlichen Grösse und der Grösse auf dem Datenträger.

 

[holdes]

Laut Microsoft nutzen die standardmäßig 128KB bei exFat wenn man es nicht anders einstellt ab 32GB Volumes. Hast du viele kleinere Dateien dann ergibt sich das „Problem“ wie schon erwähnt.

https://support.microsoft.com/de-de...nd-exfat-9772e6f1-e31a-00d7-e18f-73169155af95

 

[wus]

Danke für den Hinweis! 👍

Ich habe jetzt mal geschaut, die Zuordnungseinheit auf der HDD ist aktuell 4096 KB. Die kleinste Zuordnungseinheit die ich beim Formatieren mit exFAT einstellen kann ist 1024 KB, also 1 MB.

Das würde mir zwar sicherlich schon einiges von diesem Overhead ersparen, aber vermutlich bliebe er immer noch beträchtlich. Ich habe sehr viele kleine Dateien, in einigen meiner anderen, noch zu sichernden Ordnern noch mehr als im oben abgebildeten.

Mit NTFS kann man Zuordnungseinheiten bis herab auf 1 KB einstellen. Aber ist das wirklich sinnvoll?

Ich habe gelesen dass exFAT das vielseitigere Dateisystem sein soll, da NTFS wohl längst nicht von allen Geräten gelesen und beschrieben werden kann.

 

[holdes]

Nutzt du die Platte nur unter Windows oder auch an anderen Betriebsystemen?

 

[SilenceIsGolden]

Wenn du NTFS nimmst, dann lass die Clustersize auf 4kB, das ist seit Jahrzehnten Standardeinstellung, auch für Systemlaufwerke auf denen Windows mit seinen sehr vielen kleinen Dateien installiert ist.

 

[areiland]

@wus
Bei vielen kleinen Dateien ist eine Grösse von 4096 KB pro Zuordnungseinheit halt eben etwas unschicklich - denn selbst eine 1 Byte Datei belegt dann diese 4096 KB. NTFS hat dieses Problem nicht, weil dort solch kleine Dateien in der MFT gespeichert werden können, die selbst eine grosse Datei darstellt. Das verringert diesen Verschnitt halt extrem, weil Verknüpfungen und Null Byte Dateien nicht im Dateisystem selbst landen.

 

[wus]

Ich nutze die Platte derzeit nur unter Windows, will sie aber auch mal an ein NAS, einen Mac oder einen TV / Bluray Player / AVR anschließen können.

 

[SilenceIsGolden]

Fernseher erkennen eher NTFS als exFAT, aber es ist die Frage ob eine Platte mit so hoher Kapazität unterstützt wird. Viele etwas ältere TVs erkennen nur MBR-Datenträger mit max. 2TB.

 

[holdes]

Da hast du aber wirklich eine äußerst ungünstige Kombination aus Anwendungsfällen. Bei einer so großen HDD bin ich mir nicht sicher ob die an einem AVR bzw. TV ordentlich laufen würde unabhängig des Dateiformats und beim Mac geht von Haus aus nach meinem aktuellen Stand nur ein lesender Zugriff (mit extra Bezahlsoftware gehts zwar wieder, aber das mal außen vor). Beim NAS kann man Glück haben wenn es implementiert wurde.

 

[areiland]

Ich nutze die Platte derzeit nur unter Windows, will sie aber auch mal an ein NAS, einen Mac oder einen TV / Bluray Player / AVR anschließen können.

Dann würde ich doch eher mit Freigaben arbeiten und dem MAC, dem Fernseher und den anderen Geräten diese zur Verfügung stellen. Ein Netzwerk sollte ja zur Verfügung stehen.

 

[wus]

Freigaben kann ich leider nur zu Hause verwenden. Ich nehme gelegentlich HDDs mit zu Freunden um ihnen an ihrem TV etc. meine Bilder und Videos zu zeigen.

Aber lassen wir TV etc. mal außen vor, dafür kann ich ggfs. eine kleinere HDD verwenden die ich schon habe.

Ergänzung (23. Januar 2021)

Wenn du NTFS nimmst, dann lass die Clustersize auf 4kB.

Handelt man sich denn irgendwelche Nachteile ein wenn man kleinere Clustersizes wählt?

 

[holdes]

Handelt man sich denn irgendwelche Nachteile ein wenn man kleinere Clustersizes wählt?

Lese- und Schreibperformance. Das muss aber nicht zwingend spürbar sein. Wenn du sowieso neu formatierst probier es einfach mal aus und kopiere hinterher mal 10GB drauf und wieder runter mit verschiedenen Größen.

 

[Purche]

Genaugenommen sind kleine Dateien auch gar nicht schlimmer als große Dateien. Bei beliebig großen/kleinen Dateien mit zufälliger Größe wird das letzte Cluster rein statistisch im Mittel immer nur zu ca. 50% ausgenutzt, egal ob die Datei sehr groß ist oder klein.
Der "verschenkte" Platz ist also in KB gemessen pro Datei immer gleich groß und steigt generell NUR mit der Anzahl der Dateien, egal ob die groß oder klein sind. Die kleinen Dateien haben nur die tückische Eigenart, dass man von denen viel mehr abgespeichert bekommt ans von den ganz großen.

Man kann sich natürlich mal ansehen, in welchen Ordnern besonders viele der kleinen Dateien liegen. Bei mir ist das der Ordner in dem hunderttausende Emails seit über 20 Jahren liegen (Je Mail 1 File). Dann könnte man dafür entweder eine neue Partition anlegen und nur da die Clustergröße runtersetzen. Oder man legt ein VeraCrypt Image an, das man als eine einzige Datei auf der Partition (große Clustergröße) ablegt und innerhalb dessen man ein Dateisystem mit kleiner Clustergröße nutzt. Da hat man dann den Vorteil, dass die Riesen-Dateien nicht ein Vielfaches an Clustern belegen und dadurch die Performance sinkt.

 

[wus]

Ich habe die Platte jetzt NTFS formatiert, mit Zuordnungseinheiten von 4096 Bytes. Das gleiche Verzeichnis das zuvor 42% mehr Platz auf der Platte beanspruchte kommt jetzt mit 0,03% mehr aus.

Vielen Dank für Eure Hinweise!