Dateien "bewegen" auf einer HDD (EXT4)

[Nero Atreides]

Ich habe von einem Synology NAS 20 TB Daten "heruntergenommen" (ca. 100.000 Videodateien/Rohdaten) um sie als Cold Storage auf einer externen HDD aufzubewahren statt auf dem NAS. Die HDD habe ich via USB an das NAS angeschlossen und die Dateien verschoben. So weit, so gut.

Nun ist mir bewusst, dass die HDD immer mal laufen sollte und nicht zu lange "cold" bleiben, das mache ich auch, aber: auf dem NAS läuft bei mir BTRFS mit 3-monatigem Data Scrubbing. Das hat die letzten Jahre gut funktioniert. Für die ext. DD mit EXT4 Dateisystem geht das aber zumindest mit dem Synology NAS nicht, das funktioniert nur für die HDDs im NAS, nicht für externe Datenträger.

Gibt es also ein Programm oder eine (zeitsparende) Möglichkeit, die Dateien auf der externen HDD alle paar Monate einmal "herumzukopieren", damit das Dateisystem die Checksums vergleicht um in Zweifel korrigiert? Es gibt zwar Tools wie MultiPar (mega Programm übrigens für Parity-Daten die man für beliebige Ordner / Dateien erstellen kann), aber das ist mir zu aufwändig, separate Korrekturdaten zu generieren und dann alle paar Monate zu vergleichen, das dauert nämlich jedes Mal ein paar Tage bei 20 TB.

Irgendjemand Ideen? Danke!

 

[WinstonSmith101]

Ist das „herumkopieren“ bei einer HDD wirklich notwendig und sinnvoll? Angeblich sollen HDDs die Magnetisierung über Jahrzehnte halten.

 

[tollertyp]

Warum machst du nicht selbst Checksummen der Dateien (z.B. SHA1) und lässt dann regelmäßig eine Prüfung laufen, ob die noch passen?
Also das "rumkopieren" ist sicher nicht weniger zeitaufwändig als das einfache validieren der aktuellen Hashes.

 

[Nero Atreides]

Ist das „herumkopieren“ bei einer HDD wirklich notwendig und sinnvoll? Angeblich sollen HDDs die Magnetisierung über Jahrzehnte halten.

Nicht sicher. Ich habe extra ein CMR-Drive genommen, kein SMR.

Warum machst du nicht selbst Checksummen der Dateien (z.B. SHA1) und lässt dann regelmäßig eine Prüfung laufen, ob die noch passen?
Also das "rumkopieren" ist sicher nicht weniger zeitaufwändig als das einfache validieren der aktuellen Hashes.

Die Frage ist, was macht man wenn ein CRC dann nicht mehr passt?

 

[tollertyp]

Das Backup einspielen.
Was machst du, wenn die HDD defekt ist? Was machst du, wenn die HDD zu viele defekte Sektoren hat, dass auch die Parititäsdaten nichts mehr bringen?

 

[Banned]

Für die ext. DD mit EXT4 Dateisystem geht das aber zumindest mit dem Synology NAS nicht, das funktioniert nur für die HDDs im NAS,

Es gibt zwei Arten von Scrubbing: Data Scrubbing und RAID-Scrubbing. Data Scrubbing heißt in diesem Fall, es wird mit den über Btrfs angelegten Prüfsummen abgeglichen. Das funktioniert mit EXT4 logischerweise nicht, da das Dateisystem keine Prüfsummen anlegt. RAID Scrubbing funkioniert unabhängig vom Dateisystem, erfordert aber ein RAID mit Parität.

Wäre die externe HDD in Btrfs formatiert, würde es u.U. über das NAS gehen (also es geht theoretisch auf jeden Fall, die Frage ist nur, ob Synology es implementiert hat).
Was du aber alternativ machen kannst, ist chkdsk /r laufen zu lassen. Dabei wird mit den Prüfsummen auf Firmware-Ebene abgeglichen und wenn nötig und möglich über den ECC des Blocks korriigert. Nachteil: Kommt es zu unkorrigierbaren Fehlern, weißt du nicht, welche Datei(en) betroffen sind.

Also hast du folgende Möglichkeiten:

• ext. HDD mit Btrfs formatieren (wie gesagt, ob es mit Synology funktioniert, keine Ahnung)
• chkdsk /r laufen lassen.
• Ein Backupprogramm verwenden, das Prüfsummen anlegt.

Ergänzung (30. November 2024)

Es gibt zwar Tools wie MultiPar (mega Programm übrigens für Parity-Daten die man für beliebige Ordner / Dateien erstellen kann), aber das ist mir zu aufwändig, separate Korrekturdaten zu generieren und dann alle paar Monate zu vergleichen, das dauert nämlich jedes Mal ein paar Tage bei 20 TB.

Ja, da hier nicht Block-, sondern Dateiweise gearbeitet wird, ist sowas zeitaufwendig. Somit ist dann Möglichkeit 3 raus für dich.

 

[Nero Atreides]

Danke. Wusste nicht, dass chkdsk /r genau das macht - ist ja praktisch. Dann werde ich wahrscheinlich einfach das machen, denn ich habe die ext. HDD extra mit EXT4 formatiert, damit ich sie auch am Windows PC nutzen kann.

 

[AGB-Leser]

Sicher, dass Windows mittlerweile mit ext4 umgehen kann?

 

[Banned]

Ich würde für Windows auch eher auf NTFS setzen. Das dürfte das Synology-Gerät doch sicherlich auch unterstützen.

 

[mchawk777]

Sicher, dass Windows mittlerweile mit ext4 umgehen kann?

Definitiv nicht von Haus aus.
Das bedarf Drittsoftware.

 

[AGB-Leser]

Ah, okay. Ich lasse das immer im Lesezugriff, keine Lust auf komische Verhalten wegen ein paar Rechten