OMV ext4 oder Btrfs

[Paddy0293]

Hallo Leute

da das Thema bei mir letztens wieder hoch kam, wollte ich Euch mal nach eurer Meinung fragen.
Ich bin seit ca einem Jahr Besitzer einer OMV NAS mit folgender Ausstattung:

AsRock J5005-ITX
4GB Kingston RAM
300 Watt Bequiet Pure Power 11
4TB WD Red (demnächst RAID 1 in Planung)
mit aktueller OMV 5 Software

Da ich die Nas das erste halbe Jahr nur für Plex benutzt habe, hat mir dies gereicht und ich war mega zufrieden damit
Seit einem halben Jahr habe ich angefangen alles zu digitalisieren und den Papierkram zu schreddern, dadurch ist mir Datensicherheit sehr wichtig. Damals wurde mir Ext4 für OMV empfohlen, dies soll aber nicht so sicher wie BTRFS sein, jetzt überlege ich, komplett auf BTRFS umzusteigen, da dies mehr Sicherheit bringt und eventuell alles zu verkaufen, um auf ECC umzusteigen.
Ich bin sehr zufrieden mit OMV und würde ungern auf eine andere Software wechseln. Habt ihr Erfahrung mit OMV und BTRFS ?

Ich lege meine neuen eingescannten Daten zuerst auf die NAS und mache wöchentlich ein Backup von NAS to Backupmedien.
Ich erledige meine Backups über Personal Backup, diese erledige ich manuell. Mein Backup auf der Cloud erledige ich über OMV per rclone automatisiert einmal wöchentlich. Wenn ich jetzt komplett auf ECC umrüste, müsste ich dann alles via rsync erledigen, da ich sonst nicht von ECC profitiere? Da ja sonst mein PC kopiert, der kein ECC benutzt.

Meine Anwendungsgebiete für die NAS:

• PLex
• Samba Zugriff
• rsync
• rclone
• Proxy

Ich hoffe ihr könnt mir helfen
Danke schonmal

 

[coolduke]

hi, nutzt normales EXT4 (3x4TB + 1x4TB Parity) mit snapraid. rennt seit 3 jahren top ohne probleme. keine erfahrung mit BTRFS.

lg

 

[Paddy0293]

@coolduke bei mir auch habe bloß einfach Angst um die Daten und möchte auf Nummer sicher gehen oder ist das total übertrieben ?

 

[martinallnet]

btrfs hat viele Features wie online-komprimierung und checksumming.
Daher eher empfehlenswert.

 

[Paddy0293]

@martinallnet hast du Erfahrung damit, ob dies ohne Probleme auf OMV läuft?

 

[M@rsupil@mi]

Angst um die Daten und möchte auf Nummer sicher gehen

Backup und wenn das nicht reicht, dann einfach entsprechend mehr Backups / Kopien.

 

[Paddy0293]

@M@rsupil@mi hab ich 4 + cloud also euer Meinung nach, total übertrieben was den ecc support angeht?

 

[computerbase107]

@coolduke bei mir auch habe bloß einfach Angst um die Daten und möchte auf Nummer sicher gehen oder ist das total übertrieben ?

Die Angst vor Datenverlust läßt sich zuverlässig durch regelmäßiges Backup deutlich mindern.

PS.: Es gibt keine 100%ige Datensicherheit bzw. Konsistenz !

 

[Paddy0293]

@computerbase107 dies ist mir bewusst, daher so viele Backups, es geht mir nur darum, ob ich meine Datensicherheit mit BTRFS + ECC erheblich intensivieren kann.
Bzw. ist es möglich die ECC Unterstützung via OMV zu testen?

 

[computerbase107]

BTRFS für sich allein kann gegen Bit-Kipper im File-System helfen. Die Verbindung mit ECC-Ram hat meines Wissens nach keinen zusätzlichen Gewinn bei der Datenkonsistenz.

Ich benutze EXT4 plus regelmäßiges "Scrubbing" gegen Inkonsistenzen vom Raid-Verbund. Es funktioniert soweit bei mir.

 

[Dig.Minimalist]

es geht mir nur darum, ob ich meine Datensicherheit mit BTRFS + ECC erheblich intensivieren kann.

Nein

eine gute Backup-Strategie (3-2-1, regelmäßig, etc.) ist das wichtigste.

ECC, RAID, USV, ... kann man machen, aber ist meiner Erfahrung meist aus Angst getrieben.

 

[Paddy0293]

@Dig.Minimalist das Problem ist ja auch, das man gar nicht mitbekommt wenn ein Bit flippt, außer man möchte die Datei nach Jahren mal öffnen -> korrupt
Deshalb erledige ich die Backups nur über "Aktualisieren", da dadurch bestehende Daten nicht mehr angefasst werden.

Aber ich merk schon ich sollte einfach glücklich sein, wie alles funktioniert und meine Backup Strategie weiter fahren, damit sollte ich auf der sicheren Seite sein

Edit: das Thema ECC RAM ist halt mega komplex und ich glaube immer noch das größte Streitthema, viele sagen, Ja mach es, andere wiederum sagen das es totaler Quatsch ist.

 

[snaxilian]

ECC-Ram hat meines Wissens nach keinen zusätzlichen Gewinn bei der Datenkonsistenz

Dann frische ich mal dein Wissen etwas auf damit zukünftig weniger Vermutungen und mehr Fakten erzählt werden können.

Ja, btrfs und vergleichbare Dateisysteme erstellen Checksummen und in regelmäßigen Abständen gibt es das sogenannte Scrubbing. Dabei werden die abgespeicherten Daten komplett ausgelesen, eine Prüfsumme erstellt und diese mit der vorhandenen Prüfsumme verglichen. Was glaubst du denn wo diese temporäre Prüfsumme liegt und wo die verglichen werden? Genau, das passiert alles im RAM.
Im Worstcase werden also Daten eingelesen > Bit-Flip im RAM der nicht erkannt wird > Prüfung gegen vorhandene Checksumme somit nicht korrekt und die vermeintlich falschen Daten werden korrigiert.
Mit ECC-Ram würde erkannt werden, dass im RAM ein Bit-Flip passierte.
Die Diskussion für wahrscheinlich so ein Fehler ist bzw. mit welcher Häufigkeit dieser auftritt ist vermutlich genau alt die die Entdeckung, dass es diese Fehler gibt. Erstbester beliebiger Treffer mit zig Studien und Diskussion dazu: https://stackoverflow.com/questions...obability-they-will-affect-a-program#23587649
Fakt ist: solche Fehler treten auf, leider findet man kaum größere Studien/Forschungen dazu aus den letzten Jahren weil es genug Möglichkeiten der Vorbeugung und Fehlervermeidung gibt. Google hat 2007-2009 dies bei sich analysiert und kam zu dem Ergebnis, dass ca. 8% aller DIMMs pro Jahr Fehler aufweisen/erzeugen (https://en.wikipedia.org/wiki/ECC_memory#Research).
Am Ende muss das jeder für sich entscheiden ob er das Risiko akzeptiert oder nicht. Hat man mehrere (verteilte) Kopien der Daten ist es wahrscheinlicher, dass ich im Fehlerfall mindestens eine Kopie habe, die noch fehlerfrei ist. Bei Bildern lässt sich das sehr schnell feststellen, bei anderen Daten nicht immer sofort unbedingt und erfordert ein Abgleich.

 

[Paddy0293]

@snaxilian danke für deinen Beitrag
ich glaube werde es langsam so handhaben, das haben wichtiger ist als brauchen und mein komplettes System auf ECC umstellen
Weißt du ob OMV auf BTRFS Basis ordentlich funktioniert bzw. wie man das checken kann ?

 

[computerbase107]

Am Ende muss das jeder für sich entscheiden ob er das Risiko akzeptiert oder nicht. Hat man mehrere (verteilte) Kopien der Daten ist es wahrscheinlicher, dass ich im Fehlerfall mindestens eine Kopie habe, die noch fehlerfrei ist. Bei Bildern lässt sich das sehr schnell feststellen, bei anderen Daten nicht immer sofort unbedingt und erfordert ein Abgleich.

Danke für Deine Ausführungen. Natürlich ist mir die Wirkweise von ECC-Ram bekannt.

Sicher würdest Du mir zustimmen, wenn ich sage/schreibe, dass es von besonderem Vorteil wäre bei ZFS auf ECC-Ram zu setzen. Qnap setzt bei seiner neuen Serie von Nas-Geräten mit ZFS auf konventionellen Ram, der aber gegen ECC-Ram getauscht werden kann. Warum verkauft Qnap diese Geräte nicht ausschließlich mit ECC-Ram ?
Mir scheint, das es durchaus neue Erkenntnisse gibt zu diesem Thema, zumindest bei Qnap, was die Stabilitat von Standard-Ram angeht und die Zuverlässigkeit von ECC-Ram.
Das Verhältnis von Aufwand zu Nutzen sollte man immer mal wieder im Auge haben.

Ich gebe Dir Recht, der klassische Ansatz ist im Server-/Nas-Bereich auf ECC-Ram zu setzen.
Die Technik bei Ram-Bausteinen hat sich auch weiter entwickelt, was sicherlich die Entscheidung bei Qnap beeinflusst hat sowie die statistischen Ausfalldaten über die Jahre.

Letztendlich ist es wie Du ja selbst ausführst die Entscheidung eines Jeden selbst.

 

[Paddy0293]

@computerbase107 hab mal nen Beratungsthread eröffnet -> Link

Vielleicht kannst du sagen was du von dem Setup hälst

 

[snaxilian]

Warum verkauft Qnap diese Geräte nicht ausschließlich mit ECC-Ram

Weil Hersteller nicht dein bestes wollen sondern dein Geld und gerne Gewinnmargenoptimierung betreiben. Wenn sich 9 von 10 Kunden durch das Marketing-Hochglanz-Gelaber blenden lassen ist das ärgerlich für die Kunden aber QNAP konnte so ein als supertolles beworbenes System verkloppen und sich gleichzeitig den Aufpreis für ECC sparen.
QNAP wirbt auch ganz doll mit Deduplizierung und im Kleingedruckten steht dann, dass man mindestens 16, eher 32 (oder mehr je nach System) GB Ram nutzen sollte.

Die Technik bei Ram-Bausteinen hat sich auch weiter entwickelt, was sicherlich die Entscheidung bei Qnap beeinflusst hat sowie die statistischen Ausfalldaten über die Jahre.

Auch das ist eher deine Vermutung, oder? Bitte Quellen angeben oder als Vermutung kennzeichnen sonst glaubt das noch irgendjemand.
Denn die kleineren Strukturen u.v.a. die höhere Packungsdichte führte erst zur Möglichkeit von Rowhammer.

Wenn ich andere Mitigationen und Maßnahmen habe und umsetzen kann, dann kann man auf ZFS/BTRFS und ECC verzichten. Kann oder will man dies nicht auf anderem Wege sicherstellen, sollte man nicht drauf verzichten.

Weißt du ob OMV auf BTRFS Basis ordentlich funktioniert bzw. wie man das checken kann

OMV basiert afaik auf Debian und Debian kann mit btrfs umgehen wenn man das möchte. Ob OMV das nutzt müsste ich genauso recherchieren und $Suchmaschine bemühen wie auch du.
Würde mich vorher an deiner Stelle informieren, ob btrfs noch seine Probleme mit Raid5/6 hat und falls ja das Thema Raidfunktionalität klassisch per mdadm (Linux Softwareraid) lösen und btrfs dann "nur" als Dateisystem verwenden, so macht es beispielsweise auch Synology.

 

[Paddy0293]

@snaxilian laut wiki macht es immer noch Probleme ;( ich würde ja ext4 weiter benutzen, aber da macht ECC ja dann keinen Sinn, wenn ich das richtig verstanden habe

 

[snaxilian]

Jain, das Thema ist halt etwas komplexer als der Laie sich das vorstellt.
Daten im RAM sind dann zwar sicher aber du erkennst keine umgangsprachlich Bit Rot genannten Fehler auf den Disks bzw. dem Dateisystem.
Auch konventionelle Raids (mdadm in diesem Fall) können regelmäßig einen Scrub durchführen, erkennen dabei aber nur UREs (Unrecoverable Read Errors), sogenannte Bad Blocks auf den physikalischen Datenträgern und bei Raids mit Parität (Raid 5/6) können diese behoben werden solange das Raid intakt ist.
Ein gekipptes Bit im Dateisystem, kann so nicht erkannt werden. Das Arch-Wiki erklärt das recht gut wenn man sich da weiter einlesen möchte: https://wiki.archlinux.org/index.php/RAID#Scrubbing

Wie ich schon schrieb kann man darauf verzichten wenn man Alternativen verwendet, Snapraid wäre da beispielsweise zu nennen.

 

[Paddy0293]

@snaxilian ok grad viel Input aber ECC RAM würde doch alle meine Sorgen lösen bzw. viele Backups (die ich besitze) da nur ein Bitrot entsteht wenn ich Daten kopiere und nicht beim Lesen.
Also ist doch meine größte Gefahrenquelle vom Einscannen auf NAS kopieren, wenn ich diese Dateien gegenchecke und mir ein Bitrot passiert, habe ich in der Zeit noch das Original.
Bei 4 Backups sollte zumindest eine Datei sein, die dann kein Bitrot hat, richtig?
Kannst du dir mal den Post #16 anschauen, was hältst du von dem Upgrade?