Beratung NAS im 10" Schrank

[mgutt]

warte einfach bis das Gigabyte wieder verfügbar ist

Das C246N-WU2 soll ich laut Gigabyte jetzt schon bestellen können und bekäme es dann nächste Woche. Ich habe schon beim Großhandel angefragt. Mal sehen was es mich kostet.

 

[Moeller13]

Das sind mal gute Neuigkeiten. Sag mal bitte Bescheid wenn du es bestellen kannst.

 

[Moeller13]

@mgutt hast du schon weitere Infos zum Liefertermin?

 

[mgutt]

@Moeller13
Leider nein. Nachdem mein Großhändler keine Bestätigung von Gigabyte zur Lieferbarkeit erhalten konnte, wollte er mir kein Angebot machen und ich musste daher letzte Woche wieder den Gigabyte Support kontaktieren und habe darum gebeten, dass die direkt mit dem Großhändler sprechen. Sie haben bestätigt, dass sie sich darum kümmern. Das war gestern.

 

[Moeller13]

Hi @mgutt , hast du nochmal was gehört von Gigabyte zum C246N-WU2?

 

[Banned]

Also ich finde bei so einem NAS ist der Idle-Verbrauch wichtig.
Und da sind B450 und AMD-APU leider keine gute Kombi.
Ein Pentium und sogar i3 kosten weniger und verbrauchen weniger. Die APU macht eigentlich nur Sinn, wenn du die Grafikleistung brauchst.
Wie man bei vielen Fertig-NAS sieht, braucht es da aber idR nicht so viel.

ECC macht nur wirklich Sinn, wenn du auch ZFS oder BTRFS nutzt. Sonst kannst du dir das eigentlich sparen. Wenn das Ding 24/7 läuft, aber sicher nicht verkehrt. Ich würde dann im Umkehrschluss eben zu solch einem Dateisystem raten.

 

[mgutt]

ECC macht nur wirklich Sinn, wenn du auch ZFS oder BTRFS nutzt.

Sehe ich anders. Denn jedes NAS speichert Daten und berechnet eine Parität. Und was bringt die, wenn die durch fehlerhaften RAM läuft? Die ZFS Entwickler betonen das gerade deswegen, weil die besondere Stärke von ZFS sonst hinfällig werden würde. Dadurch ist es aber nicht nur für ZFS gültig.

Es ist eher eine Frage ob es einem egal ist, wenn 1 von 1000 Fotos nach 10 Jahren nicht mehr fehlerfrei geöffnet wird (oder wie gering die Wahrscheinlichkeit auch immer ist).

Ergänzung (31. März 2021)

Hi @mgutt , hast du nochmal was gehört von Gigabyte zum C246N-WU2?

Sie arbeiten dran mir eine qualifizierte Antwort geben zu können. Langsam nervt es, was Gigabyte da treibt.

 

[Banned]

Und was bringt die, wenn die durch fehlerhaften RAM läuft?

Der RAM ist nicht fehlerhaft! ECC hat nichts mit fehlerhaftem RAM zu tun!

Wenn RAM fehlerhaft ist, treten reihenweise Bitfehler auf und Daten werden schwerwiegend korrumpiert. ECC-RAM ist dafür da, um einzelne gekippte Bits in nicht-fehlerhaftem RAM zu korrigieren.

Solche Bitfehler treten aber sehr selten auf und sind eben besonders für Prüfsummen (Stichwort ZFS/BTRFS) und sehr sensible Daten (wissenschaftliches/industrielles Umfeld) relevant.

Die besondere Stärke von Dateisystemen mit Sektorprüfsummen ist doch gerade, dass sie Sektoren überprüfen und automatisch korrigieren können (sofern redundante Daten vorhanden). Dafür ist es essentiell, dass die Prüfsummen korrekt berechnet werden. ECC-RAM verhindert, dass es zu falschen Prüfsummen durch einzelne gekippte Bits kommt.

Ergänzung (1. April 2021)

Es ist eher eine Frage ob es einem egal ist, wenn 1 von 1000 Fotos nach 10 Jahren nicht mehr fehlerfrei geöffnet wird (oder wie gering die Wahrscheinlichkeit auch immer ist).

Es ist extrem unwahrscheinlich, dass ein gekipptes Bit dazu führt, dass ein Foto nicht mehr geöffnet werden kann. Evtl. ist es bei modernen Betriebssystemen auch gar nicht möglich.
Schau dir die Anzahl an Pixeln an, aus denen ein Bild besteht. Dann noch die ganzen Metadaten. Da durch ein falsches Bit so viel Schaden anzurichten, dass das Bild gar nicht mehr geöffnet werden kann - das halte ich wirklich für extrem unwahrscheinlich.

Und wenn man seine Daten eben sehr liebt, dann nutzt man auch ein entsprechendes Dateisystem mit Sektorprüfsummen. Alles andere ist doch halbgares und/oder umständliches Zeug.

 

[mgutt]

Der RAM ist nicht fehlerhaft! ECC hat nichts mit fehlerhaftem RAM zu tun!

Doch, genau das ist der Hauptgrund. Lies die Google Studie. Ich habe sie gelesen. Die meisten gekippten Bits kommen durch defekte Speicherbereiche des RAM und die wenigsten durch kosmische Strahlung. Und sollte man defekten RAM haben, ist der gesamte Datensatz gefährdet und nicht nur eine Datei.

besonders für Prüfsummen

Was meinst du was eine Parität eines RAID darstellt?

Ein gekipptes Bit wird nicht dazu führen, dass ein Foto nicht mehr geöffnet werden kann. Schau dir die Anzahl an Pixeln an. Es ist extrem unwahrscheinlich bis fast

Du hast offensichtlich keine Ahnung wie ein jpeg aufgebaut ist. Ich habe schon selbst mal eine Klasse für Bitmaps geschrieben und da sind die Pixel alle einzeln hinterlegt und trotzdem zerlegen schon wenige Bits das komplette Bild. Es kommt auf das "Wo" und nicht die Menge an. Und bei jpegs ist es deutlich fehleranfälliger.

Und wenn man seine Daten eben sehr liebt, dann nutzt man auch ein entsprechendes Dateisystem mit Sektorprüfsummen.

Du meinst das was jeder Datenträger in Form des ECC sowieso macht? Oder der CRC bei der Verbindung zwischen Datenträger und Controller?

ZFS hilft nicht gegen gekippte Bits. Das macht die HDD schon alleine. ZFS hilft gegen defekte Sektoren. Wenn du mir nicht glaubst, dann recherchiere mal nach dem Reed-Solomon, den der ECC der HDDs zur Fehlererkennung und -korrektur verwendet.

 

[Banned]

ZFS hilft nicht gegen gekippte Bits. Das macht die HDD schon alleine. ZFS hilft gegen defekte Sektoren. Wenn du mir nicht glaubst, dann recherchiere mal nach dem Reed-Solomon, den der ECC der HDDs zur Fehlererkennung und -korrektur verwendet.

Das stimmt nicht.

Andere Dateisysteme haben keine eigene Methodik, um die Integrität der Daten zu gewährleisten.
Bei Reed-Solomon und anderen Redundanzprüfungen geht es um die Übertragung der Daten. Da zählt auch der RAM dazu, klar! Aber dieser ist anders als z.B. eine verschmutzte CD oder eine alte Kupferleitung eben keinen starken Störeinflüssen ausgesetzt. Ist er defekt, muss er getauscht werden. Ansonsten sind gekippte Bits im RAM (kosmische Strahlung) sehr selten.

Eine HDD prüft nur, ob eine Sektor korrekt beschrieben oder ob der generell überhaupt beschrieben oder gelesen werden kann. Es wird aber nicht geprüft, ob die Daten nach einer gewissen Zeit noch den Daten entsprechen, wie sie ursprünglich dort geschrieben wurden.
Kippen Bits auf einer HDD durch einen defekten Sektor bzw. Alterung, kann dies natürlich von ZFS/BTRFS erkannt werden (bei einem Scrub bzw. beim Lesen des Sektors) und aus den redundanten Daten automatisch korrigiert werden.
Das können andere Dateisysteme nicht. Das ist sonst nur über spezifisch zugewiesene Prüfsummenerstellung möglich.

Ein RAID an sich (ich gehe mal von RAID 1 aus) ist eine einfache Spiegelung. Eine Redundanz. Nicht mehr und nicht weniger. Es hat mit Fehlererkennung oder Korrektur von bestehenden Daten absolut nichts zu tun. Ein RAID dient erst einmal nur der Ausfallsicherheit. Im Falle von ZFS/BTRFS dient es darüber hinaus dazu, um fehlerhafte Sektoren aus den redundanten Daten wiederherstellen zu können.

Du sprichst von wenigen fehlerhaften Bits in einem jpeg, ich rede von EINEM.

Und selbst wenn es mit einem möglich wäre (und dass es irreparabel wäre), wie hoch wäre wohl die Wahrscheinlichkeit? Extrem gering.

Und nach wie vor ist ECC-RAM nicht dafür da, um Fehler aus defektem RAM zu korrigieren. ECC-RAM ist für 1-Bit-Fehler, Stichwort kosmische Strahlung.

Defekter RAM (der dann auch mehr als nur ein gekipptes Bit produziert) gehört ausgetauscht!

 

[mgutt]

Es wird aber nicht geprüft, ob die Daten nach einer gewissen Zeit noch den Daten entsprechen, wie sie ursprünglich dort geschrieben wurden.

Genau das passiert sehr wohl. Und zwar ausschließlich beim Lesen. Der Sektor wird gelesen, der ECC berechnet und mit dem vorhandenen ECC verglichen. Ein gekipptes Bit wird dadurch sofort erkannt. Kann Reed-Solomon ihn nicht korrigieren, wird dieser Fehler im SMART hochgezählt. Der Sektor wird zusätzlich als Pending markiert und die Firmware prüft in einer Leerlaufphase ob der Sektor Reallocated wird oder nicht. Dh ob der Sektor physisch defekt ist oder es nur ein Bitrot war. Bei CDs wird das übrigens auch so gemacht.

Eine sehr detaillierte Beschreibung dazu:
https://web.archive.org/web/2008020...rddrivedied.com/presentations_whitepaper.html

Eine umfangreicher Vortrag zu Reed-Solomon und dem praktischen Einsatz bei Datenträgern:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Defekter RAM (der dann auch mehr als nur ein gekipptes Bit produziert) gehört ausgetauscht!

Du erkennst ihn aber nicht. Du nimmst an, dass ein defekter RAM nicht mehr funktioniert oder als solcher erkennbar wäre. Das ist aber selten der Fall. Siehe wie gesagt die Studie von Google. Es gibt bei Unraid ein Pre-Clear Plugin, mit dem HDDs genullt werden und anschließend geprüft wird, ob diese Nullen korrekt geschrieben wurden. In dem entsprechenden Support-Thread sind unzählige Leute, die sich über Fehlermeldungen des Plugins wundern, die sich anschließend als defekter RAM erwiesen haben. Solche Fehler sind im Alltag ohne ECC RAM nicht nachvollziehbar. Und wenn du so einen RAM einsetzt und eine defekte Platte eines RAID ersetzt, dann gute Nacht.

ich gehe mal von RAID 1 aus

Ich nicht. Ich sagte ja nicht ohne Grund Parität. Also RAID5/6, RAIDZ1/2, SnapRAID oder Unraid. Aber auch bei einem RAID1 ist Bitrot durch den RAM fatal. Denn welche HDD hat Recht? Der ECC des Sektors ist bei beiden korrekt weil die Daten schon kaputt aus dem RAM kamen.

wie hoch wäre wohl die Wahrscheinlichkeit? Extrem gering

Das habe ich nie bestritten. Daher auch mein Beispiel mit dem Foto. Diese Entscheidung muss jeder selbst treffen.

Und nach wie vor ist ECC-RAM nicht dafür da, um Fehler aus defektem RAM zu korrigieren.

Habe ich nicht gesagt. Es geht darum defekten RAM zu erkennen. Nur der ECC einer HDD verfügt über Reed-Solomon, der eine Fehlerkorrektur ermöglicht.

 

[Banned]

"One major feature that distinguishes ZFS from other file systems is that it is designed with a focus on data integrity by protecting the user's data on disk against silent data corruption caused by data degradation, power surges (voltage spikes), bugs in disk firmware, phantom writes (the previous write did not make it to disk), misdirected reads/writes (the disk accesses the wrong block), DMA parity errors between the array and server memory or from the driver (since the checksum validates data inside the array), driver errors (data winds up in the wrong buffer inside the kernel), accidental overwrites (such as swapping to a live file system), etc.

A 1999 study showed that neither any of the then-major and widespread filesystems (such as UFS, Ext,[21] XFS, JFS, or NTFS), nor hardware RAID (which has some issues with data integrity) provided sufficient protection against data corruption problems.[22][23][24][25] Initial research indicates that ZFS protects data better than earlier efforts.[26][27]"
(https://en.wikipedia.org/wiki/ZFS#Data_integrity)


"Some file systems, such as Btrfs, HAMMER, ReFS, and ZFS, use internal data and metadata checksumming to detect silent data corruption. In addition, if a corruption is detected and the file system uses integrated RAID mechanisms that provide data redundancy, such file systems can also reconstruct corrupted data in a transparent way.[15] This approach allows improved data integrity protection covering the entire data paths, which is usually known as end-to-end data protection, compared with other data integrity approaches that do not span different layers in the storage stack and allow data corruption to occur while the data passes boundaries between the different layers.[16]"
(https://en.wikipedia.org/wiki/Data_corruption#Silent_data_corruption)

Siehe dazu auch:
https://www.it-administrator.de/themen/storage/fachartikel/111409.html

https://stackoverflow.com/questions/28535021/what-causes-silent-data-corruption-on-hdds#:~:text=One type of silent corruption,it's not power down safe.



Es ist einfach falsch, dass HDDs an sich einen weitreichenden Schutz gegen stille Datenkorruption bieten.
Wenn dem so wäre, gäbe es nicht so viele Fälle von verlorenen Daten, wie sie wahrscheinlich viele hier schon mal erlebt haben (hoffentlich mit Backup ).

 

[mgutt]

Erstmal vorab. In deinem Link "Data Degradation" ist ein Beispiel wie nur ein gekipptes Bit ein Foto zerstört:

Es ist einfach falsch, dass HDDs an sich einen weitreichenden Schutz gegen stille Datenkorruption bieten.

Dann lies doch mal was im Link steht:

these errors are known as silent data corruption.

There are many error sources beyond the disk storage subsystem itself. For instance, cables might be slightly loose, the power supply might be unreliable,[2] external vibrations such as a loud sound,[3] the network might introduce undetected corruption,[4] cosmic radiation and many other causes of soft memory errors, etc.

The worst type of errors are silent data corruptions which are errors undetected by the disk firmware or the host operating system; some of these errors may be caused by hard disk drive malfunctions while others originate elsewhere in the connection between the drive and the host.

Nicht einer dieser Beispiele hat etwas mit den Sektoren auf der HDD zu tun, wobei ich nie gesagt habe, dass der ECC der HDD ausreichend sei. Ich habe nur gesagt, dass die HDD bereits über einen ECC verfügt, der aber nichts bringt, wenn die Daten schon korrupt aus dem RAM kommen.

Also noch mal. Die Daten in den Sektoren werden durch den ECC mit einer Prüfsumme versehen und die HDD wird garantiert folgendes machen:
a) Sie prüft den ECC und liefert korrekte Daten
b) Sie korrigiert gekippte Bits und liefert die richtigen Daten
c) Sie kann die gekippten Bits nicht korrigieren und meldet einen Fehler im SMART (Uncorrectable Error).

Wogegen die HDD nichts machen kann sind Außeneinflüsse. Und das ist diese Silent Corruption. Dagegen hilft nur ECC RAM und Prüfsummen auf Block- oder Dateiebene (ZFS / BTRFS / md5 Checks / rsync checksum).

 

[Banned]

Nicht einer dieser Beispiele hat etwas mit den Sektoren auf der HDD zu tun, wobei ich nie gesagt habe, dass der ECC der HDD ausreichend sei. Ich habe nur gesagt, dass die HDD bereits über einen ECC verfügt, der aber nichts bringt, wenn die Daten schon korrupt aus dem RAM kommen.

Naja, wie steht es denn mit Entmagnetisierung?

Die Sektoren einer HDD entmagnetisieren sich mit der Zeit, können kippen.
Das ist auch ein Soft Error und fällt unter Silent Data Corruption und betrifft die Sektoren.

Also noch mal. Die Daten in den Sektoren werden durch den ECC mit einer Prüfsumme versehen und die HDD wird garantiert folgendes machen:
a) Sie prüft den ECC und liefert korrekte Daten
b) Sie korrigiert gekippte Bits und liefert die richtigen Daten
c) Sie kann die gekippten Bits nicht korrigieren und meldet einen Fehler im SMART (Uncorrectable Error).

Richtig.


Und danke für das Beispiel mit dem 1-Bit-Error und dem Foto. Dann wäre das ja geklärt.


Generell vertrete ich einfach die Meinung, dass man - wenn man schon ECC-RAM und RAID nutzt - doch auch ZFS/BTRFS nutzen soll, da es zusätzliche Datensicherheit bietet.

 

[mgutt]

Naja, wie steht es denn mit Entmagnetisierung?

Die Sektoren einer HDD entmagnetisieren sich mit der Zeit, können kippen.

Die Platte wird die ganze Zeit solche Fehler haben, aber diese über den ECC korrigieren. Im Falle eines ECC Fehlers geht die Firmware auch hin und beschreibt den Sektor neu. Der Sektor ist erst "Pending" und dann wieder nicht, sofern er noch physisch in Ordnung ist. Ist er das nicht, wird der "Reallocated".

Natürlich wird auch irgendwann ein Sektor nicht mehr zu retten sein. Das ist aber niemals "Silent". Das Video was ich hier gepostet hatte, erklärt detailliert warum Reed-Solomon niemals "Silent" ist. Auch ein durch Entmagnetisierung genullter Sektor hat einen ECC, der nicht nur aus Nullen besteht.

Und ja ZFS/BTRFS hilft hier die Daten wiederherzustellen.

Generell vertrete ich einfach die Meinung, dass man - wenn man schon ECC-RAM und RAID nutzt - doch auch ZFS/BTRFS nutzen soll, da es zusätzliche Datensicherheit bietet.

Ich mache tägliche inkrementelle Backups mit rsync und einmal pro Monat direkt nach einem solchen Backup ein zusätzliches mit der "--checksum" Option. Das Log davon lasse ich mir dann per E-Mail zusenden. Wurden dann Dateien übertragen, dann sind diese korrupt. Allerdings liegen auf meinem NAS auch keine zeitkritischen Unternehmensdaten. Mir geht es nur darum alten Dateien frei von gekippten Bits zu halten. Dafür muss ich mir nicht 24/7 den Stromverbrauch eines ZFS/BTRFS RAID und die Write-Amplification antun. So hat eben jeder seine eigenen Prioritäten

 

[Banned]

Dafür muss ich mir nicht 24/7 den Stromverbrauch eines ZFS/BTRFS RAID und die Write-Amplification antun.

Wobei idR (im privaten Bereich) auch nicht ständig gelesen und geschrieben wird. Somit wird sich der zusätzliche Stromverbrauch da in Grenzen halten. Außerdem läuft das NAS auch nicht rund um die Uhr.
Die täglichen inkrementellen Backups kosten halt auch Strom, bieten dir in diesem Punkt aber mehr Sicherheit, dafür bietet mir ZFS wiederum in anderen Bereichen mehr Sicherheit. So gilt dann:

So hat eben jeder seine eigenen Prioritäten

Ich mache Backups generell eher sporadisch, da ich normalerweise keine so wichtigen Daten, die nicht kurzfristig wiederbeschaffbar wären, auf meinem PC habe. Mir geht es eher um die Langzeit-Archivierung. Dafür sind HDDs nicht das Optimum, aber halbwegs bezahlbar und mit ZFS doch recht sicher. Band wäre natürlich cooler.

 

[mgutt]

Wobei idR (im privaten Bereich) auch nicht ständig gelesen und geschrieben wird. Somit wird sich der zusätzliche Stromverbrauch da in Grenzen halten. Die täglichen inkrementellen Backups kosten halt auch Strom.

Ja, aber das dauert 5 Minuten und sonst schlafen die Platten. Das was alleine das laufende RAID an ein paar Tagen an Strom ziehen, ist mehr als das was die inkrementelle Backups pro Jahr verbrauchen. Nur das Checksum Backup dauert lange, aber das läuft wie gesagt 1x pro Monat. Wobei ich noch keine Bitrots hatte. Vermutlich würde auch quartalsweise reichen. Denn solange bleiben neue Fotos in der Regel eh noch auf dem Smartphone um sie bei Bedarf noch mal sichern zu können.

 

[Moeller13]

Hab grad Platten bestellt.
Den größten Rest bestell ich dann später noch bei MF.

Lediglich Board und CPU sind jetzt offen.
Bei der CPU hab ich einen i3-8100 in der Bucht in Aussicht.
Da sind die Neupreise auch gut angezogen in den letzten Monaten. Sowohl bei i3-8100/8300 als auch i3-9100/9300.
Als Board würd ich mir übergangsweise ein ASRock B365M-ITX/ac holen. Bis dann irgendwann wieder Boards mit ECC Unterstützung zur Verfügung stehen, die bezahlbar sind.

 

[Moeller13]

Das Gigabyte Board ist bei Amazon UK mit unbekanntem Liefertermin gelistet. Hab es mal bestellt und guck wann da was kommt

 

[ChrisHoep]

@Moeller13 läuft mittlerweile bei dir ein i3-8100/8300?

Ach und danke für den Thread hier. Ich war immer der festen Überzeugung, dass für meinen TV (UE55F8090) keine App von Plex zur Verfügung steht. Als ich bei dir gelesen habe, dass du diese für deinen TV im Store gefunden hast, habe ich auch nochmal geguckt und muss jetzt nicht immer die PS4 starten, wenn ich im Wohnzimmer etwas via Plex gucken möchte :-)