Scrubbing allgemein, sowie die Notwendigkeit von Scrubbing bei RAID5

[emulbetsup]

--Bitte die Zitierregeln beachten--

Das ist jetzt mir an der Stelle zu verkürzt. Ist es nicht so, dass komplexere Verfahren grundsätzlich anfälliger sind? Wir können uns doch sicherlich darauf einigen, dass das Verfahren in einem RAID5 grundsätzlich aufwändiger sind, als die gleichen Daten einfach zeitgleich auf zwei verschiedene Datenträger zu schreiben.

Hat der SOC den Algorithmus direkt implementiert? Würde fast vermuten, eher nein. Andernfalls wären die Schreibraten wohl höher. Werden dabei Ergebnisse in den RAM geschrieben und wieder ausgelesen?

 

[Piktogramm]

@emulbetsup
Wenn ein Computer zufällige Fehler einstreut, ist es egal wie aufwendig irgendwelche Berechnungen sind, der Computer ist Schrott, weil er die grundlegende Anforderung an deterministisches Verhalten verletzt. Die Überlegung an der Stelle, ob dem Ding mehr mit Daten zu trauen ist, wenn man weniger komplexe Operationen ausführt ist einfach Irrsinn.

"Den Algorithmus", welchen Algorithmus meinst du?
Grundlegen implementieren moderne CPUs div. Befehlserweiterungen, die Teile von kryptografischen Verfahren, Prüfsummenberechnung und Ähnlichem beschleunigen können. Was aber keine Implementierung von Algorithmen in Anwendungen entspricht.

Und Geschwindigkeit (hier Zen2):

[   16.080774] raid6: avx2x4   gen() 38668 MB/s
[   16.148774] raid6: avx2x2   gen() 40684 MB/s                                                                                                                                                                    
[   16.216775] raid6: avx2x1   gen() 31158 MB/s                                                                                                                                                                    
[   16.216780] raid6: using algorithm avx2x2 gen() 40684 MB/s

mdadm führt beim Booten einen Test durch, welche Befehlssatzerweiterung der CPU den höchsten Durchsatz verspricht. So bisschen Paritäten berechnen bedeutet für moderne CPUs gar nichts.
Die realen Werte sind dennoch geringer, NVMe, HDDs, SSDs und Ram werden weit früher zum Flaschenhals.

 

[andy_m4]

Ist es nicht so, dass komplexere Verfahren grundsätzlich anfälliger sind?

Natürlich können bei komplexen Prozessen potentiell mehr Fehler/Bugs/etc. auftreten.
Allerdings ist der Weg der Daten auf die Platte gepflastert mit deutlich komplexen Prozessen. Das fängt schon mit dem Programm an, worin Du Deine Daten speicherst. Und das speichert die Daten ja nicht selbst, sondern gibt sie via Libs (komplex) an den Kernel (komplex!) weiter der es wiederum an das Dateisystem (komplex) weiter reicht. Die Daten liegen im RAM, wo auch einiges schief gehen kann. usw. usw. usw.

Du hast an ganz vielen stellen also sehr sehr viel komplexere Vorgänge, das es im Vergleich gar nicht ins Gewicht fällt, ob Du da nu RAID1 oder RAID5 hast.

Insofern hat natürlich auch Piktogramm Recht. Wenn Du so gammlige Hardware hast, das es für die Datensicherheit einen Unterschied macht, ob Du RAID1 oder RAID5 nimmst, dann solltest Du die am besten gar nicht verwenden.

 

[Banned]

Hat der SOC den Algorithmus direkt implementiert?

RAID5 ist ziemlich simpel, die Parität wird einfach über XOR-Verknüpfung berechnet, z.B.:

1 (Platte 1) XOR 1 (Platte 2) = 0 (Platte 3 --> Parität)

Fällt eine Platte aus, kann man die verlorenen Daten leicht rekonstruieren.



Generell ist es einfach so, dass Fehler im RAM (Bit Flips) und auf Datenträgern (Bit Rot) auftreten können (und darüber hinaus noch weitere Fehler, welche dann aber idR nicht ohne fehlerhafter Hardware auftreten).

Einerseits gibt es verschiedene Prüf- und Korrekturmechanismen (welche z.B. je nach Dateisystem ausgeprägter sind oder nicht, oder auch in der Hardware implementiert sind: z.B. ECC-RAM), und andererseits führen einzelne Bitfehler nicht automatisch zur Katastrophe (hier gilt es zwischen Art der Medien bzw. Anwendungen zu unterscheiden; daraus kann man grob das Risiko abschätzen).


Um noch mal auf die Frage im Titel zurückzukommen (und das wurde hier auch schon einige Male gesagt oder angedeutet): 100%ige Sicherheit gibt es nicht. Daten sollten regelmäßig geprüft werden, wenn sie einem sehr wichtig sind.

Scrubbing ist eine Methode dazu. Abgesehen davon gibt es aber auch andere, wie z.B. das manuelle Anlegen von Prüfsummen (z.B. über Backupprogramm) oder so Sachen wie chkdsk /r.
Hier gilt, dass unterschiedliche Verfahren eine höhere Sicherheit bieten, aber irgendwie prüfen, ist immer besser als gar nicht und hoffen.