Maitry
Ensign
- Registriert
- Dez. 2016
- Beiträge
- 188
@CaptainPicard24
Dein Vorhaben klingt nach den Gedanken die ich mir schon lange mache.
Das Problem heißt wohl : BitRot bzw. Silent Data Corruption. In der IT Welt noch nicht so im Bewusstsein.
Also: Wie garantiert man das große Datenmengen auf Datenträgern über längere Zeit bestehen bleiben ohne das Bits kippen.
Mein Vorschlag: Durch Redundanz und zwar mindestens (!) 3 Datenträger. Dann der Bit-Vergleich und die Mehrheit (in diesem Fall nur 2) hat Recht. ABER das Ganze soll automatisch gehen. Wenn ein Medium hier falsche Daten hat wird das Bitmuster dort einfach überschrieben/korrigiert (Weil man davon ausgehen kann das die anderen beiden recht haben).
Mir ist nur kein (Raid-)System bekannt was sowas kann. Also ein regelmäßiger Datenintegritätsscan. Alle Datenträger überprüfen sich ständig mal gegenseitig. Je mehr Datenträger man hat umso besser natürlich.
Ich besorgte mir mal ReFS Dateisystem von MS, das soll Integritätsscans von Zeit zu Zeit machen. Da kam ich aber in der Forschung nicht weiter weil MS mir dazu nix sagen konnte und sich sonst keine S..... für dieses Dateisystem interessierte. ReFs ist mir bis heute in Mysterium.
Ich glaube es waren Checksummen die das FS schrieb und dann die daten damit abgleichen sollte. Bei 2 gespiegelten sollte das wohl dann auch gegenseitig funktionieren. Aber genau weis ich es nicht mehr.
Ich würd alles geben für ein Raid System was sowas kann. Also einen 3er Spiegel wo alle Daten regelmäßig gegeneinander verglichen werden. Ist wo ein Fehler kann der automatisch korrigiert werden oder es gibt ne Meldung an den Benutzer, aber hauptsache ein Fehler in einer Bitstruktur wird überhaupt erstmal erkannt!
Ich wette mal (gewagt) ein solches System haben noch nicht mal Clouddienstleister oder gar Google am Start !
Wo sind denn hier die Experten?
In der heutigen immer komplexer werdenden Computerwelt und mit immer größeren Datenmengen ist Redundanz doch eigentlich unsere einzige Rettung oder !? Egal ob das einzelne Prozesse, den RAM oder ganze Computer betrifft oder eben Datenträger. Eine ordentliche KI (ala Matrix) baut doch sicher auf Redundanz!
Dein Vorhaben klingt nach den Gedanken die ich mir schon lange mache.
Das Problem heißt wohl : BitRot bzw. Silent Data Corruption. In der IT Welt noch nicht so im Bewusstsein.
Also: Wie garantiert man das große Datenmengen auf Datenträgern über längere Zeit bestehen bleiben ohne das Bits kippen.
Mein Vorschlag: Durch Redundanz und zwar mindestens (!) 3 Datenträger. Dann der Bit-Vergleich und die Mehrheit (in diesem Fall nur 2) hat Recht. ABER das Ganze soll automatisch gehen. Wenn ein Medium hier falsche Daten hat wird das Bitmuster dort einfach überschrieben/korrigiert (Weil man davon ausgehen kann das die anderen beiden recht haben).
Mir ist nur kein (Raid-)System bekannt was sowas kann. Also ein regelmäßiger Datenintegritätsscan. Alle Datenträger überprüfen sich ständig mal gegenseitig. Je mehr Datenträger man hat umso besser natürlich.
Ich besorgte mir mal ReFS Dateisystem von MS, das soll Integritätsscans von Zeit zu Zeit machen. Da kam ich aber in der Forschung nicht weiter weil MS mir dazu nix sagen konnte und sich sonst keine S..... für dieses Dateisystem interessierte. ReFs ist mir bis heute in Mysterium.
Ich glaube es waren Checksummen die das FS schrieb und dann die daten damit abgleichen sollte. Bei 2 gespiegelten sollte das wohl dann auch gegenseitig funktionieren. Aber genau weis ich es nicht mehr.
Ich würd alles geben für ein Raid System was sowas kann. Also einen 3er Spiegel wo alle Daten regelmäßig gegeneinander verglichen werden. Ist wo ein Fehler kann der automatisch korrigiert werden oder es gibt ne Meldung an den Benutzer, aber hauptsache ein Fehler in einer Bitstruktur wird überhaupt erstmal erkannt!
Ich wette mal (gewagt) ein solches System haben noch nicht mal Clouddienstleister oder gar Google am Start !
Wo sind denn hier die Experten?
In der heutigen immer komplexer werdenden Computerwelt und mit immer größeren Datenmengen ist Redundanz doch eigentlich unsere einzige Rettung oder !? Egal ob das einzelne Prozesse, den RAM oder ganze Computer betrifft oder eben Datenträger. Eine ordentliche KI (ala Matrix) baut doch sicher auf Redundanz!
Ergänzung ()
Ja sehr. Kostenlos und ich hab damit schon 2 Platten (4TB drauf) auf Bitebene miteinander verlglichen (kürzlich gesynct natürlich). Zu meinem Erstaunen war fast alles identisch. Meißt waren es Excel Files die unterschiedlich waren! (Thema BitRot) Es gab mal ne Cern Studie wie hoch die Wahrscheinlichkeit von Bitfehlern ist. Ich glaub wenn man 4TB kopiert dann war 1 Bit falsch oder so....CaptainPicard24 schrieb:
Zuletzt bearbeitet:
das gibts schon länger und nennt sich ZFS. Weiterhin gibt es noch BTRFS. Einfach mal etwas lesen. ReFS macht das ja im Prinzip auch das, was du willst.
