Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden.
Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Welche Festplatte/Controller/ Externe/Wechselrahmen sollte ich kaufen? (Teil II)
- Status
- Für weitere Antworten geschlossen.
Reflexion
Lieutenant
- Registriert
- Dez. 2009
- Beiträge
- 635
Mein Fehler scheint wohl doch nichts gegen die Purple zu spielen.DDD schrieb:Warum ist die Purple nix für ein NAS?
Die HDD in der Seagate Extension sollte eine mit SMR sein, die kann also beim Schreiben langsam werden, vor allem wenn kleine Dateien geschrieben werden. Ich würde daher die WD MyBook vorziehen, die haben ab der 8TB (zumindest bisher) kein SMR.IBMlover schrieb:Wird nur 1 mal im Monat verwendet, um einfach ein offline-Backup zu haben. Platte liegt dann in nem Safe in einem anderen Gebäude
Blue sind als einfache Desktopplatten nicht dafür gedacht das mehrere HDDs in einem Gehäuse arbeiten:IBMlover schrieb:Die andere HDD ist eine WD Blue. Die defekte HDD war eine Toshiba.
Bei mehreren HDDs in einem Gehäuse sollte man NAS Platten nehmen, egal ob im RAID oder nicht, so wie es WD auch bei den MyBook Duo macht, in denen die Red stecken. Nimm also eine WD Red, Seagate IronWolf oder Toshiba N300.
Da das hier wohl ein Sammelthread ist schmeiße ich meine Frage mal hier mit rein.
Vor ein paar Monaten wollte ich mir eine externe WD Elements 4 TB holen. Dann sah ich aber ein klasse Angebot und habe mir die 6 TB Version für 89€ gekauft. Die 4 TB war zu dem Zeitpunkt zwar für 79€ zu holen aber für die 10€ mehr habe ich dann gleich bei der 6 TB Version zugegriffen.
Nun muss ich mir langsam mal wieder eine neue holen weil die 6 TB schon voll ist. Doch leider kostet die 6 TB Version jetzt ab 120€ aufwärts. Ich habe auf sämtlichen Preisvergleich, Geizhals, Idealo etc. geschaut aber da geht die Platte erst 120-125€ aufwärts los.
Nun wollte ich mal fragen ob jemand weiß ob die Platte öfters mal so günstig zu bekommen ist und ob jemand zufällig mal beobachtet hat in welchen Abständen das so ungefähr der Fall ist?
Die 4 TB bekommt man ja eigentlich fast immer so für 85€, aber eine weitere 6 TB Version für unter 100€ wäre schon echt klasse.
Western Digital bevorzuge ich aus dem Grund weil es mir ganz wichtig ist das die externe Platte ewig hält. Ich habe einmal eine Platte gehabt die irgendwann einfach einen Soft-oder Hardwarefehler hatte und ein Großteil der Daten darauf wurde zerstört. Die restlichen Daten konnte auch nur ein Kollegen retten indem er so ein Programm fast 2 Wochen am Stück durchlaufen lassen hat. Er meinte dann mal zu mir "Kauf dir bei Festplatten nur noch WD weil die Festplatten sind für die Ewigkeit" und bisher kann ich auch wirklich nicht klagen. Ich habe eine interne HDD WD und die besagte 6 TB externe.
Noch eine Frage zum Schluss.
Ich habe auch mal gehört das externe Festplatten mit Stromstecker besser/länger halten sollen als die Desktop Version? Also sollen wohl weniger anfällig für Fehler sein. Stimmt das?
Da ich die externe sowieso nur Zuhause am PC nutze zum Daten sichern habe ich auch keine Desktop Festplatte nötig. Die externe wird außerdem nur zum Daten rüberziehen genutzt. Sie ist also sehr selten in Betrieb. Höchstens alle paar Wochen - Monate mal für ein paar Stunden. Wenn die Festplatte voll ist kann es auch gut sein das sie auch mal ein halbes Jahr oder so nicht mehr angeschlossen wird.
Gibt es sonst noch irgendwelche Tipps um die Haltbarkeit der externen Festplatten ewig zu machen? Die Daten sind mir extrem wichtig und ich möchte sie auch noch in 30 Jahren haben.
Ich werde auf alle Fälle in den nächsten 1-2 Jahren jeweils nochmal externe Festplatten holen um die Daten doppelt zu sichern. Aber auch hier stellt sich mir dann die Frage, gibt es eine Möglichkeit meine Daten 100% sicher zu machen?
Vor ein paar Monaten wollte ich mir eine externe WD Elements 4 TB holen. Dann sah ich aber ein klasse Angebot und habe mir die 6 TB Version für 89€ gekauft. Die 4 TB war zu dem Zeitpunkt zwar für 79€ zu holen aber für die 10€ mehr habe ich dann gleich bei der 6 TB Version zugegriffen.
Nun muss ich mir langsam mal wieder eine neue holen weil die 6 TB schon voll ist. Doch leider kostet die 6 TB Version jetzt ab 120€ aufwärts. Ich habe auf sämtlichen Preisvergleich, Geizhals, Idealo etc. geschaut aber da geht die Platte erst 120-125€ aufwärts los.
Nun wollte ich mal fragen ob jemand weiß ob die Platte öfters mal so günstig zu bekommen ist und ob jemand zufällig mal beobachtet hat in welchen Abständen das so ungefähr der Fall ist?
Die 4 TB bekommt man ja eigentlich fast immer so für 85€, aber eine weitere 6 TB Version für unter 100€ wäre schon echt klasse.
Western Digital bevorzuge ich aus dem Grund weil es mir ganz wichtig ist das die externe Platte ewig hält. Ich habe einmal eine Platte gehabt die irgendwann einfach einen Soft-oder Hardwarefehler hatte und ein Großteil der Daten darauf wurde zerstört. Die restlichen Daten konnte auch nur ein Kollegen retten indem er so ein Programm fast 2 Wochen am Stück durchlaufen lassen hat. Er meinte dann mal zu mir "Kauf dir bei Festplatten nur noch WD weil die Festplatten sind für die Ewigkeit" und bisher kann ich auch wirklich nicht klagen. Ich habe eine interne HDD WD und die besagte 6 TB externe.
Noch eine Frage zum Schluss.
Ich habe auch mal gehört das externe Festplatten mit Stromstecker besser/länger halten sollen als die Desktop Version? Also sollen wohl weniger anfällig für Fehler sein. Stimmt das?
Da ich die externe sowieso nur Zuhause am PC nutze zum Daten sichern habe ich auch keine Desktop Festplatte nötig. Die externe wird außerdem nur zum Daten rüberziehen genutzt. Sie ist also sehr selten in Betrieb. Höchstens alle paar Wochen - Monate mal für ein paar Stunden. Wenn die Festplatte voll ist kann es auch gut sein das sie auch mal ein halbes Jahr oder so nicht mehr angeschlossen wird.
Gibt es sonst noch irgendwelche Tipps um die Haltbarkeit der externen Festplatten ewig zu machen? Die Daten sind mir extrem wichtig und ich möchte sie auch noch in 30 Jahren haben.
Ich werde auf alle Fälle in den nächsten 1-2 Jahren jeweils nochmal externe Festplatten holen um die Daten doppelt zu sichern. Aber auch hier stellt sich mir dann die Frage, gibt es eine Möglichkeit meine Daten 100% sicher zu machen?
Nichts hält ewig und HDDs werden von Hersteller auf eine Nutzungsdauer von 5 Jahren ausgelegt, wobei die meisten länger halten, wenn sie innerhalb der Spezifikationen genutzt werden, aber eben auch nicht ewig. Da HDDs auch altern wenn sie nicht genutzt werden, sind damit wirklich Kalenderjahre gemeint. Da unterscheiden sich die Hersteller übrigens nicht.SSD Freak schrieb:Western Digital bevorzuge ich aus dem Grund weil es mir ganz wichtig ist das die externe Platte ewig hält.
Gegen Datenverlust solltest Du Dir, sofern Du es noch nicht machst, unbedingt angewöhnen immer, also zu jedem Zeitpunkt, mindestens ein ordentliches Backup aller Daten zu haben die Du nicht verlieren möchtest. Ein ordentliches Backup steht immer auf einem Datenträger der in einem anderen Gehäuse steckt wie der/die Datenträger mit den originalen Daten. Also z.B. in der Cloud, auf einem NAS oder eben auf weiteren USB Platten die nur dafür dienen und nur zum Erstellen, Prüfen und Aktualisieren des Backups angeschlossen werden, nur so lange angeschlossen bleiben wie dies dauert und danach z.B. bei Windows mit "Hardware sicher entfernen" abgemeldet und sicher aufbewahrt werden!
Für Langzeitarchiv gibt es sowas Optical Disc Archive Gen 3: Sony archiviert 5,5 Terabyte für 100 Jahre auf Cartridge und vielleicht irgendwann ein Produkt auf Basis dieser Entwicklung: Project Silica (Datenträger aus Quarzglas). Aber zu erwarten das eine HDD nach 30 Jahren noch funktioniert, ist illusorisch, wenn dann kaufe Dir so alle 5+ Jahre neue HDDs und kopiere die Daten um, immer darauf achtens mindestens ein Backup zu haben.
Nein, allenfalls wenn man den Desktop im Dauerbetrieb laufen lässt, aber HDDs verwendet die nicht dafür ausgelegt sind, wie eben die Blue, die einfache Desktopplatten und damit nur für 2400 Power-On-Hours pro Jahr ausgelegt sind.SSD Freak schrieb:Ich habe auch mal gehört das externe Festplatten mit Stromstecker besser/länger halten sollen als die Desktop Version? Also sollen wohl weniger anfällig für Fehler sein. Stimmt das?
Wieso keine Desktopplatte? Die Desktopplatten sind die unterste Kategorie von HDDs, alle darüber haben besser Spezifikationen oder meinst Du keine Festplatte im Desktop? Wenn externe zum Sichern ist, darunter versteht man das Anlegen eines Backups, also einer Sicherheitskopie der Daten, wo liegt dann die andere Kopie?SSD Freak schrieb:Da ich die externe sowieso nur Zuhause am PC nutze zum Daten sichern habe ich auch keine Desktop Festplatte nötig.
Rüberziehen ist ja verschieben und wenn die Daten danach nur noch auf der externen stehen, dann sind sie nicht gesichert, sondern nur einfach gespeichert, damit nutzt Du die externe dann als Datengrab ohne jede Sicherung.SSD Freak schrieb:Die externe wird außerdem nur zum Daten rüberziehen genutzt.
Cappuccio
Cadet 3rd Year
- Registriert
- Nov. 2012
- Beiträge
- 62
Sorry, ich glaube bei Festplatten hast du recht viel Ahnung. Aber die Ausführungen zu dem obigen Thema halte ich für falsch (habe deine letzten Posts allerdings nur überflogen und nicht im Detail gelesen). Das geht alles auf einen Mythos zurück, den ein FreeNAS-User in die Welt gesetzt hat (wird im untenstehenden Artikel auch erwähnt).Holt schrieb:Man findet im Netz auch die Aussage das Elvis und Hitler noch leben, man muss Aussagen die man im Netz findet schon selbst bewerten. Das Problem mit ZFS und RAM Fehlern ist, dass ZFS für Server entwickelt wurde und da ECC RAM sowieso vorhanden, kein vernünftiger Mensche betreibt Produktivserver ohne ECC RAM. Daher geht ZFS immer davon aus, dass es den Daten im RAM trauen kann und wenn es Fehler feststellt, wie in Wahrheit ab RAM Fehler sind, dann korrigiert es eigentlich korrekte Dateien kaputt. Mit einem normalen Filesystem würde dann nur korrupte Daten weiterverarbeitet werden, aber die korrekt auf der Platte stehenden Daten, bleiben unberührt.
In beiden Fällen hat man ohne ECC RAM aber schon alleine das Problem, dass die Daten beim Schreiben auf den Fileserver ja auch erstmal im RAM landen und schon korrupt werden können, dann wiegt man sich mit ZFS nur im einer falschen Sicherheit, wenn es keinen Fehler meldet und denkt die Daten wären korrekt, obwohl sie schon korrupt geworden sind bevor ZFS seine Prüfsumme darüber berechnet hat. Bevor ich als auf ECC RAM verzichten um dafür ZFS zu verwenden, würde ich ECC RAM (und natürlich ein passendes System welches dies unterstützt) nehmen und auf ZFS verzichten.
Will ZFS and non-ECC RAM kill your data?
https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
OK. “Authority” in this case doesn’t get much better than Matthew Ahrens, one of the cofounders of ZFS at Sun Microsystems and current ZFS developer at Delphix. In the comments to one of my filesystem articles on Ars Technica, Matthew said “There’s nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem.”
Gerade auf Systemen ohne ECC-Ram würde ich Dateisysteme wie ZFS oder Btrfs einsetzen.
Dazu steht im Artikel auch etwas:
"If you stop and think about it, in this evil RAM scenario ZFS is incredibly helpful, because your RAM now needs to not only be evil but be bright enough to consistently pull off collision attacks. So if you’re running non-ECC RAM that turns out to be appallingly, Lovecraftianishly evil, ZFS will mitigate the damage, not amplify it."
=> KEIN ECC-Ram? ZFS wird den möglichen Schaden mindern und nicht verstärken.
Zuletzt bearbeitet:
Den Ausspruch kenne ich: “There’s nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem.” Aber da dies kann man auch dahin verstehen, dass man auch ZFS nutzen kann, wenn die HW kein ECC RAM hat, weil es bei ZFS keine Prüfung gibt die diesen groben Blödsinn verhindert. Denn er sagt auch klar:
Aber das muss jeder selbst wissen, ich werden nicht darüber streiten, es gibt genug Bereichte im Netz wo Leute wegen RAM Fehlern ihren Pool verloren haben, es sind eure Daten und nicht meine, jeder muss selbst wissen was er damit macht! Der einzige Vorteil wenn man auf ECC RAM verzichtet ist der Preis, da die Riegel i.d.R. teurer sind und man braucht selbstverständlich auch ein passendes Board und eine passende CPU die dies unterstützen, sonst hängen die zusätzlichen Bit (ECC RAM unterscheidet sich ja nur darin das es 72 Datenbit statt 64 hat, die ECC Funktion ist im RAM Controller, erst ab DDR5 wird es auch On-Chip ECC direkt auf dem RAM Riegel geben) nur nutzlos in der Luft.
Man beachte die Reihenfolge, zuerst empfiehlt er ECC RAM und dann erst oben drauf ein Filesystem mit Prüfsummen wie ZFS zu verwenden, wenn man seine Daten liebt und vor Korruption schützen möchte! Zumal diese ganze blödsinnige Diskussion wie man diese Aussagen verstehen soll, komplett vergessen das die Datenkorruption im RAM schon entstehen kann wenn die Daten gerade übers Netz ankommen, dann liegen sie ja auch im RAM bevor ZFS überhaupt seine Prüfsumme darüber bilden kann und bildet sie dann über die korrupten Daten.
Aber das muss jeder selbst wissen, ich werden nicht darüber streiten, es gibt genug Bereichte im Netz wo Leute wegen RAM Fehlern ihren Pool verloren haben, es sind eure Daten und nicht meine, jeder muss selbst wissen was er damit macht! Der einzige Vorteil wenn man auf ECC RAM verzichtet ist der Preis, da die Riegel i.d.R. teurer sind und man braucht selbstverständlich auch ein passendes Board und eine passende CPU die dies unterstützen, sonst hängen die zusätzlichen Bit (ECC RAM unterscheidet sich ja nur darin das es 72 Datenbit statt 64 hat, die ECC Funktion ist im RAM Controller, erst ab DDR5 wird es auch On-Chip ECC direkt auf dem RAM Riegel geben) nur nutzlos in der Luft.
kachiri
Fleet Admiral
- Registriert
- Apr. 2011
- Beiträge
- 17.790
Externe Platte mit USB Typ-C für unsere MacBooks: LaCie (sprich Seagate) oder WD. Oder doch was anderes. Eigentlich war meine Überlegung eine externe SSD. Aber die Preise haben mich dann doch abgeschreckt...
Sollte eigentlich nicht mehr als 120 - maximal wirklich 150 Euro kosten. Und da bin ich bei einer SSD bei max. 1 TB...
Die externe ist reines Datengrab von nicht zwingend wichtigen Daten.
Neben der Konnektivität ohne Adapter geht es mir vor allem auch darum, dass ich mir den Stromstecker spare. Aktuelle haben wir ein Seagate Expansion Drive. Idealerweise NTFS-formatiert, so dass wir mit unseren MacBooks nur mit Workaround drauf schreiben könne. Und eben anders formatieren ist auch nicht.
Sollte eigentlich nicht mehr als 120 - maximal wirklich 150 Euro kosten. Und da bin ich bei einer SSD bei max. 1 TB...
Die externe ist reines Datengrab von nicht zwingend wichtigen Daten.
Neben der Konnektivität ohne Adapter geht es mir vor allem auch darum, dass ich mir den Stromstecker spare. Aktuelle haben wir ein Seagate Expansion Drive. Idealerweise NTFS-formatiert, so dass wir mit unseren MacBooks nur mit Workaround drauf schreiben könne. Und eben anders formatieren ist auch nicht.
Cappuccio
Cadet 3rd Year
- Registriert
- Nov. 2012
- Beiträge
- 62
@Holt:
Ich habe nicht gegen ECC-Ram argumentiert.
Mein Aussage war, dass man sehr wohl ZFS (oder Btrfs) auch ohne ECC-Ram nutzen kann (entgegen der Mythen, die seit Jahren im Internet umherschwirren). Man hat dann immer noch mehr Schutz, als mit einem "alten" bzw. "herkömmlichen" Dateisystem. Dies wird in meinem Link auch beschrieben.
Ich habe nicht gegen ECC-Ram argumentiert.
Mein Aussage war, dass man sehr wohl ZFS (oder Btrfs) auch ohne ECC-Ram nutzen kann (entgegen der Mythen, die seit Jahren im Internet umherschwirren). Man hat dann immer noch mehr Schutz, als mit einem "alten" bzw. "herkömmlichen" Dateisystem. Dies wird in meinem Link auch beschrieben.
kachiri, was ist nun genau die Frage?
Das ist der Punkt um den es mir geht und dann eben auch, dass diese Unterstellen Platten würde korrupte Daten liefern, einfach falsch ist. Dies passiert normalerweise nie, außer eben bei FW Bugs (der Platte oder des Host Controllers), was aber inzwischen extrem selten ist oder Fehlern auf deren internen Datenpfaden, wogegen bessere HDDs und SSDs abgesichert sind und was beim Host dann wieder eine Frage von ECC RAM ist. Statt korrupter Daten liefern die Platten eben Lesefehler und ordentliche RAID Lösungen rekonstruieren die Daten aufgrund der Redundanz und überschreiben den Sektor auf der Platte die den Lesefehler geliefert hat. Es gibt unzählige Server, auch Datenbanksever die ja besonders sensibel auf Storagefehler reagieren, die jahrelang problemlos mit traditionellen RAIDs und Filesystemen laufen, aber selbstverständlich ECC RAM haben.
Aber wie gesagt möchte ich diese Diskussion eigentlich nicht führen, da es jeder für sich selbst entscheiden muss, es sind ja auch seine Daten und sein Geld, nur sollte sich bitte keiner der Illusion hingeben fehlendes ECC RAM mit Filesystemen wie ZFS kompensieren zu können.
Es geht, weil nichts verhindert das man diese Filesysteme auch dann nutzt, wenn das System kein ECC RAM hat, dies wurde meines Wissens auch nie bestritten.Cappuccio schrieb:Mein Aussage war, dass man sehr wohl ZFS (oder Btrfs) auch ohne ECC-Ram nutzen kann (entgegen der Mythen, die seit Jahren im Internet umherschwirren).
Da liegt der Irrtum, man wird in falsche Sicherheit gewogen, da man nicht weiß ob die Prüfsumme wirklich über die korrekten Daten gebildet wurden oder sie schon vorher im RAM korrumpiert worden sind. Wenn die Fehlerkorrektur aktiv ist und es RAM Fehler gibt, kann dadurch der Pool verloren gehen, eben weil die Daten durch die vermeidlichen Fehler, die in Wahrheit RAM Fehler sind, dann kaputtkorrigiert werden, genau dies passiert bei einem normalen RAID und Filesystem eben nicht. Wer meint er können mit ZFS oder btfs das Fehlen von ECC RAM kompensieren, der irrt und sollte sich nochmal an die von mir in meinem letzten Post zitierte Aussage erinnern.Cappuccio schrieb:Man hat dann immer noch mehr Schutz, als mit einem "alten" bzw. "herkömmlichen" Dateisystem. Dies wird in meinem Link auch beschrieben.
Das ist der Punkt um den es mir geht und dann eben auch, dass diese Unterstellen Platten würde korrupte Daten liefern, einfach falsch ist. Dies passiert normalerweise nie, außer eben bei FW Bugs (der Platte oder des Host Controllers), was aber inzwischen extrem selten ist oder Fehlern auf deren internen Datenpfaden, wogegen bessere HDDs und SSDs abgesichert sind und was beim Host dann wieder eine Frage von ECC RAM ist. Statt korrupter Daten liefern die Platten eben Lesefehler und ordentliche RAID Lösungen rekonstruieren die Daten aufgrund der Redundanz und überschreiben den Sektor auf der Platte die den Lesefehler geliefert hat. Es gibt unzählige Server, auch Datenbanksever die ja besonders sensibel auf Storagefehler reagieren, die jahrelang problemlos mit traditionellen RAIDs und Filesystemen laufen, aber selbstverständlich ECC RAM haben.
Aber wie gesagt möchte ich diese Diskussion eigentlich nicht führen, da es jeder für sich selbst entscheiden muss, es sind ja auch seine Daten und sein Geld, nur sollte sich bitte keiner der Illusion hingeben fehlendes ECC RAM mit Filesystemen wie ZFS kompensieren zu können.
Cappuccio
Cadet 3rd Year
- Registriert
- Nov. 2012
- Beiträge
- 62
@Holt: Du solltest erstmal den von mir verlinkten Artikel lesen, anstatt dich zu wiederholen... .
https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
ECC-RAM ist keine verpflichtende Voraussetzung für ZFS. Regelmäßige Scrubs sind gerade bei Rechnern ohne ECC-RAM sinnvoll und helfen gegen "silent bit rot" bei entsprechender Redundanz.
https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
ECC-RAM ist keine verpflichtende Voraussetzung für ZFS. Regelmäßige Scrubs sind gerade bei Rechnern ohne ECC-RAM sinnvoll und helfen gegen "silent bit rot" bei entsprechender Redundanz.
Zuletzt bearbeitet:
Wie oft muss ich noch schreiben, dass ich keine Ambitionen habe hier darüber zu diskutieren? Zumal man zu jeder Meinung sehr viele Beiträge im Internet finden kann, da kann ich nur auf meine Signatur verweisen und jeden auffordern sich seine Meinung selbst zu bilden, denn er muss ja am Ende auch mit den Konsequenzen seiner Entscheidung leben.
Zuletzt bearbeitet:
kachiri
Fleet Admiral
- Registriert
- Apr. 2011
- Beiträge
- 17.790
Holt schrieb:@kachiri, was ist nun genau die Frage?
Welche externe Festplatte (HDD) mit USB Typ-C-Konnektivität ist die beste Wahl? Oder ist es letztlich Jacke wie Hose?
Das ist relativ egal, die meisten dürften SMR haben, alle 2TB wo eine HDD mit 7mm Bauhöhe drin ist sowieso und auch alle ab 4TB, die 3TB sehr wahrscheinlich auch. Wahrscheinlich haben auch viele keine SATA Anschluss mehr, sondern die USB Buchse direkt auf der Platine. Denke also an ein Backup aller Daten die Du nicht verlieren möchtest ggf. auf einer zweiten USB Platte.kachiri schrieb:Oder ist es letztlich Jacke wie Hose?
Cappuccio
Cadet 3rd Year
- Registriert
- Nov. 2012
- Beiträge
- 62
Musst du ja nicht.Holt schrieb:Wie oft muss ich noch schreiben, dass ich keine Ambitionen habe hier darüber zu diskutieren?
Exakt. Und damit sich der Leser selber seine Meinung bilden kann:Holt schrieb:Zumal man zu jeder Meinung sehr viele Beiträge im Internet finden kann, da kann ich nur auf meine Signatur verweisen und jeden auffordern sich seine Meinung selbst zu bilden, denn er muss ja am Ende auch mit den Konsequenzen seiner Entscheidung leben.
https://www.jupiterbroadcasting.com/116966/wayland-weston-freebsd-bsd-now-204/Matt Ahrens answers questions about the “Scrub of Death”
- In working on the breakdown of that ZFS article last week, Matt Ahrens contacted me and provided some answers he has given to questions in the past, allowing me to answer them using HIS exact words.
- “ZFS has an operation, called SCRUB, that is used to check all data in the pool and recover any data that is incorrect. However, if a bug which make errors on the pool persist (for example, a system with bad non-ecc RAM) then SCRUB can cause damage to a pool instead of recover it. I heard it called the “SCRUB of death” somewhere. Therefore, as far as I understand, using SCRUB without ECC memory is dangerous.”
I don’t believe that is accurate. What is the proposed mechanism by which scrub can corrupt a lot of data, with non-ECC memory?
ZFS repairs bad data by writing known good data to the bad location on disk. The checksum of the data has to verify correctly for it to be considered “good”. An undetected memory error could change the in-memory checksum or data, causing ZFS to incorrectly think that the data on disk doesn’t match the checksum. In that case, ZFS would attempt to repair the data by first re-reading the same offset on disk, and then reading from any other available copies of the data (e.g. mirrors, ditto blocks, or RAIDZ reconstruction). If any of these attempts results in data that matches the checksum, then the data will be written on top of the (supposed) bad data. If the data was actually good, then overwriting it with the same good data doesn’t hurt anything.
Let’s look at what will happen with 3 types of errors with non-ECC memory:
1. Rare, random errors (e.g. particle strikes – say, less than one error per GB per second). If ZFS finds data that matches the checksum, then we know that we have the correct data (at least at that point in time, with probability 1-1/2^256). If there are a lot of memory errors happening at a high rate, or if the in-memory checksum was corrupt, then ZFS won’t be able to find a good copy of the data , so it won’t do a repair write. It’s possible that the correctly-checksummed data is later corrupted in memory, before the repair write. However, the window of vulnerability is very very small – on the order of milliseconds between when the checksum is verified, and when the write to disk completes. It is implausible that this tiny window of memory vulnerability would be hit repeatedly.
2. Memory that pretty much never does the right thing. (e.g. huge rate of particle strikes, all memory always reads 0, etc). In this case, critical parts of kernel memory (e.g. instructions) will be immediately corrupted, causing the system to panic and not be able to boot again.
3. One or a few memory locations have “stuck bits”, which always read 0 (or always read 1). This is the scenario discussed in the message which (I believe) originally started the “Scrub of Death” myth: https://forums.freenas.org/index.php?threads/ecc-vs-non-ecc-ram-and-zfs.15449/ This assumes that we read in some data from disk to a memory location with a stuck bit, “correct” that same bad memory location by overwriting the memory with the correct data, and then we write the bad memory location to disk. However, ZFS doesn’t do that. (It seems the author thinks that ZFS uses parity, which it only does when using RAID-Z. Even with RAID-Z, we also verify the checksum, and we don’t overwrite the bad memory location.)
Here’s what ZFS will actually do in this scenario: If ZFS reads data from disk into a memory location with a stuck bit, it will detect a checksum mismatch and try to find a good copy of the data to repair the “bad” disk. ZFS will allocate a new, different memory location to read a 2nd copy of the data, e.g. from the other side of a mirror (this happens near the end of dsl_scan_scrub_cb()). If the new memory location also has a stuck bit, then its checksum will also fail, so we won’t use it to repair the “bad” disk. If the checksum of the 2nd copy of the data is correct, then we will write it to the “bad” disk. This write is unnecessary, because the “bad” disk is not really bad, but it is overwriting the good data with the same good data.
I believe that this misunderstanding stems from the idea that ZFS fixes bad data by overwriting it in place with good data. In reality, ZFS overwrites the location on disk, using a different memory location for each read from disk. The “Scrub of Death” myth assumes that ZFS overwrites the location in memory, which it doesn’t do.
In summary, there’s no plausible scenario where ZFS would amplify a small number of memory errors, causing a “scrub of death”. Additionally, compared to other filesystems, ZFS checksums provide some additional protection against bad memory.
https://www.jupiterbroadcasting.com/116766/for-the-love-of-zfs-bsd-now-203/And I do mean expensive: Pretty much every ZFS FAQ flatly declares that ECC RAM is a must-have and 8 GB is the bare minimum. In my own experience with FreeNAS, 32 GB is a nice amount for an active small ZFS server, and this costs $200-$300 even at today’s prices.
- As we talked about a few weeks ago, ECC is best, but it is not required. If you want your server to stay up for a long time, to be highly available, you’ll put ECC in it. Don’t let a lack of ECC stop you from using ZFS, you are just putting your data at more risk. The scrub of death is a myth.
- ZFS does not ‘require’ lots of ram. Your NAS will work happily with 8 GB instead of 32 GB of RAM. Its cache hit ratio will be much lower, so performance will be worse. It won’t be able to buffer as many writes, so performance will be worse.
- Copy-on-Write has some drawbacks, data tends to get scattered and fragmented across the drives when it is written gradually. The ARC (RAM Cache) lessens the pain of this, and allows ZFS to batch incoming writes up into nice contiguous writes. ZFS purposely alternates between reading and writing, since both are faster when the other is not happening. So writes are batched up until there is too much dirty data, or the timeout expires. Then reads are held off while the bulk linear write finishes as quickly as possible, and reads are resumed.
- Obviously all of this works better and more efficiently in larger batches, which you can do if you have more RAM.
- ZFS can be tuned to use less RAM, and if you do not have a lot of RAM, or you have a lot of other demand on your RAM, you should do that tuning.
Im oben geposteten ArsTechnica-Link von Holt steht es ebenfalls drin.
Und wie schon von mir gepostet eine andere Erklärung: https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
Ich glaube auf YouTube gibt es auch zu dem Mythos, dass ECC-Voraussetzung für ZFS sei, ein recht gutes Video (hatte es nicht ganz gesehen und finde es gerade nicht).
Fazit:
ECC ist gut. ECC ist aber keine Voraussetzung, wenn man ZFS nutzen möchte. Man ist mit ZFS ohne ECC-Ram nicht mehr Gefahren ausgesetzt, als bei herkömmlichen bzw. "alten" Dateisystemen (eher das Gegenteil ist der Fall).
Druck&Print
Banned
- Registriert
- Juli 2014
- Beiträge
- 842
Hi,
welche externe Festplatte mit mindestens 500 GB Speicher könnt ihr empfehlen? Sie muss nicht extrem schnell sein, ich brauche sie nur als Backup. Gut und günstig wäre toll
Edit:
Habe mir nun eine von WD bestellt+ USB Stick ist gerade in einer Aktion. Preislich unterscheiden sich die Hersteller kaum.
welche externe Festplatte mit mindestens 500 GB Speicher könnt ihr empfehlen? Sie muss nicht extrem schnell sein, ich brauche sie nur als Backup. Gut und günstig wäre toll
Edit:
Habe mir nun eine von WD bestellt+ USB Stick ist gerade in einer Aktion. Preislich unterscheiden sich die Hersteller kaum.
Zuletzt bearbeitet:
Reflexion
Lieutenant
- Registriert
- Dez. 2009
- Beiträge
- 635
Dass mit ECC-Fehlerkorrektur eine höhere Wahrscheinlichkeit anliegt, dass die vorhandenen Daten im RAM mit Fehler/n korrumpiert erkannt werden, ist doch schon mal ein guter Grund daraufzusetzen, egal auf welches Dateisystem schlussendlich geschrieben wird. Man schnallt sich ja auch im Auto an, mitunter als Vorsorge.
Ich glaube das Problem an der Thematik ist eben die Möglichkeit des Überprüfens, keiner /(oder wenige) schaut sich nach dem Kopiervorgang sämtliche übertragenen Familienfotos an, nur um nach Pixelfehler zu suchen, auch kann man es meines Wissens nach bis auf die Powershell Angabe&Ausgabe, dass ECC/72 Bit erkannt wurde nur abwarten und hoffen, dass der ECC-RAM Einkauf etwas bringen wird. Hinzu kommt eben 100% Aufschlag, wenn man RAM aus der Kompatibilitätsliste kaufen möchte und keine Lust&Zeit hat erst passenden ECC-RAM zu suchen.. davon ab sind die Kompatibilitätslisten meist eh der Horror für sich. Ich hätte da keine Lust dort für meinen Ryzen V1 zu suchen, und da ich kein"pro"habe noch mehr Risiken einzugehen. Jetzt wo DDR5 eh nicht mehr lange hin ist, kann man besser abwarten. Deshalb china Board x79/99+ Xeon v1-3 (passende Boards kosten neu ~70€) und schon darf man auch den günstigeren REG ECC-DDR3 RAM nehmen, bekommt man verglichen zu (REG) DDR4 ECC fast hinterhergeworfen. So gesehen bekommt man schon was Günstiges hin. Nur eben nicht so günstig, wenn es um 24/7 passiv gekühlte Kisten geht mit geringer Leistungsaufnahme. Da zahlt man Dank non REG schön drauf.
Ich glaube das Problem an der Thematik ist eben die Möglichkeit des Überprüfens, keiner /(oder wenige) schaut sich nach dem Kopiervorgang sämtliche übertragenen Familienfotos an, nur um nach Pixelfehler zu suchen, auch kann man es meines Wissens nach bis auf die Powershell Angabe&Ausgabe, dass ECC/72 Bit erkannt wurde nur abwarten und hoffen, dass der ECC-RAM Einkauf etwas bringen wird. Hinzu kommt eben 100% Aufschlag, wenn man RAM aus der Kompatibilitätsliste kaufen möchte und keine Lust&Zeit hat erst passenden ECC-RAM zu suchen.. davon ab sind die Kompatibilitätslisten meist eh der Horror für sich. Ich hätte da keine Lust dort für meinen Ryzen V1 zu suchen, und da ich kein"pro"habe noch mehr Risiken einzugehen. Jetzt wo DDR5 eh nicht mehr lange hin ist, kann man besser abwarten. Deshalb china Board x79/99+ Xeon v1-3 (passende Boards kosten neu ~70€) und schon darf man auch den günstigeren REG ECC-DDR3 RAM nehmen, bekommt man verglichen zu (REG) DDR4 ECC fast hinterhergeworfen. So gesehen bekommt man schon was Günstiges hin. Nur eben nicht so günstig, wenn es um 24/7 passiv gekühlte Kisten geht mit geringer Leistungsaufnahme. Da zahlt man Dank non REG schön drauf.
Je nach Imageformat können Bitfehler weit größere Auswirkungen als einen verfälschten Pixel haben.Reflexion schrieb:keiner /(oder wenige) schaut sich nach dem Kopiervorgang sämtliche übertragenen Familienfotos an, nur um nach Pixelfehler zu suchen
Die einzige Kompatibilitätsliste die relevant ist, ist die CPU Supportliste. Die anderen kann man getrost ignorieren, solange der RAM Typ stimmt und es ordentliche Riegel und keine Billigware ist, laufen die auch, vielleicht lassen sie sich nicht so toll übertakten, aber laufen werden sie normalerweise immer.Reflexion schrieb:wenn man RAM aus der Kompatibilitätsliste kaufen möchte
Wobei die On-Die-ECC bei DDR5 Riegeln nur optional ist, man wird also abwarten müssen welche Riegel diese wirklich bieten, die billigsten sicher nicht und da es wohl auch Performance kosten dürften, die schnellsten wohl auch nicht.Reflexion schrieb:Jetzt wo DDR5 eh nicht mehr lange hin ist, kann man besser abwarten.
Bei den billigen Chona X79 Boards ist ja nicht einmal ein X79 Chipsatz drauf, sondern vielleicht z.B. der B75 und ich würde mich nicht darauf verlassen wollen, dass die ECC Funktion korrekt implementiert wurde.Reflexion schrieb:Deshalb china Board x79/99
Reflexion
Lieutenant
- Registriert
- Dez. 2009
- Beiträge
- 635
..da bin ich mir nicht so sicher was die Kompatibilität zu supermicro Mainboard anbelangt. Aber wenn Du die positive Erfahrung gemacht hast, dass es läuft dann freut mich das. Habe hier 5 China x79 Boards, 4 davon geben grünes Licht in der Powershell zu ECC Erkennung und auch in unRAID eines hingegen akzeptiert ECC/REG RAM und funktioniert, aber ECC Nachforschungen in der Shell bringen ne Fehlermeldung zutage.. mehr Gewissheit hab ich nicht. Ja es ist richtig dass B75, B85.. ect .p.p Chipsätze verbaut werden, für den ganzen Kram der eben nicht über die CPU läuft, Lanes sind ja glücklicherweise genügend vorhanden bei den Xeons( der Serverklasse. RAM/timmings lassen sich auch oc (wenn man das denn möchte..) Aber das ist nicht immer der Fall je nach Rev. sind auch "C" Chipsätze drauf. Solange ECC-REG RAM erkannt wird /(und da fressen die bisher alle..was ich da hatte) ist mir das wurscht was für ein Chipsatz drauf ist.
Zuletzt bearbeitet:
Prosaft
Lt. Junior Grade
- Registriert
- Nov. 2011
- Beiträge
- 330
Servus,
bin momentan am hin und herueberlegen, wie ich mein Daten besser sichern kann.
Status Quo: Mehrere Rechner sind mittels syncthing miteinander verbunden, sodass ich auf einem Hauptrechner alle relevanten Daten an einem Ort gesammelt habe. Damit mache ich dann - wenn ich halt mal dran denke - manuell Backups mittels restic auf eine per USB verbunden WD Elements.
Ich wuerde den Prozess gerne automatisieren. Hab hier einen Pi3 rumliegen, und war in dem Kontext beim suchen auf folgenden Artikel gestossen:
https://bitreporter.de/raspberrypi/externes-raid-system-fuer-den-raspberry-pi/
Fand den Gedanken relativ interessant, mein Plan waere wie folgt:
Backups woechentlich Sonntag Nacht
1. Pi weckt Hauptrechner mit wake-on-lan auf
2. Pi stoesst auf Hauptrechner Backup-Befehl an, sodass Hauptrechner ueber sftp die Daten auf dem Pi3 speichert
3. Pi nutzt zum speichern so eine Icy Box im Raid 1, weckt dafuer die Platten auf und versetzt sie danach wieder ins Standby
Waere das ein sinnvoller Ansatz, oder wie wuerdet ihr das angehen?
Ein Problem waere, das aktuelle Modell von Raidsonic ist Usb-C und der Pi hat keinen USB-C..
Ignoriert man das wuerde sich das belappen auf etwa 180 EUR (2 Segate Ironwolf 2TB, 1 Icy Box 2-Fach Raid Gehaeuse fuer 2x 3,5 Zoll HDD)
Alternativen:
bin momentan am hin und herueberlegen, wie ich mein Daten besser sichern kann.
Status Quo: Mehrere Rechner sind mittels syncthing miteinander verbunden, sodass ich auf einem Hauptrechner alle relevanten Daten an einem Ort gesammelt habe. Damit mache ich dann - wenn ich halt mal dran denke - manuell Backups mittels restic auf eine per USB verbunden WD Elements.
Ich wuerde den Prozess gerne automatisieren. Hab hier einen Pi3 rumliegen, und war in dem Kontext beim suchen auf folgenden Artikel gestossen:
https://bitreporter.de/raspberrypi/externes-raid-system-fuer-den-raspberry-pi/
Fand den Gedanken relativ interessant, mein Plan waere wie folgt:
Backups woechentlich Sonntag Nacht
1. Pi weckt Hauptrechner mit wake-on-lan auf
2. Pi stoesst auf Hauptrechner Backup-Befehl an, sodass Hauptrechner ueber sftp die Daten auf dem Pi3 speichert
3. Pi nutzt zum speichern so eine Icy Box im Raid 1, weckt dafuer die Platten auf und versetzt sie danach wieder ins Standby
Waere das ein sinnvoller Ansatz, oder wie wuerdet ihr das angehen?
Ein Problem waere, das aktuelle Modell von Raidsonic ist Usb-C und der Pi hat keinen USB-C..
Ignoriert man das wuerde sich das belappen auf etwa 180 EUR (2 Segate Ironwolf 2TB, 1 Icy Box 2-Fach Raid Gehaeuse fuer 2x 3,5 Zoll HDD)
Alternativen:
- Ohne Raid-1, nur eine HDD, aber auch hier waere ein SATA -> USB Adapter erforderlich
- Externe USB-HDD am Pi anschliessen
- Status
- Für weitere Antworten geschlossen.