News HDD-Forschung: Seagate will HAMR-Festplatten ab 2017 ausliefern

[JoZu]

Nächstes Jahr dürfte das Seagate bashing etwas abklingen. So viele ST3000DM001 hat backblaze ja nicht mehr.
https://www.backblaze.com/blog/best-hard-drive/
Und die ST4000DM000 macht sich ja ganz gut im Vergleich zur Konkurrenz wenn man bedenkt dass sie nicht für Dauerbetrieb gedacht ist.

Inzwischen setzt man dort auch vermehrt auf HGST Megascale die dem Einsatzzweck gewachsen sind.

Was mich eigentlich wundert ist das sich niemand über die WDC WD30EFRX in der Statistik aufregt, die ist mit 12.87% Annual
Failure Rate auch nicht gerade toll für eine Platte die auf Dauerbetrieb ausgelegt sein soll.

 

[MidwayCV41]

SSD mit 1TB sind langsam im bezahlbaren Bereich, die 2TB auf dem besten Wege...

Bezahlbar? Aktuell: Billigste 1 TB SSD = 313,49 Euro. Billigste 1 TB HDD = 46,01 Euro. Fast 7 mal so teuer.

 

[Bully|Ossi]

Vielleicht 7x so teuer aber in der Praxis 20x so schnell. Ich verwende nur noch ssd Laufwerke, und 300 pro tb sind absolut im Rahmen.

Performance kostet halt.

 

[Bogeyman]

Sorry riDDi, aber das ist Blödsinn³, denn ein Bit kippt kaum mal unbemerkt auf einer Platte, dafür haben die eine ECC hinter jedem Sektor und die Rate der nicht korrigierbaren Bitfehler wird mindestens mit 1:10^14 angegeben, was etwa einem Lesefehler pro 12TB entspricht. Aber das sind keine unbemerkten Lesefehler, da gibt die Platte nicht mal eben heimlich die Daten mit einem falsches Bit zurück, sondern wirft eine Fehler statt die Daten auszugeben und der Sektor ist dann schwebend. Dann hilft ein RAID 1 schon weiter, weil das RAID die Daten von der anderen Platte lesen wird.

Ich habe diesen Wert noch nie in der Praxis reproduzieren können. Habe schon 10mal soviel Daten also 120TB (auf eine einzelne Platte bezogen) und mehr von meinen Platten gelesen und da kam es NIE zu einem sogenannen "nicht korrigierbaren Bitfehler". Dank ZFS hätte ich es gemerkt.

Und bei Enterprise Platten ist es auch nicht so dass diese automatisch länger halten geschweige denn dass sich das ganze armotisiert. Wäre es so könnte ja das Geschäftmodell von backblaze gar nicht funktionieren..

 

[Holt]

Na dann ist meine ST3000DM001 wohl eine Ausnahme. Sie hat mittlerweile >20000h auf dem Buckel und auch schon 60TB geschrieben und etwa 115TB gelesen.

Man soll den Tag nicht vor dem Abend loben, die ist schon in einem Alter, wo es bei dem Modell gerne kritisch wird. Außerdem ist ein Samplesize von 1 nicht geeignet wirklich aussagekräftige Schlüsse zu ziehen. Wenn Du aber die Platte nicht überlastet hast, also keinen 24/7 Betrieb gemacht hast, dann kann sie noch eine Weile halten. Laut Seagates Aussage steigen die Ausfällraten bei Überlastung ja eben überpropotional an.

Ein RAID5 mit 5x4TB (16TB netto) kostet etwa 560€. Ein RAID6 mit 10x2TB (16TB netto) kostet etwa 670€.

Wobei das nur auf die Platten bezogen ist und dan auch nur auf die billigsten, die nicht wirklich für so große RAIDs tauglich sind. Für 10 Platten braucht man auch 10 SATA (oder SAS) Host Ports, 10 Einbauplätze und 10 Spannungsversorgungen, dazu ein Netzteil welche mit dem Anlaufstrom umgehen kann (wenn kein Staggered Sinup vorhanden ist).

Mir persönlich reicht eigentlich RAID5 + Backup.

Eben denn auch der Letzte sollte so langsam mal wissen: RAIDs ersetzen keine Backups!

Die Geschwindigkeit wird im Prinzip seit langem nur noch durch die Erhöhung der Datendichte erreicht und HAMR und BPM ändern daran nichts.

Genau, wobei die Geschwindigkeit dadurch eben nicht linear mit der Kapazität steigt sondern nur mit der Wurzel, wenn die Datendichte sich vervierfacht, verdoppelt sich die Geschwindigkeit nur.

Ein Bitfehler sollte ein RAID1/5/… Array nicht beschädigen, sofern das Array nicht degraded ist.

Auch dann nicht, denn dann bekommst Du einen Lesefehler. Die Wahrscheinlichkeit eines Bitfehlers der bei der ECC durchschlüpft ist minimalst, praktisch nicht vorhanden im Vergleich zu den anderen Fehlerquellen die zu Slient Data Korruption führen können und ist das RAM klar der Hauptgrund. Wer kein ECC RAM mit entsprechender Plattform verwendet, braucht sich um den Rest keine Gedanken zu machen und wer immer mal korrupte Dateien hat, der sollte nicht die Platten, sondern zuserst sein RAM verdächtigen, dann ggf. den SATA Host/RAID Controller, die Kabel und dann die Platten (gerade auch einige der billigen Seagate HDD haben sogar ein End-to-End Fehler Attribut in den S.M.A.R.T. Werten, die haben also wenigstens eine gewisse Erkennung von Datenfehlern auf den internen Datenpfaden).

Die Festplatte erkennt Bitfehler beim Lesen und der RAID-Controller kann den Fehler dann korrigieren.

So ist es, aber dann sollte man mit der TLER/ERC aufpassen, denn normale HDDs versuchen durch wiederholtes Lesen den Sektor doch noch zu lesen und haben da meist einen fixen Timout. Bei als RAID fähig bezeichneten Platten ist es genauso, nur kann man dort diesen Timeout einstellen und der ist ab Werk meist kürzer eingestellt, was dann als eine Platte mit TLER/ERC bezeichnet wird. Bei der WD ist der Timeout ab Werk meines Wissens 14s, bei der Red nur 7s und die meisten RAID Controller sind per default auf 8s eingestellt. Damit fliegt so eine HDD deren Timeout höher ist, dann gerne bei einem schwebenden Sektor als defekt aus dem RAID und wenn die Platten diesen Sektor nach dem Timeout des RAIDs doch noch gelesen hat, sieht man nicht einmal wieso sie rausgeflogen ist.

Problematisch wird es erst, wenn ein Bitfehler erst entdeckt wird (weil man den Sektor vorher nicht gelesen hat), wenn eine Platte ausgefallen ist und man ein Rebuild macht. Prinzipiell hilfreich sind daher Dateisysteme mit eigenen Checksums wie ZFS oder btrfs. Diese unterstützen sog. scrubbing.

Scrubbing kann jedes RAID und ab und an (so einmal im Monat) solte man das auch machen, damit eben solche problematischen Sektoren möglichst vor dem Ausfall einer Platten gefunden und korrigiert werden können.

Wenn man bedenkt, dass es mittlerweile Platten bis 10TB gibt, ist das gar nicht mehr so viel, also durchaus ein Punkt über den man sich gedanken machen muss, wenn man solche Platten einsetzt.

Ja, das Thema wurde hier und hier mal angesprochen. Praktisch scheinen die meisten HDDs weniger hohe UBER zu haben als die Hersteller, aber kann und will man sich darauf verlassen?

die ST4000DM000 macht sich ja ganz gut im Vergleich zur Konkurrenz wenn man bedenkt dass sie nicht für Dauerbetrieb gedacht ist.

Ja sind ja auch noch neu, die 3TB Barracuda haben sich in den ersten etwa 2 Jahren auch sehr gut gemacht, danach stieg die Ausfallrate dann aber dramatisch an. Warten wir ab, wie die 4TB sich in dem Alter schlagen wird.

Inzwischen setzt man dort auch vermehrt auf HGST Megascale die dem Einsatzzweck gewachsen sind.

Das sind auch Platten einer ganz anderen Kategorie, sowohl preislich als auch von den Konstruktion, den Features und Spezifikationen her. Das sind richtige Enterprise HDDs, die auch für so einen Einsatz wie bei Backblaze geeignet sind.

Was mich eigentlich wundert ist das sich niemand über die WDC WD30EFRX in der Statistik aufregt, die ist mit 12.87% Annual
Failure Rate auch nicht gerade toll für eine Platte die auf Dauerbetrieb ausgelegt sein soll.

Dauerbetrieb alleine reicht ja nicht, die Red sind für den Betrieb mit 1 bis 5 HDDs, spätere Modelle bis 8 HDDs ausgelegt. Backbalze hat 45 Platten in einem Pod und dazu teils extreme Probleme mit Hitze (über 50°C sind da nicht selten und für HDDs schon grenzwertig) und Vibrationsprobleme. Das geht bis hin zu Problemen beim Transport der fertigen Racks zum Rechenzentrum:

Once the burn in phase is done, the Storage Pods are packaged up and shipped to a Backblaze data center. Whenever possible, we utilize a Ford Transit to transport the Storage Pods as the car-like suspension of the Transit makes for a smooth ride. The only trouble is that some data centers only have loading docks that are built to load/unload semi-trucks and Ford Transits are not loading dock height. Since Storage Pods weigh about 150 lbs each lifting them to loading dock height is real work. When we can’t use a Ford Transit, we prefer air ride suspension trucks versus trucks with just leaf springs. Maybe it’s just the condition of our highways here in the USA, but Storage Pods shipped on trucks with just leaf springs failed the load testing phase (described next) more often than those Storage Pods treated to the air ride experience.

Die Red ist eine Billig-HDD für Heimanwender, die kann sowas nicht ab und ist für einen Einsatz wie bei Backblaze nicht gemacht.

Und bei Enterprise Platten ist es auch nicht so dass diese automatisch länger halten geschweige denn dass sich das ganze armotisiert. Wäre es so könnte ja das Geschäftmodell von backblaze gar nicht funktionieren..

Du glaubst doch hoffentlich selbst nicht, dass Backblaze Geschäftsmodell als Beweis dafür herhalten kann, dass Enterprise HDDs nicht besser als Consumer HDDs sind. Natürlich wird Backblaze nie etwas anderes behaupten und es gab ja auch mal einen Blogeintrag der das belegen sollte, aber dort wurde gar nicht gesagt, um welche Platten es sich genau gehandelt hat:

Six shelves of enterprise-class drives in Dell PowerVault storage systems.
One EMC storage system with 124 enterprise drives that we just brought up this summer. One of the drives has already failed and been replaced.

Es gibt extrem viele Unterschiedliche Enterprise HDDs, nicht nur eine Qualitätsklase, dass sollte doch am Beispiel von Toshbia in meinem Post #35 klar geworden sein. Die MG Serie ist genauso Enterprise wie die MC Modelle, aber eben nicht die gleiche Klasse.

Es ist Backblaze Geschäftsmodell für das sie immer wieder Millionen bei Investoren eingesammelt haben, billige Cosumer HDDs statt Enterprise HDDs zu verwenden, diese scheinbar so geniale Idee werden sie doch nicht selbst entzaubern, indem sie jemanls offen zugeben, dass die Enterprise HDDs am Ende doch die bessere Wahl gewesen wären.

Indirekt zeigt aber deren aktuelle Auswahl von HDDs genau das Scheitern des ursprünglichen Konzeptes auf die billigsten Platten zu setzen, denn streng nach deren Konzept, dürfte keine Megascale jemals in deren Pods eingesetzt werden und statt der WD Red wäre die nochmal günstigere WD Green zu wählen. Dazu kommt noch ein Pod mit der HGST He8 8TB, das ist eine Enterpise HDD die bei bei geizhals ab 555€ gelistet ist, also ab 70€/TB und 4TB Megascale lag so um die 200€, also auch in der 50€/TB Klasse und damit gute 50% teurer als billige Heimanwender HDDs und noch mal teurer als die HGST Deskstar NAS, die zwischen 40 und 45€ pro TB kosten.

Die beiden HGST sind auch wirklich passende HDDs für den Einsatz, die haben die ganzen Features wie den Rotational Vibration Safeguard (RVS) der auch bei 45 Platten in einem Gehäuse nötig ist. Entsprechende Platten wäre bei Seagate die Enterprise Capacity Reihe und bei WD die Re Serie, aber eben nicht die Desktop und die Red.

 

[Bogeyman]

Holt, damit eine doppelt so teure Platte sich rechnet muss sie auch doppelt solange halten! Kenne auch genug Beispiel von Firmen wo Admins mit "Enterprise" Festplatten angefangen sind, dann aber zurückgerudert sind auf "normal" eben weil sich der Aufpreis nicht ausgezahlt hat in Form von weniger Festplattendefekten.

Ich habe diesen Wert noch nie in der Praxis reproduzieren können. Habe schon 10mal soviel Daten also 120TB (auf eine einzelne Platte bezogen) und mehr von meinen Platten gelesen und da kam es NIE zu einem sogenannen "nicht korrigierbaren Bitfehler". Dank ZFS hätte ich es gemerkt.

Hast du da vllt auch eine Erklärung für wieso ich lustig weit über den 10fachen Wert hinaus als der im Datenblatt steht fehlerfrei Daten auslesen kann? Ein Einzelfall? Bei mir? Bei allen 4 Platten?

Du glaubst doch hoffentlich selbst nicht, dass Backblaze Geschäftsmodell als Beweis dafür herhalten kann, dass Enterprise HDDs nicht besser als Consumer HDDs sind. Natürlich wird Backblaze nie etwas anderes behaupten und es gab ja auch mal einen Blogeintrag der das belegen sollte, aber dort wurde gar nicht gesagt, um welche Platten es sich genau gehandelt hat:

Und du meinst die Festplattenhersteller kann man da als neutral ansehen wenn sie den Leuten sagen sie brauchen umbedingt teure Enterprise Platten?
Also ich sollte lieber auf Seagate/WD und co hören welche Platte ich von deren Sortiment "brauche" ? Meinst du das? Da werde ich dann unabhängig beraten?

Nen Hersteller wäre ja wohl schön blöd wenn seine Enterprise Platten gar net soviel besser sind in der Praxis sondern nur auf dem Papier wenn er das dann offen publik macht.

 

[OiOlli]

Ich muss mal nachfragen. Also für 24h reicht eine red, wenn sie gut gekühlt wird.

 

[tnoay]

Ich muss mal nachfragen. Also für 24h reicht eine red, wenn sie gut gekühlt wird.

? die ideale temperatur eine festplatte liegt laut einer google studie bei 30 - 40°C

 

[Holt]

Holt, damit eine doppelt so teure Platte sich rechnet muss sie auch doppelt solange halten!

Da die Preise von HDDs im Verhältnis zu Kapazität tendenziell fallen (Kurz- und Mittelfristige Ausnahmen gibt es immer), muss sie sogar mehr als doppelt so lange halten, damit sie sich rechnet!

Kenne auch genug Beispiel von Firmen wo Admins mit "Enterprise" Festplatten angefangen sind, dann aber zurückgerudert sind auf "normal" eben weil sich der Aufpreis nicht ausgezahlt hat in Form von weniger Festplattendefekten.

Das ist ganz sicher kein Argument für die HDD Hersteller auch den billigen Serien mehr Haltbarkeit zu spendieren

Samsung und Hitachi (deren ehemalige Festplattensparte nun HGST heißt) waren für haltbare, zumindest bei Samsung meist auch günstige HDDs bekannt. Beide haben ihre Festplattensparten verkauft und übrig sind WD und Seagate, die beiden die bei Backblaze mit ihren billigen Serien eben nicht am Besten abschneiden. Wer hat da wohl aus unternehmerischer Sicht was richtig gemacht?

Ist es nicht auffällig das es von Toshiba, die ja in den 3.5" HDD durch die Übernahme der Einrichtung eines HGST Werkes und Lizensierung entsprechender Technologie eingestiegen sind, sehr schnell mit der MD Reihe ebenfalls eine günstige Desktop HDD ins Angebot aufgenommen hat, die anderes als die HGST Platten zuvor, nicht einmal für den 24/7 Betrieb zugelassen ist?

Hast du da vllt auch eine Erklärung für wieso ich lustig weit über den 10fachen Wert hinaus als der im Datenblatt steht fehlerfrei Daten auslesen kann? Ein Einzelfall? Bei mir? Bei allen 4 Platten?

Die Angaben sind eigentlich bei allen Datenblättern immer also <= aufgeführt, besser können sie also immer sein. Da ist halt die Frage, ob man sich darauf verlassen will, ob die HDD immer 10 oder 100mal so gut ist, wie der Hersteller es verspricht? Klar können gute Einsatzbedingungen z.B. mit idealen statt grenzwertigen Tempaturen und wenig bis keinen Vibrationen helfen, auch wenn die HDD noch neu sind ist das sich kein Nachteil. Aber schwebende Sektoren, also die Folge von unkorrigieren Bitfehlern (die UBER wirden ja auch immer Sektoren pro gelesene Bits angegeben) sind ja nun oft genau real vorhanden und wirklich nicht sowas wie ein Jeti, von dem viele nur glauben es gäbe sie, manche sogar behaupten sie schon mal gesehen zu haben, aber keiner es wriklich beweisen kann.

Und du meinst die Festplattenhersteller kann man da als neutral ansehen wenn sie den Leuten sagen sie brauchen umbedingt teure Enterprise Platten?

Natürlich sind die nicht neutral, die haben ja eigene Interessen, aber ist Backblaze neutral? Die haben auch eigene Interessen und deren Blog dürfte ihnen z.B. eine Aufmerksamkeit geben, die sie mit vielen Werbemilltionen nicht hätten kaufen können. Dazu wollen und müssen sie natürlich immer wieder möglichst billig an möglichst viele für ihrem Einsatz möglichst haltbare HDD kommen.

Also ich sollte lieber auf Seagate/WD und co hören welche Platte ich von deren Sortiment "brauche" ? Meinst du das? Da werde ich dann unabhängig beraten?

Persönlich bin ich inzwischen eigentlich komplett beratungsresisten, ich höre mich die Arguement an, versuche Aussagen mit Fakten zu belegen oder zu widerlegen und bilde mir aus der Fülle der Informationen die das Internet heute in Sekunden zu jedem Thema findet, dann mithilfe meines Wissens, was aufgrund meines Technischen Hintergrundes und er Jahrzehnte an Erfahrung gerade in dem Bereich, dann meine Meinung. Das ist aufwending, man muss sich anstregen und auch mal rechnen den viele versuchen einen auf Glatteis zu führen und es ist gerade bei technischen Dingen ein konstanter Prozess, da sich die Technik wie auch die Informationen darüber ständig ändern.

Daraus komme mich auch dem Schluss, dass die billigen Consumer HDDs eben so verbilligt wurden, dass sie eben gerade lange genug für den vorgesehenen Zweck halten und die Zahlen von Backblaze zeigen auch genau das bei der ST3000DM001 ganz deutlich, ebenso die Berichte anderer User zu Ausfällen gerade dieser HDD. Ob es am Ende für Backblaze oder andere Nutzer nun immer noch ein gutes Geschäft war diese billige HDD und sie nur 2 bis 3 Jahre nutzen zu können bevor sie dann reihenweise ausfällt, muss jeder für seine Anwendung entscheiden. Backblaze plant ja sowieso nur 3 Jahre Nutzungsdauer ein und hofft die Platten dann durch entsprechend im Preis gefallene größere HDDs zu ersetzen, zumal sie ja auch ständig mehr Speicherplatz benötigen und damit weniger Pods und Racks dafür nötig sind.

Wenn man damit dann am Ende gut gefahren ist, ist es ja auch in Ordnung und ob man damit gut fahren wird, ist vorher eine Wette deren Ausgang man erst hinterher kennt, da keiner hier die Entwicklung der Kapazitäten und Preise der nächsten 2 oder mehr Jahre vorhersehen kann. Vielleicht sind in 2 Jahren HMR HDDs mit 20TB Standard und für 300€ zu haben, vielleicht gibt es dafür aber auch allenfalls 6TB, weil SMR und He HDDs zu viele Probleme machen und wieder vom Markt verschwunden sind, HMR HDDs aber immer noch für das übernächste Jahr angekündigt werden. Kommt dazu noch eine neue Flut und Thailand oder ein weiterer heftig Absturz des Euro zum USD weil die graichische Tragödie (oder besser Komödie, die gr. Regierung will keine Rettung, die wollen nur keine Schuldzuweisung für den Austritt von der eigenen Bevölkerung kassiere) dann auch auf italiänisch und spanisch aufgeführt wird, so kannst Du locker 50% bis 100% oder noch mehr auf die heutigen Preis draufzählen und dann geht die Wette anders aus und langlebige Enterpise HDDs wären doch die bessere Wahl gewesen.

Was kommen wird, ich weiß es nicht, aber Du weißt es auch nicht!

Nen Hersteller wäre ja wohl schön blöd wenn seine Enterprise Platten gar net soviel besser sind in der Praxis sondern nur auf dem Papier wenn er das dann offen publik macht.

So offen machen die Hersteller die Hersteller die Eigenschaften gar nicht publik:



Schau mal was da unten rechts in rot und Großbuchstaben steht! (Das habt ihr jetzt aber nicht von mir )

Und schau mal auf das Datum der von mit zitierten Seagate Dokumente, das How HDD Workload Impacts TCO ist von 2013, in dem Product Manual der Barracuda 7200.7 oder dem der Barracuda 7200.10 findest Du das Wort Workload gar nicht. In dem der Barracuda 7200.14 wurde es mit dem Anhang erst in der letzten Rev. G am 01.10.2012 aufgenommen, mehr als ein Jahr nach Erscheinen der ersten Ausgabe:

Average rate of <55TB/year. The MTBF specification for the drive assumes the I/O workload does not
exceed the average annualized workload rate limit of 55TB/year. Workloads exceeding the annualized
rate may degrade the drive MTBF and impact product reliability. The average annualized workload rate
limit is in units of TB per year, or TB per 8760 power-on hours. Workload rate limit = TB transferred ×
(8760/recorded power-on hours)

Demnach wird dann die Workload auch gar nicht in Jahren, sondern pro 8760 Betriebsstunden angegeben und nimmt man das zu den 2400 Betriebsstunden von denen Seagate bei Desktop ja ausgeht ins Verhältnis, so sind im Jahr nur 15TB Workload erlaubt um keine erhöhten Ausfallraten zu haben, eine 3TB Barracude 14 wie die ST3000DM001 darf man nur 5 mal pro Jahr komplett lesen/schreiben. Wer die RAID betreibt und darüber jeden Monat ein Scrubbing ausführt, liegt also weit darüber!

In den Product Maunals stehen auch solche Informationen wie dier Temperature gradient, der "Operating
20°C per hour without condensation" und "Non-operating 30°C per hour" nicht überschreiten sollte oder das die ST3000DM001 genau "5,860,533,168 user-addressable LBA sectors" hat. Das ist nicht unwichtig, wenn man die in einem RAID betreibt und den Platz voll genutzt hat oder einen Klon ziehen will, dann darf die Ersatz- bzw. Zielpatte nicht weniger Sektoren haben.

Welche HDD wirkliich wie gut ist? Da muss jeder selbst entscheiden was er glaubt, wenn er die Qualität überschätzt und den Patte mehr zugemutet hat als der Hersteller spezifiziert hat, dann soll er nicht die Platte als schlecht beschimpfen.

 

[Tulol]

Lustig wird es wenn dann mal der Laser ausfällt.

Also mir ist in einem CD/DvD/BD Brenner noch nie der Laser ausgefallen, warum auch?

Höchstens mal die Optik verschmutzt(Staub etc) aber in einem Luftdichten Festplattengehäuse sollte so etwas ausgeschlossen sein.

 

[Bogeyman]

Die Angaben sind eigentlich bei allen Datenblättern immer also <= aufgeführt, besser können sie also immer sein. Da ist halt die Frage, ob man sich darauf verlassen will, ob die HDD immer 10 oder 100mal so gut ist, wie der Hersteller es verspricht? Klar können gute Einsatzbedingungen z.B. mit idealen statt grenzwertigen Tempaturen und wenig bis keinen Vibrationen helfen, auch wenn die HDD noch neu sind ist das sich kein Nachteil. Aber schwebende Sektoren, also die Folge von unkorrigieren Bitfehlern (die UBER wirden ja auch immer Sektoren pro gelesene Bits angegeben) sind ja nun oft genau real vorhanden und wirklich nicht sowas wie ein Jeti, von dem viele nur glauben es gäbe sie, manche sogar behaupten sie schon mal gesehen zu haben, aber keiner es wriklich beweisen kann.

Aber ich kann schwer glauben dass der Wert sogar um ganze Größenordnungen besser sein kann in der Realität. Und bei 4 Platten UND 120TB statt 12TB wie angegeben denke ich nicht dass es "Zufall" ist.
Jetzt ist mir nach 2jahren und 10Tagen ne ST3000DM001 kaputt gegangen. ZFS hat aber keinerlei Fehler gezeigt als sie noch lief. Sie hörte sich eines Tages "komisch" an, hab im Server geguckt und sehe da ZFS hat sie aus dem Array geschmissen "too many errors".
Am PC angeschlossen, da fährt sie kurz an und geht dann direkt wieder aus. Irgendwelche Bitfehler die vorher auftreten hätte ZFS ja erkannt.

 

[Holt]

Also mir ist in einem CD/DvD/BD Brenner noch nie der Laser ausgefallen, warum auch?

Selbst wenn der Laser ausfällt, der wird ja nur zum Schreiben benutzt, Lesen müsste man die Daten dann immer noch können.

Aber ich kann schwer glauben dass der Wert sogar um ganze Größenordnungen besser sein kann in der Realität.

Größenordnungen ist relativ, wir reden sowieso schon von 10^14, da sind 10 oder 100 mal so viel dann 10^15 bzw. 10^16 und das sind Größenordnungen die auch bei Enterprise den Mission Critical Enterprise HDDs üblich sind. Aber ich denke Du hast die Fehler gar nicht gesehen, der Sinn eines jeden RAID ja gerade diese Fehler eben nicht bis an die Oberfläche kommen zu lasse, dafür ist die Randundanz ja gerade da und kritisch wird es mit der UBER eben nur, wenn diese wegfällt, also wenn z.B. ein RAID 5 (einfach Redundanz) ein Rebuild braucht, dann darf es keinen Lesefehler geben, damit das Rebuild eben auch wirklich klappt. Im laufenden Betrieb fällt so ein Fehler nur auf, wenn zwei Platten im gleichen Stripping einen Fehler haben, bei doppelter Redundanz erst bei 3 Platten. Sowas passiert eigentlich nur bei Totalausfälle von Platten oder wenn sie kurz davon sind. Backblaze hat bei seiner Vault Architektur eine 17+3 Konfiguration, also 17 "Datenplatten" plus 3 für Parity.

Jetzt ist mir nach 2jahren und 10Tagen ne ST3000DM001 kaputt gegangen.

Dauerbetrieb vermute ich mal, also wozu sie nicht gemacht wurde und dann in einem Pool, der öfter mal geprüft wurde, die Workload dürfte also weit über der spezifizierten Workload gelegen haben, die ja bei 55TB bzw. nur 15TB liegt (siehe mein letztes Post), also 5 mal im Jahr die ganze Kapazität. Hast Du jede Wochen oder jeden Monat den Pool scrubben lassen?

ZFS hat aber keinerlei Fehler gezeigt als sie noch lief. Sie hörte sich eines Tages "komisch" an, hab im Server geguckt und sehe da ZFS hat sie aus dem Array geschmissen "too many errors".

Dann würde ich mal annehmen, dass ZFS Dir einzelne Fehler auch gar nicht anzeigt, damit hast Du dann wohl auch garnicht bei mehreren HDDs um Größenordnungen bessere Bitfeherraten gehabt, sondern diese Bitfehler nur nie gesehen. Der Sinn vom Srubbing (das heißt bei ZFS anders, ist aber das gleiche) ist es das alle Platten gelesen werden um zu prüfen ob alles lesbar ist und keine Fehler vorhanden sind. Werden Fehler gefunden, werden die Daten neu geschrieben, damit verchwindet ein schwebender Sektor auch wieder und wird ggf. nur einen Reservesektor ersetzt. Das Überschreiben passiert auch, wenn bei normalen Lesevorgängen ein Fehler austritt. Daher kannst Du nur von schwebenden Sektoren im richtigen log etwas erfahren oder wenn Du sehr regelmäßig und vor allem vor einem Srubbing die S.M.A.R.T. Werte ausliest.

Am PC angeschlossen, da fährt sie kurz an und geht dann direkt wieder aus.

Schade, dann kannst Du ja auch nicht mehr die S.M.A.R.T. Werte auslesen.

Irgendwelche Bitfehler die vorher auftreten hätte ZFS ja erkannt.

Erkannt ja, aber gemeldet? Bist Du sicher an den richtigen Stellen nachgesehen zu haben?

Die S.M.A.R.T. Werte sollte man mit smartctl regelmäßig überprüfen, da siehst Du die schwebenden Sektoren im Attribut 197 und wenn Du da Wiederzuweisungsereingnise (Attribut 196) bzw. Wiederzugewiesene Sektoren (Att. 5) hast, dann hattes Du verher fast 100%ig sicher auch schwebende Sektoren. Wenn Du die regelmäßig überwachst oder mit smartd überwachen lässt und da eine Änderung feststellst, dann kannst Du ja mal prüfen ob und wo (vermutlich syslog) Dir ZFS davon eine Meldung hinterlassen hat.

 

[Bogeyman]

Dauerbetrieb vermute ich mal, also wozu sie nicht gemacht wurde und dann in einem Pool, der öfter mal geprüft wurde, die Workload dürfte also weit über der spezifizierten Workload gelegen haben, die ja bei 55TB bzw. nur 15TB liegt (siehe mein letztes Post), also 5 mal im Jahr die ganze Kapazität. Hast Du jede Wochen oder jeden Monat den Pool scrubben lassen?

Also auf dem Pool lagen Backups/Video/Software, zwar "Dauerbetrieb" aber Spindown halt die meiste Zeit und wenn hat vllt mal einer was drauf geschrieben oder was gelesen, die haben sich also mehr gelangweilt in meinen Augen.
Scrubbing Anfangs wöchentlich, aber hab es später dann auf monatlich gestellt.
Da gehen die Meinungen halt auch auseinander: Die einen sagen öfter scrubben um zeitlich schneller Fehler zu finden, weil Fehler+ne andere Platte die versagt in einem Raid5 schon für Datenverlust sorgt, die anderen sagen weniger weil die Platte dafür nicht gemacht ist.

Dann würde ich mal annehmen, dass ZFS Dir einzelne Fehler auch gar nicht anzeigt, damit hast Du dann wohl auch garnicht bei mehreren HDDs um Größenordnungen bessere Bitfeherraten gehabt, sondern diese Bitfehler nur nie gesehen. Der Sinn vom Srubbing (das heißt bei ZFS anders, ist aber das gleiche) ist es das alle Platten gelesen werden um zu prüfen ob alles lesbar ist und keine Fehler vorhanden sind. Werden Fehler gefunden, werden die Daten neu geschrieben, damit verchwindet ein schwebender Sektor auch wieder und wird ggf. nur einen Reservesektor ersetzt. Das Überschreiben passiert auch, wenn bei normalen Lesevorgängen ein Fehler austritt. Daher kannst Du nur von schwebenden Sektoren im richtigen log etwas erfahren oder wenn Du sehr regelmäßig und vor allem vor einem Srubbing die S.M.A.R.T. Werte ausliest.

Also einzelne Checksum Errors zeigt ZFS idr an. Ich habe da zu beginn mal etwas rumgespielt und mal "getestet" was passiert wenn man eine Platte im laufenden Betrieb abzieht. Beim Resilvern hatte er dann 2 Checksummen Fehler korrigiert.

Erkannt ja, aber gemeldet? Bist Du sicher an den richtigen Stellen nachgesehen zu haben?

Habe mir nur den Status angesehen mit dem Befehl zpool status, der sieht so ist, ist aber jetzt der von der Oracle Seite nicht der von meinem Pool.

# zpool status -v tank
pool: tank
state: DEGRADED
status: One or more devices could not be opened. Sufficient replicas exist for
the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-2Q
scrub: scrub completed after 0h0m with 0 errors on Wed Jan 20 15:13:59 2010
config:

NAME STATE READ WRITE CKSUM
tank DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
c1t0d0 ONLINE 0 0 0
c1t1d0 UNAVAIL 0 0 0 cannot open

errors: No known data errors

Technisch gesehen kann ZFS natürlich nur das Merken und auf das Reagieren was die Platte an Fehlern durchgehen lässt. Wenn da still und heimlich was korrigiert wird Plattenintern merkt es ZFS natürlich nicht.

Der Sinn vom Srubbing (das heißt bei ZFS anders, ist aber das gleiche) ist es das alle Platten gelesen werden um zu prüfen ob alles lesbar ist und keine Fehler vorhanden sind. Werden Fehler gefunden, werden die Daten neu geschrieben, damit verchwindet ein schwebender Sektor auch wieder und wird ggf. nur einen Reservesektor ersetzt. Das Überschreiben passiert auch, wenn bei normalen Lesevorgängen ein Fehler austritt. Daher kannst Du nur von schwebenden Sektoren im richtigen log etwas erfahren oder wenn Du sehr regelmäßig und vor allem vor einem Srubbing die S.M.A.R.T. Werte ausliest.

Naja wenn ZFS da was korrigiert, sieht es für die Platte aber wie ein ganz normaler Schreibbefehl aus. Einen Fehler den ZFS findet, aber SMART nicht, wird man auch nachdem ZFS ihn korrigiert hat nicht im SMART Status sehen denke ich.

Irgendwelche Dinge nachgucken werd ich aber erst wenn ich ne Ersatzplatte habe, weil solange habe ich die Platten ausgebaut, da es nur ein RaidZ1/Raid5 war

 

[Wolkan]

Hohe Ausfallrate kann ich persönlich nicht bestätigen bei Seagate Platten. Ganz im Gegenteil, Samsung hielten bei mir nicht lange (3 Jahre), WD + Samsung waren im Betrieb deutlich lauter. Ok die 7 Platten von Seagate die ich hatte waren sicher kein nennenswerter Durchschnitt und es kommt auch immer auf die Benutzung an, aber bisher war ich zumindest immer zufrieden damit. Getauscht habe ich Seagate Platten nur einmal als ich die Hardware komplett erneuerte und keine 6 Jahre alte Platten im neuen PC mehr verwenden wollte, obwohl sie damals keinerlei Anzeichen von Geräuschen oder Datenausfällen hatten.

 

[Holt]

Also auf dem Pool lagen Backups/Video/Software, zwar "Dauerbetrieb" aber Spindown halt die meiste Zeit und wenn hat vllt mal einer was drauf geschrieben oder was gelesen, die haben sich also mehr gelangweilt in meinen Augen.

Dauerbetrieb ist nicht Dauerlast, schau mal was Toshiba da zur MC und MG Serie scheibt, die MC darf Dauerbetrieb aber nur die MG auch Dauerlast. Wie sehr das Spindown schon, weiß ich nicht, jedenfalls waren ja die 20.000 Stunden wohl zusammengekommen und das scheint für die Barracuda bei Überlastung so ein Limit zu sein ab dem die Ausfälle dann gehäuft auftreten.

Scrubbing Anfangs wöchentlich, aber hab es später dann auf monatlich gestellt.

Damit hast Du das Workload Rating dann ja wohl überschritten.

Da gehen die Meinungen halt auch auseinander: Die einen sagen öfter scrubben um zeitlich schneller Fehler zu finden, weil Fehler+ne andere Platte die versagt in einem Raid5 schon für Datenverlust sorgt, die anderen sagen weniger weil die Platte dafür nicht gemacht ist.

Da gehen die Meinungen nicht auseinander, denn je nachdem welche Platten man verwendet, haben beide recht! Je öfter man da Crubbing ausführt, umso eher findet man Fehler, aber umso mehr Workload müssen die Platten ertragen und bei Consumer HDD kommt man dann schnell über deren Limit.

Also einzelne Checksum Errors zeigt ZFS idr an. Ich habe da zu beginn mal etwas rumgespielt und mal "getestet" was passiert wenn man eine Platte im laufenden Betrieb abzieht. Beim Resilvern hatte er dann 2 Checksummen Fehler korrigiert.

Wieso kommen die Leute immer auf die Idee sie würden den Ausfall einer Platte simulieren, wenn die eine abziehen? Ich will nur einen Teil zitieren, aber lies ruhig den ganzen Artikel:

Achja ... ein Wort noch zu den Tests, die Festplattenausfälle durch das Ziehen von Kabeln simulieren wollen: Ihr testet damit abfallende Kabel und den Effekt von Benutzern, die wild einfach mal so Kabel ziehen, aber keine defekte Festplatte. Wer allerdings ein Problem mit abfallenden Kabeln hat, sollte sich ueberlegen, ob er nicht mal anständige Kabel einsetzt, so mit Verschraubungen oder vernuenftigen Arretierungen.

Habe mir nur den Status angesehen mit dem Befehl zpool status, der sieht so ist, ist aber jetzt der von der Oracle Seite nicht der von meinem Pool.

Wie gesagt nutze ich kein ZFS, aber ich vermute sehr stark, dass wenn eine HDD einen schwebenden Sektor hat und diese im Betriebn oder beim Scrubbing aufgefallen ist, dies sich nicht in dem Report wiederfinden lässt. Der ganze Pool bleibt wie auch jeder echte RAID dann weiter intakt.

Technisch gesehen kann ZFS natürlich nur das Merken und auf das Reagieren was die Platte an Fehlern durchgehen lässt. Wenn da still und heimlich was korrigiert wird Plattenintern merkt es ZFS natürlich nicht.

Wenn eine Platte einen Sektor nicht mehr Lesen kann, dann wird ZFS davon erfahren, da kannst Du sicher sein, nur wird deswegen nicht der Status des Pools geändert, wenn die Daten aus der Redundanz wiederhergestellt werden können und dann werden auch die rekonstruierten, vorher nicht lesbaren Daten auf die HDD mit dem Problem zurückgeschrieben. Deren Controller prüft daraufhin den schwebenden Sektor und ersetzt ihn ggf. durch einen Reservesektor, dass ist alles noch die vollkommen normale Fehlerbehandlung von RAID (was auch ZFS letzlich ist) und Festplatten. Still und heimlich intern machen Festplatte kaum je eine Fehlerbehebung, das geht meist auch gar nicht. Die merken ja den Fehler erst, wenn die Daten gelesen werden (egal ob von außen oder beim Selbsttest) und wissen dann aber eben nicht mehr, wie die korrekten Daten für den Sektor der nicht mehr gelesen werden kann, nun richtig sein müssen.

Es ist möglich das Platten selbst problematische Sektoren gegen Reservesektoren austauschen, wenn sie Probleme haben einen Sektor zu lesen, es aber nach zahlreichen Widerholungen doch schaffen, aber bei Consumer HDDs ist das die Ausnahme und es ist auch eine Ausnahme, dass es überhaupt noch gelingt so einen Sektor doch noch mit so wenigen Bitfehlern zu lesen, dass die ECC diese noch korrigieren kann.

Naja wenn ZFS da was korrigiert, sieht es für die Platte aber wie ein ganz normaler Schreibbefehl aus.

Richtig, da wird der voher schwebende Sektor überschrieben und wenn weder ZFS das potokolliert noch die S.M.A.R.T. Werte überwacht werden, wirst Du es auch nie erfahren, weshalb Deine Aussage Du hättest 120TB und mehr ohne eine Lesefehler gelesen, eben jede Grundlage fehlt, wenn Du von solchem Ereignissen gar nicht Kenntnis bekmmen würdest

Einen Fehler den ZFS findet, aber SMART nicht, wird man auch nachdem ZFS ihn korrigiert hat nicht im SMART Status sehen denke ich.

ZFS findet wohl so gut wie niemals eine Fehler, den die Platte nicht erkannt und in den S.M.A.R.T. Werten protokollieren wird, da die unerkannten Bitfehler noch einmal viel (um etliche Zehnerpotenzen) unwahrscheinliche sind als die unkorrigierbaren, bei denen müssen ja die Daten und die ECC übereinstimmen und trotzdem nicht korrekt sein.

Allerdings wird man kaum in den S.M.A.R.T. Werten lange den schwebenden Sektor sehen können, wenn man nicht grade einen Selbsttest der Platten ausführen lässt, denn ZFS wird ja die Daten rekonstruieren und dann den Sektor überschrieben, womit er wieder verschwindet, aber ggf eben erstzt wurde und wenn es Wiederzugewiesenen Sektor gibt, weißt Du, das es mindestens so viele schwebende Sektoren gegeben hat und vermutlich noch mehr.

Die tatsächliche UBER Deiner HDDs kannst Du also nicht aus dem Status des Pools ablesen, sondern nur wenn Du ein Log von ggf. ausgeführten Fehlerkorrekturen hast. U.U. wird auch smartctl -a Auskunft geben, da sollte eine Liste der letzten Fehler erscheinen, mach das mal für alle Platten im Pool und poste die Ausgabe!

Irgendwelche Dinge nachgucken werd ich aber erst wenn ich ne Ersatzplatte habe, weil solange habe ich die Platten ausgebaut, da es nur ein RaidZ1/Raid5 war

Ein Backup hast Du hoffentlich, dann RAIDs ersetzen keine Backups!

 

[Bogeyman]

eso kommen die Leute immer auf die Idee sie würden den Ausfall einer Platte simulieren, wenn die eine abziehen? Ich will nur einen Teil zitieren, aber lies ruhig den ganzen Artikel:

Ich schrieb von "rumgespielt" und "was passiert wenn man eine Platte im laufenden Betrieb abzieht." waren meine Worte. Nur keine Panik jetzt, ich habe damit nicht einen Plattenausfall simulieren wollen für meine Doktorarbeit wo es um die Zuverlässigkeit von Platten in Servern geht und Festplattenausfällen.
Also mal halblang

Die tatsächliche UBER Deiner HDDs kannst Du also nicht aus dem Status des Pools ablesen, sondern nur wenn Du ein Log von ggf. ausgeführten Fehlerkorrekturen hast. U.U. wird auch smartctl -a Auskunft geben, da sollte eine Liste der letzten Fehler erscheinen, mach das mal für alle Platten im Pool und poste die Ausgabe!

Ja aber erst wenn ich ne Ersatzplatte habe, vorher nehm ich die restlichen Platten nicht wieder in Betrieb.

 

[beckenrandschwi]

Das O und O ist eine Datensicherung. Am Besten eine doppelte. Dann kann auch mal ne Festplatte ausfallen und man hat nur die Kosten einer neuen Festplatte. Wenn Daten verloren gehen, ist man sowieso selbst schuld. Das wissen wir aber seit Anfang der 80er...
Zur Not die wichtigsten Daten auf enen USB Stick oder ne USB Platte und fertig.

 

[joonyly]

Bezahlbar? Aktuell: Billigste 1 TB SSD = 313,49 Euro. Billigste 1 TB HDD = 46,01 Euro. Fast 7 mal so teuer.

Aber es ist absolut nicht viel Geld und der Preis der SSD fast schon über 1 Jahr so billig.