Kurze Frage Raid 5 und Alignment

[Bogeyman]

Jo baut ihr mal nen Raid5 mit 8 Platten und mehr. Am besten baut ihr es bis hin zu 20 Platten aus. Blos nicht auf Raid6/RaidZ2 setzen um beim Ausfall einer HDD noch nen bisschen Sicherheit zu haben.

sollte eine UBER von 1:10^15 habe, damit sind also auch 5 oder 8 in einem RAID kein Thema, wenn es um das Rebuild geht.

Ja dann am besten später beim Hersteller ausheulen oder bei den inkompetenten Leuten hier wenn es das RAID doch zerlegt "aber das sollte doch eigentlich gut gehen*heul*"


Sorry aber das ganze Vorhaben hier ist höchste Unsicher. Du geilst dich an irgendwelche statistischen Zahlen auf. Wenn die Platten sich dann aber nicht genauso Verhalten wie du es erwartest stehst du dumm da. Aber warscheinlich scheinen da später keine wichtigen Dateien drauf zu lagern. Backup bestimmt auch vorhanden von den 22TB!

Ich habe sogar schon eine RAID 5 mit über 20 Platten gesehen, was nach Ausfalle einer Platte erfolgreich rebuildet wurden, das waren 600GB 2.5" Enterprise HDDs mit einer UBER von 1:10^16 und hat problemlos geklappt.

Sag das doch gleich, dann ist doch alles klar! Merk ich mir 20 Platten mit Raid5 nie ein Problem weil ich schonmal von wem gelesen hab der wen kennt bei wem der Rebuild geklappt hat

Ich würds als RaidZ2 lösen und auch nicht auf irgendwelche brandneuen Festplatten setzen sondern eher auf Technologie die hinreichend getestet worde ist im Alltag.

 

[Masamune2]

Warum diese Aggression? Holt hat vollkommen recht, was du geschrieben hast reicht nicht weit genug. Ich habe bei einigen Kunden Raid 5 Volumes mit bis zu 16 Platten und keine Schmerzen damit. Warum?
Erstens sind das Platten die sehr viel geringere UBER haben und zweitens haben die 520 Byte Sektoren und erkennen durch die zusätzlichen Bytes Lesefehler und können den Sektor neu schreiben (bzw. der Raid Controller tut das dann).

Einfach zu sagen "mehr als 5 Platten im Raid 5 geht nicht" ins Blödsinn.

 

[Bogeyman]

Ja dann kannste auch gleich nen Raid0 machen. Bei 16 Platten ist die Warscheinlichkeit schon recht hoch dass etwas beim Rebuild schief geht, sprich dir ne weitere Platte aussteigt.

UBER hin oder her, wenn dir beim Raid5 ne zusätzliche Platte verreckt wars das. Obendrein kann auch Storage Spaces schon doppelte Parität. Sollte man durchaus nutzen falls einem die Daten irgendwas bedeuten oder Raid6

So hat man zumindest noch ne zusätzlichere Sicherheit falls mal eine Platte sich nicht genau so verhält wie man sich das in seiner Excel Tabelle schön ausgerechnet hat anhand von Herstellerangaben.

 

[Holt]

Bogeyman, wieso polemisierst Du so? Wer 22TB wichtige Daten hat, hat auch ein Backup davon, da ein RAID niemals ein Backup ersetzt und niemand hat behauptet, dass es billig ist große Datenmengen sicher aufzubewahren. Wer sich also das Backup nicht leisten kann oder will, trägt sowieso ein Risiko, egal ob RAID 5 oder RAID6 und dann wäre ein RAID 6 unabhängig von der Fehlerwahrscheinlichkeit der Platten natürlich sicherer, aber eben immer noch kein Ersatz für ein Backup.

Das ein RAID 0 Quatsch ist, weil es ja keinerlei Redundanz bietet und daher auch nur ein AID 0 und kein echtes RAID ist, sollte klar sein. Bei UBER gibt ja keine Ausfallwahrscheinlichkeit an, sondern die Wahrscheinlichkeit eines unkorrigierbaren Bitfehlers. Und natürlich war es dann, wenn bei einem RAID 5 noch eine Platte verreckt, aber wenn beim RAID 6 noch zwei verrecken, war es das genauso. Deshalb muss man den Zustand des RAIDs und der Platten auch regelmäßig prüfen und fehlerhafte Platten sehr zeitnah ersetzen, dann hält sich auch das Risiko in Grenzen und ebenso sollte man sich bei günstigen Consumer oder einfach Enterprise Platten überlegen, wie lange man diese einsetzen kann, bevor sie so verschlissen sind, dass das Risiko des zeitnahen Ausfalls mehrerer Platten zu hoch wird.

Bei dem beschriebenen RAID 5 aus über 20 Platten waren das echte High-End Enterprise HDDs für mission critical Storage, also nochmal eine Nummer über den üblichen Enterprise HDDs wie der UltraStar um die es hier geht. Die wird Zuhause kein vernünftiger Mensch einsetzen, weil die zu teuer, zu laut und von der Kapazität her zu klein sind und natürlich habe die auch 520/528 Byte pro Sektor und der Controller schriebt auf die übrigen 8/16Byte seine eigene Prüfsumme. Das geht alles bei SATA Platten gar nicht, weshalb auch ein RAID aus SATA Platten immer ein Krüppel bleibt, aber dafür eben günstig und für Heimanwender reicht das ja auch.

 

[Bogeyman]

Das ein RAID 0 Quatsch ist, weil es ja keinerlei Redundanz bietet

Ob du nun bei 20 Platten ein Raid 0 oder Raid5 hast macht auch nicht mehr soviel aus. "Sicher" ist beides nicht.

Bei dem beschriebenen RAID 5 aus über 20 Platten waren das echte High-End Enterprise HDDs für mission critical Storage, also nochmal eine Nummer über den üblichen Enterprise HDDs wie der UltraStar um die es hier geht.

Sorry aber egal wie die Platten sich schimpfen oder was sie alles so tolle können halte ich Doppelte Parität oder sogar Dreifache mit normalen Platten für sicherer anstatt einfache und dafür teure Platten.

Und genau darum gehts mir. Ich würde eher versuchen ein wenig Geld zu sparen um mir davon dann 1 oder 2 Platten mehr kaufen zu können um die Redundanz zu erhöhen anstatt einfach nur teure Platten einzusetzen.

Groß gefordert werden die zuhause eh nicht sodass man umbedingt Enterprise Platten braucht weil da Ständig Workload drauf ist.

6TB Platten fangen bei 230euro an die He6 kostet 450euro aufwärts. Ergo fürs gleiche Geld bekommste locker 2 "billige". Du kannst gerne behaupten dass eine He6 auch doppelt so zuverlässig ist wie 2 "billige" gespiegelt, kaufs dir aber nicht ab, sofern wir nicht von heavy workload ausgehen hier wofür billige Platten kontruktionsbedingt von vornerein net geeignet sind.

Obendrein wäre es meiner Meinung nach auch von Vorteil eher auf ZFS oder SS mit ReFS zu setzen hier anstatt auf klassisches Raid.

Beim Auto spart man sich ja auch nicht den Airbag weil die Elektronik im Auto angeblich eh jeden Fehler verhindert sodass man diesen gar net mehr braucht.

Genau das sagst du doch, bzw kommt es bei mir so rüber: "Wenn du bessere Platten hast kannste bei der Redundanz sparen"

 

[ML89]

Das was ihr da diskutiert habe ich mir alles schon durch den Kopf gehen lassen
Basierend auf meinen bisherigen Erfahrungen möchte ich mich zwar sekundär gegen einen Festplattenausfall schützen, weshalb ich ein RAID5 schalten möchte (Wie ich das mache, ob RAID-Conroller oder StorageSpaces) weiß ich noch nicht. Primär möchte ich mich aber gegen einen Lesefehler beim Rebuild schützen. Und der wird mich immer ereilen. Selbst wenn ich ein RAID1 aus WD REDs schalte und da eine verreckt muss der Inhalt der anderen gelesen werden und hier treffe ich wieder auf meine 10^-14 oder besser gesagt 50% Fehlerwahrscheinlichkeit. Glaubt mir, ich habe dieses Schlupfloch gesucht.

Das mit dem SAS-System habe ich mir in der Tat auch überlegt. Aber wie Holt schon sagte, gibt es hier preislich nochmal eine Stufe. Beim nächsten Server-Projekt vielleicht

Und bisher kann ich über die neue He6 nicht meckern: Produktion JUN14 und die hat den kompletten Sektoren-Test überlebt. Im Moment liegt eine Test-Freigabe drauf. Leider ist bereits jetzt die Gigabit-LAN-Verbindung der Flaschenhals - aber das ist ein anderes Thema.

Wie gesagt, als Dateisystem benutze ich das ReFS von Windows. Ich muss leider sagen, dass ich mich von Linux-System jeglicher Art distanzieren muss. Ich habe sie immer wieder über getestet. Am vielversprechendsten war für mich OpenSUSE. Dort endete es allerdings beim Einhängen einer neuen Festplatte. Was soll ich mich da also noch weiter mit rumärgern? Allerdings muss ich sagen, dass meine Position durch Windows 8/8.1 und damit auch Server 2012R2 sehr stark geschwächt ist. Die Oberfläche ist zum Kotzen und ich hoffe, dass die Verantwortlichen (vermute BWLer) dafür zur Rechenschaft gezogen werden.

So wie bei jedem technischen/mechanischem Gerät erhoffe ich mir eine leichte Standzeiterhöhung, indem ich die Dauerbelastung reduziere: Sprich der Server ist nachts aus.

 

[Holt]

Das was ihr da diskutiert habe ich mir alles schon durch den Kopf gehen lassen

Eine Diskussion würde ich das leider nicht nennen, da Bogeyman sich alle Fakten verschließt und offenbar entweder nicht gewillt oder in der Lage ist über Consumer HDD mit einer UBER von 1:10^14 hinaus zu blicken und offenbar auch nicht weiß, dass mehr HDDs auch mehr Kosten für die nötige Infrastruktur verursachen.

hier treffe ich wieder auf meine 10^-14 oder besser gesagt 50% Fehlerwahrscheinlichkeit.

Mit der He hast Du ja 1:10^15, da sind 12TB nicht die kritische Grenze, die liegt eine Zehnerpotenz höher.

Das mit dem SAS-System habe ich mir in der Tat auch überlegt. Aber wie Holt schon sagte, gibt es hier preislich nochmal eine Stufe. Beim nächsten Server-Projekt vielleicht

Wenn es noch etwas länger dauert, würde ich da wirklich schon eher an SSD denken, deren Entwicklung ist viel schneller, preislich wie auch bei den Kapazitäten und in dem Bereich der mission critical Storage sind die gerade erschienen Data Center SSD heute den HDDs zumindest in der Kapazität schon weit voraus. Berücksichtigt man die Performance, liegen sie schon vorne und je nach der Gesamtkapazität die man realisieren will und unter Berücksichtigung des Aufwands bei der Kühlung und der Stromkosten, können sie teils schon jetzt bei der TCO vorne landen. Das ist auf jeden Fall der nächste große Angriff der SSDs, da werden sie die HDDs als nächstes verdrängen.

Und bisher kann ich über die neue He6 nicht meckern: Produktion JUN14 und die hat den kompletten Sektoren-Test überlebt. Im Moment liegt eine Test-Freigabe drauf. Leider ist bereits jetzt die Gigabit-LAN-Verbindung der Flaschenhals - aber das ist ein anderes Thema.

Ja leider, das ist extrem ärgerlich denn jeder bessere NAS und jeder bessere Homeserver wird davon schon begrenzt. Nur solange 10Gbit Ethernet alleine in der Enterprise Welt eine Rolle spielt, werden die Preise nicht fallen, dabei braucht man bis 55mm nicht einmal Cat6 Kabel. Es gab mal Gerücht für die Intel Skylake würde 10Gibt kommen, zuletzt ist es darum aber ruhig geworden. Solange es aber nicht in den Mainstream Chipsätzen sein wird, werden die Preise über die Komponenten wie Switches nicht fallen und bisher gehen die bei über 600 Euro los und die Karten bei 250€. Das ist für Heimanwender halt schlicht zu viel, obwohl heute der LAN Port schon der lahm Port des Boards geworden ist, USB, eSATA und TB sind deutlich schneller.

AMDs Seattle SoCs bekommen wohl 2 10Gbit Ports, aber das sind ARM Kern Server Chips, die nutzen wohl nur wenigen Heimanwendern etwas und bei x86ern sind es bei AMD ja mau aus.

von Linux-System jeglicher Art distanzieren muss. Ich habe sie immer wieder über getestet.

Aber ein SW-RAID unter LINUX ist ungleich performanter als eines unter Windows, dass sollte man schon bedenken.

 

[ML89]

Ach, schauen wir mal, wo das hinführt.
Ich komme mit Linux einfach nicht zurecht. Das ist wie mit der Frage ob Nikon oder Canon - beide sind ungefähr das, was eine WD Red für den Server-Admin sind. Mein Server läuft mit Windows Server 2012R2, DNS, AD DS und HTCP sind eingerichtet und laufen. Und ich muss sagen, das ist schon geil wenn das Netzwerk soweit läuft. Das mit der 10Gbit Ethernet-Technik ist alles schön und gut, aber für mich privat etwas schwer zu rechtfertigen und umzusetzen - noch. Ich denke sobald 10Gb Ethernet genau so verbreitet ist wie ein guter Gigabit-Port vom Intel Chipsatz ist die Diskussion eh gegessen. Im Moment muss ich erstmal gucken, dass ich die vorhandenen Möglichkeiten nutze. Ein professioneller LAN-Controller in meiner Workstation, NIC Teaming im Server und ein neuer größerer Switch für Adaptiven Lstenausgleich oder gar Link Aggregation stehen an. Man hatte mir hier im Forum vor einem Monat zu einem kleinen 8x Switch geraten. jetzt überlege ich die Anschaffung eines 18er managed Switch

 

[Holt]

Ich denke sobald 10Gb Ethernet genau so verbreitet ist wie ein guter Gigabit-Port vom Intel Chipsatz ist die Diskussion eh gegessen.

Wenn es denn mal kommt, noch ist es ja nicht in Sicht, daher sind die Preise so wie sie sind und keine Karte kostet so viel wie ein besser ausgestattetes Mainboard und ein Switch so viel, wie bei manchen der ganze Rechner, weil es einfach kein Mainstream sondern immer noch reine Enterprise HW hat.

ein neuer größerer Switch für Adaptiven Lstenausgleich oder gar Link Aggregation stehen an. Man hatte mir hier im Forum vor einem Monat zu einem kleinen 8x Switch geraten. jetzt überlege ich die Anschaffung eines 18er managed Switch

Siehst Du, Link Aggregation um doch mehr als ein Gbit zu bekommen, aber das ist auch nicht optimal, da nicht alle Protokolle das auch nutzen können und bei einer Verbindung hast Du dann u.U. doch nur einen der Links in Benutzung und könntest dann halt mit einer anderen Verbindung den zweiten nutzen, aber das ist gerade das, was man Zuhause nun ja nicht will, da will man ja die Geschwindigkeit für eine Verbindung erhöhen.

Je mehr sich NAS und Heimserver verbreiten, umso dringender wird es, dass endlich mal wieder die Geschwindigkeit der LANs im Heimanwenderbereich ansteigt.

 

[Bogeyman]

Eine Diskussion würde ich das leider nicht nennen, da Bogeyman sich alle Fakten verschließt und offenbar entweder nicht gewillt oder in der Lage ist über Consumer HDD mit einer UBER von 1:10^14 hinaus zu blicken und offenbar auch nicht weiß, dass mehr HDDs auch mehr Kosten für die nötige Infrastruktur verursachen.

Ja warscheinlich muss der Gute anbauen wenn er jetzt 1-2Festplatten mehr einsetzt. Dass man auch über 200euro pro Platte sparen würde verschweigt man auch besser weil sonst die Argumentation nicht aufgeht.

Um das ganze herunterzubrechen mein Rat lautet besser günstigere Platten zu nehmen und dafür mehr Redundanz.

Ich sehe keinen Sinn hier bei den 450euro Festplatten und das Raid5 ist bei hohen Anzahl UND sehr großen Platten ne sehr riskante Sache (Praxis).

Mein Server läuft mit Windows Server 2012R2

Bei Windows 2012R2 gibts auch noch die Storage Spaces welches zusammen mit ReFS ähnliche Eigenschaften wie ZFS haben. ZFS gehört zwar nicht zu den schnellsten aber sichersten Dateisystemen weil die Fehlererkennungen darüber hinaus gehen was klassisches Raid bietet.
Zumal spart man noch das Geld für einen Raid5/6 Controller. Würde zu ZFS raten aber das gibts nur unter Linux, FreeBSD, Solaris etc. Aber nicht Windows, daher fällt es wohl raus.

Klassisches Raid wird früher oder später eh aussterben weil man es nicht mehr braucht sobald die Dateisysteme direkt mit mehreren Platten umgehen können weil der Volume Manager gleich mit integriert ist.

Primär möchte ich mich aber gegen einen Lesefehler beim Rebuild schützen.

Dann kannst du Platten mit ner höheren UBER einsetzen oder einfach für mehr Redundanz sorgen. Das kannst du dir ja selber ausrechnen was billiger kommt.
Mehr Redundanz schützt dich darüber hinaus auch noch vor einem totalen Festplatten Ausfall, sprich vor verschiedenen Fehlern.

Mit doppelter Parität kann dir eine Platte komplett ausfallen und ne andere kann auch noch nen Lesefehler beim Rebuild erzeugen und es ist dennoch noch alles in Butter.

Du kannst das ganze auch kombinieren, doch bevor ich teurere Platten kaufen würde, würd ich vorher von Raid5 auf 6 gehen. Will man dann noch mehr Sicherheit DANN würde ich solche teuren Platten mit höherer UBER in Betracht ziehen.

Zumal ich die Rechnung gern sehen würde dass die eine Platte mehr das Budget jetzt komplett sprengen würde. Durch Consumer Platten würde man nämlich erst einmal mehrere 100euro in dem Fall sparen sodass man eh günstiger weg käm weil die He6 verdammt teuer ist.

dass mehr HDDs auch mehr Kosten für die nötige Infrastruktur verursachen.

Mal angenommen er muss 2 Festplatten mehr unterbringen spart aber dafür 200euro PRO Festplatte. Soll am Ende dennoch mehr Geld kosten? Ahhhjaa wenn du glaubst.

Und der wird mich immer ereilen. Selbst wenn ich ein RAID1 aus WD REDs schalte und da eine verreckt muss der Inhalt der anderen gelesen werden und hier treffe ich wieder auf meine 10^-14 oder besser gesagt 50% Fehlerwahrscheinlichkeit. Glaubt mir, ich habe dieses Schlupfloch gesucht.

Beim Raid1 wenn es degraded ist muss aber nur eine Platte komplett Fehlerfreie Daten liefern. Beim degraded Raid5 aber alle übrigen. Wenn du 6 Platten hattest dann sind das also 5 die komplett ohne Fehler Daten liefern müssen.
Beim Raid6, bzw RaidZ2 (ZFS) können dennoch weitere Fehler auftreten ohne dass etwas in Gefahr ist. Es könnten sogar alle Platten irgendwo einen Fehler ausgeben solange es nicht zufällig an der gleichen Stelle ist käme ZFS hiermit ebenso klar.

Bei Storage Spaces sollte das ähnlich sein.

Wie sieht denn das Backup aus? Falls es kein Backup gibt würde es ebenso dafür sprechen auf mehr Redundanz zu gehen.

Sehe so ganz nicht den Sinn wieso du locker 200euro mehr PRO Platte ausgibst, anstatt einfach eine mehr zu kaufen.

Zur Not kannste auch den Taschenrechner anwerfen und dir selber ausrechnen was nun sicherer ist: Höhere UBER oder stattdessen eine Platte als Redundanz mehr

 

[ML89]

Fangen wir von vorne an.

In das Gehäuse kriege ich 5 3,5" Platten. Es war nicht ganz einfach ein kleines Gehäuse mit möglichst vielen 3,5" Schächten zu finden. Ich hatte vorher das Node von Fractal Design 804. Das war ein absoluter Fehlgriff, weil dort die Festplatten wie Räuchergut von der Decke hingen - das war mir zu blöde. Zu den 5 3,5" Platten bekomme ich noch eine 2,5" Platte für das Betriebsystem unter.

Dann war die Frage nach dem Board - es sollte aktuelle Technik sein und möglichst viele SATA-Anschlüsse direkt am Chipsatz bieten. Die Wahl fiel auf das Asus H87M-Pro. Befeuert wird das System von inem Pentium. Minimaler Takt: 0,8Ghz, maximaler Taakt 3,2Ghz. 8 Gb RAM.

Alle Überlegungen zur Auswahl der Festplatten habe ich hier in diesem Fred beschrieben. Egal wie man es macht, wenn eine 6TB-Platte ausfällt und die Daten wiederheregestellt werden müssen, habe ich im schlechtesten Fall zu 50% die Chance eines Lesefehleres bei der Widerherstellung des RAIDs. Dabei ist es dem System egal, ob ich ein RAID5, RAID6 oder RAID10 einsetze. Die einzige Möglichkeit wäre kleinere Platten einzusetzen, aber da komme ich nicht weit genug. Die He6 bietet mir auf einen Schlag eine 10x geringere UBER.

Dein Mehr an Festplatten macht also kaum Sinn, denn bei gleicher UBER aller Platten wird mich dieser Fehler immer ereilen. Weiterhin müsste ich, um ein RAID6 zu schalten einen RAID-Controller einsetzen. Der kostet halt auch extra: 350€ für 4, 500€ für 8 Platten. Letzteren kann ich kaum ausnutzen. Jetzt ist selbstverständlich die Frage gerechtfertigt, warum ich kein dickeres Gehäuse einsetze. Der "Server" war als eine Alternative zu einem NAS mit 4 Festplatten entwickelt, denn bei den Kosten der Hardware bin ich kaum teurer als ein solches NAS und kann sogar bis zu 6 Festpkatten einsetzen. Mit so Spielereein wie der Plextor M6e wäre das auch drin. Das Betriebsystem kriege ich gratis, das muss ich hier unfairerweise nicht auf der Kosten-Seite aufführen - das liegt voll auf der Haben-Seite.

Die WD Reds bewegen sich auf dem Niveau der Green und unterscheiden sich am deutlichsten in der Firmware. Diese ist auf die Anforderungen der NAS ausgelegt. Ansonsten sind die auch preislich recht nah bei einander. Dann gibt es da ja noch die WD Red pro, die bieten auch leider nur eine UBER von 10^-14, skalieren aber preislich in Richtung der He6.
Und dann gibt es da ja auch noch den schönen Test von AnandTech, wo das RAID5 bei den WD Reds auseiannder fliegt. Warum soll ich dann meine Daten diesen Platten anvertrauen. ACHTUNG AUTO-VERGLEICH Du setzt dich ja auch nicht in ein Auto, dass der Crashtest nicht besteht.

 

[Onkelhitman]

Ich sehe hier immer noch nichts Ganzes. Der "Server" ist doch für die Sicherung der Daten, die Daten selbst liegen woanders.

Wofür dann generell ein Raid? Einfach Einzelfestplatten nutzen.

 

[ML89]

Ich fange doch nicht an meine Daten auf einzelne Festplatten zu verstreuen. Nachher fällt eine aus und ich spiele russiches Roulette, ob meine FEM-Berechnungen oder Bilder weg sind? Dem könnte ich durch eine Spiegelung (RAID1 oder Software) entgehen, dann könnte ich aber maximal 2 Laufwerke realisieren. Ausnutzung der Festplattenkapazität läge bei 50%. Außerdem ist das etwas unflexibel was die Ausnutzung des Speichers angeht. Wahrscheinlich kriege ich die 6TB eher mit FEM-Berechnungen voll als mit Bildern. Sprich die Verteilung der Daten ist nicht identisch.

 

[Onkelhitman]

Wo liegen denn deine Daten jetzt? (nicht die Sicherung)

 

[Bogeyman]

Dabei ist es dem System egal, ob ich ein RAID5, RAID6 oder RAID10 einsetze.

Nein eben nicht, weil ein Raid6 die Fehler kompensieren könnte. Ein Raid6 schützt dich obwohl eine Platte ausgefallen ist. Ein Raid5 aber nicht mehr.

Weiterhin müsste ich, um ein RAID6 zu schalten einen RAID-Controller einsetzen. Der kostet halt auch extra: 350€ für 4, 500€ für 8 Platten.

Wieso nutzt du nicht Storage Spaces? Erstens wäre es gratis, zweitens gehen die Möglichkeiten über das heraus was ein Hardware-Raid-Controller dir bieten kann.

Nen gescheiter Controller ohne Raid5/6 Fähigkeiten kostet vlt ca. 100euro. Dazu könntest du die Reds einsetzen. Im Vergleich zu den He6 kommst du da deutlich billiger weg.

Dein Mehr an Festplatten macht also kaum Sinn, denn bei gleicher UBER aller Platten wird mich dieser Fehler immer ereilen

Du siehst es falsch. Klar wird dich der Fehler immer ereilen irgendwann, nur kann mehr Redundanz den Fehler eben korrigieren. Dein Raid5 kann das aber nicht wenn bereits eine Festplatte ausgestiegen ist weil es keine Kopie mehr gibt.

Und dann gibt es da ja auch noch den schönen Test von AnandTech, wo das RAID5 bei den WD Reds auseiannder fliegt

Und? Das ist ungefähr genauso schlau wie zu sagen ich kaufe nicht mehr Hersteller xy, weil bei nem Kumpel letztens son ne Platte abgeraucht ist.

Das einzige was du wirklich investieren müsstest wäre also im Endeffekt nen größeres Gehäuse und nen HBA falls die Sata Ports nicht ausreichen und du Storage Spaces benutzt, was ich in dem Fall machen würde. Teurer wird das nicht da du Unmengen an Kohle bei den Festplatten selbst sparst.

Ansonsten wäre Server Hardware beim Board und ECC Ram auch nicht verkehrt, aber das muss man selber wissen. Mein Server besteht aus nem Server Board und ECC Ram. "Consumer" Festplatten deshalb weil ZFS eh jeden Fehler erkennt auf den Festplatten da es für jeden Block Prüfsummen benutzt. Werd aber auch auf Storage Spaces umsteigen warscheinlich.

 

[Holt]

Fangen wir von vorne an.

Uff, muss das sein?

In das Gehäuse kriege ich 5 3,5" Platten.

Gut, da gehen also maximal 30TB Brutto, 24TB bei RAID5 oder 18TB bei RAID 6. Wie viele brauchst oder möchtest Du denn?

Es war nicht ganz einfach ein kleines Gehäuse mit möglichst vielen 3,5" Schächten zu finden.

Ja leider, die Heimserver als NAS Ersatz Selbstbauer sind offenbar eine zu kleine Zielgruppe, als das die Gehäusehersteller sie schon entdeckt hätten

Ich hatte vorher das Node von Fractal Design 804. Das war ein absoluter Fehlgriff, weil dort die Festplatten wie Räuchergut von der Decke hingen - das war mir zu blöde.

Hast Du das ausprobiert? Gab es da praktische Probleme, etwa mit den Temperaturen oder Vibrationen?

Die Wahl fiel auf das Asus H87M-Pro. Befeuert wird das System von inem Pentium. Minimaler Takt: 0,8Ghz, maximaler Taakt 3,2Ghz. 8 Gb RAM.

Das Board hast Du also schon? Da hätte ich aber ein Xeon Board genommen, denn ECC ist mir im Storage Server schon wichtig, zumal das RAM ja als Cache verwendet wird und es Studien gibt, nach denen bis zu ein gekipptes Bit pro GB pro Tag vorkommen kann, je nach Umwelteinflüssen. Lass es ein Zehntel sein und Du hast bei 8GB immer noch fast einen Bitfehler pro Tag und wenn da vor allem die gecahten Daten im RAM liegen, die da ja stundenlang drin bleiben können wenn sie nicht verdrängt werden, bekommst Du Dateien mit Bitfehlern geliefert und merkst es u.U. gar nicht. Da wäre ich wirklich vorsichtig, professionelle HW setzt nnicht umsonst nur ECC RAM ein.

Dein Mehr an Festplatten macht also kaum Sinn, denn bei gleicher UBER aller Platten wird mich dieser Fehler immer ereilen.

Ein RAID6 schützt schon besser, aber es braucht eine weitere Platte, ergo ein größeres Gehäuse oder weniger Nutzkapazität und:

Weiterhin müsste ich, um ein RAID6 zu schalten einen RAID-Controller einsetzen. Der kostet halt auch extra: 350€ für 4, 500€ für 8 Platten.

Das kommt dazu, aber dafür könntet Du dann z.B. die günstigere WD Red nehmen: Die Rechnung sehe dann so aus:
5* HGST Ultrastar He6 6TB ab 425€ = 2060€
oder
6 * WD Red 6TB ab 237€ = 1422€
1 * RAID Controller für den Du ein Budget von über 600€ hättest.

Bei der UBER von 1:10^15 ist die kritische Grenze 120TB, mit 4*6TB = 24TB bei einem Rebuild liegst Du weit darunter. Ein RAID 6 hat vermutlich weit bessere Chance auf ein Rebuild wenn nur eine Platte ausgefallen ist und 2 ausgefallenen Platten sind Chance auf ein erfolgreiches Rebuild bei Platten mit 1:10^14 dann aber praktisch 0.

Die Frage die Du Dir beantworten musst ist als letztlich, wo Du eine Kompromiss eingehen will: Preis, Gehäusegröße und/oder Nutzkapazität. Mit 5 Platte in dem Gehäuse kannst Du mit He im RAID5 netto 24TB erreichen, mit der Red im RAID6 nur 18TB. Willst Du mehr als 18TB (unter Windows werden dann 16,4TB angezeigt, weil es ja dort TiB sind), dann musst Du entweder ein größeres Gehäuse nehmen um die 6. Red unterzubringen und dazu dann einen RAID Controller kaufen, sparst am Ende aber dann, wenn der unter den etwa 600€ bleibt, die die He Dich mehr kosten würden.

Die WD Reds ... bieten auch leider nur eine UBER von 10^-14, skalieren aber preislich in Richtung der He6.
Und dann gibt es da ja auch noch den schönen Test von AnandTech, wo das RAID5 bei den WD Reds auseiannder fliegt. Warum soll ich dann meine Daten diesen Platten anvertrauen. ACHTUNG AUTO-VERGLEICH Du setzt dich ja auch nicht in ein Auto, dass der Crashtest nicht besteht.

Richtig, die sollte man spätestens bei mehr als 3 Platte nur als RAID 6 nutzen und selbst bei 3 davon im RAID ist die Chance ist ein Rebuild theoretisch zum Scheitern verurteilt und praktisch ein Glücksspiel.

Das Anand entweder keine Ahnung von der UBER Problematik hat oder es nicht schreiben will um nicht WD bloßzustellen, denn würde wohl jedem klar werden stark eingeschränkt nutzbar eine 6TB NAS Platte mit so einer UBER von 1:10^14 in Wahrheit ist, finde ich persönlich schon traurig. Aber es ist bei Reviews ja nichts Neues und die Redaktionen wollen ja auch Samples von den Herstellern bekommen, da nimmt man dann eben schon mal Rücksicht.

Nein eben nicht, weil ein Raid6 die Fehler kompensieren könnte. Ein Raid6 schützt dich obwohl eine Platte ausgefallen ist. Ein Raid5 aber nicht mehr.

Richtig, die UBER Problematik wird damit auch massiv entschärft, da ja der Bitfehler einer Platte durch die von vorhandene Redundanz, bei Ausfall einer Platte ich ein RAID 6 ja immer noch wie ein RAID 5, ausgeglichen werden kann. Man müsste mal ausrechnen ab wann das dann auch an Grenzen stößt, aber das ist bei Kapazitäten die noch in ganz weiter Ferne liegen.

Wieso nutzt du nicht Storage Spaces? Erstens wäre es gratis, zweitens gehen die Möglichkeiten über das heraus was ein Hardware-Raid-Controller dir bieten kann.

Nach allem was ich bisher gesehen habe, war die Perfomance bei den Windows SW RAIDs immer sehr bescheiden. Wer man da auf Performance Wert legt, greift besser zu einem HW Controller.

Nen gescheiter Controller ohne Raid5/6 Fähigkeiten kostet vlt ca. 100euro.

Gebraucht ja, aber nicht neu, außer Du willst den bei einem Händler kaufen, der sich Spiel und Abenteuer nennt.

Dazu könntest du die Reds einsetzen. Im Vergleich zu den He6 kommst du da deutlich billiger weg.

Das ist richtig, aber dann hat er entweder weniger Nutzkapazität oder muss mehr Platten unterbringen, braucht also ein größeres Gehäuse, s.o.

Und? Das ist ungefähr genauso schlau wie zu sagen ich kaufe nicht mehr Hersteller xy, weil bei nem Kumpel letztens son ne Platte abgeraucht ist.

Nein, das ist ein systemisches Problem, welches Du aber noch immer nicht verstanden hast. Lies mal bitte hier und hier mehr darüber, damit wir und nicht weiter im Kreis drehen müssen. Anands Erfahrung in dem Test bestätigt nur die Richtigkeit dessen, was dort schon 2009 vorhergesagt wurde.

Ansonsten wäre Server Hardware beim Board und ECC Ram auch nicht verkehrt, aber das muss man selber wissen. Mein Server besteht aus nem Server Board und ECC Ram.

Meiner auch, das war auch ein klarer Grund warum ich mich Ende letzen Jahres für den HP N54L entschieden habe.

"Consumer" Festplatten deshalb weil ZFS eh jeden Fehler erkennt auf den Festplatten da es für jeden Block Prüfsummen benutzt.

ZFS unter Windows? Außerdem hat das nichts mit Consumer Festplatten zu tun, ob eine HDD nun eine Consumer oder eine Enterprise Platte ist, hängt ja nicht vom Filesystem ab.

 

[Bogeyman]

Nach allem was ich bisher gesehen habe, war die Perfomance bei den Windows SW RAIDs immer sehr bescheiden. Wer man da auf Performance Wert legt, greift besser zu einem HW Controller.

Wer allerdings auf Datensicherheit hohen Wert legt sollte eher Storage Spaces oder ZFS benutzen da es hier Prüfsummen gibt mit dem sämtliche fehlerhaften Daten die die Festplatten liefern erkannt werden kann und je nach konfiguration auch behoben werden können.

Ein "Softwareraid" wie ZFS/Storage Spaces KANN aber durchaus schneller sein da es den gesamten Ram benutzen kann den das System verbaut hat, die meisten Hardware Controller haben nur 256,512 oder 1024MB soweit ich informiert bin. Bei den meisten dümpelt Storage Space mit Partiy aber bei so 30MB/s ohne Cache vor sich hin schreibend. Man kann die Leistung aber steigern mit SSDs aber damit habe ich mich net beschäftigt weil ich sowas nicht brauche. ZFS kommt hier auf wesentlich bessere Werte, da hat MS wohl nen scheiß Algo, anders ist das nicht zu erklären.

Das ist richtig, aber dann hat er entweder weniger Nutzkapazität oder muss mehr Platten unterbringen, braucht also ein größeres Gehäuse, s.o.

Klar hatte ich ja auch net abgestritten. Ich würde halt nur eher diesen Weg gehen als über die höhere UBER.

Gebraucht ja, aber nicht neu, außer Du willst den bei einem Händler kaufen, der sich Spiel und Abenteuer nennt.

Ich denke auch Neu dürfte ein reiner HBA ohne Raidfähigkeiter preislich immer noch unter einem gescheiten Raid5/6 Controller liegen. Bei ZFS wird oft der IBM 1015 empfohlen, den gibts gebraucht für um die 100euro. Letztendlich aber wieder ne Glaubensfrage was man kauft bei festem Budget: Neue Hardware von irgendeinem Hersteller oder gebrauchte Markenserverzeugs. Würde in dem Fall eher zu der gescheiten Hardware auch wenn sie gebraucht ist greifen, aber nur meine Meinung.

Nein, das ist ein systemisches Problem, welches Du aber noch immer nicht verstanden hast. Lies mal bitte hier und hier mehr darüber, damit wir und nicht weiter im Kreis drehen müssen. Anands Erfahrung in dem Test bestätigt nur die Richtigkeit dessen, was dort schon 2009 vorhergesagt wurde.

Kenn ich schon. Es ist ja auch unbestritten dass die Warscheinlichkeit(!!) eines erfolgreichen Rebuilds mit den He6 höher sein wird als mit Consumer Platten. Die Warscheinlichkeit dass der Rebuild klappt kann man aber ebenso durch mehr Redundanz erhöhen, ich weiß nicht ob dem TE das bewusst ist.

ZFS unter Windows? Außerdem hat das nichts mit Consumer Festplatten zu tun, ob eine HDD nun eine Consumer oder eine Enterprise Platte ist, hängt ja nicht vom Filesystem ab.

Nein das nicht, aber es spricht doch wohl eher dafür auf ein modernes Filesystem zu setzen mit integrierten LVM.

Was der Raid5/6 Controller macht bei Bitfehlern, Bitrot etc keine Ahnung. Wird Herstellerspezifisch sein wie die damit umgehen.
Wenn er Raid5 mit ReFS einsetzt kann er Bitfehler aber erstmal nur erkennen nicht beheben weil die Storage Spaces ja nicht dadrunter sitzen sondern nur der Raid Controller.

Aber wenn du wirklich schon He6 Platten hast ist die Boardauswahl nen bisschen merkwürdig da kein ECC.

In das Gehäuse kriege ich 5 3,5" Platten.

Wenn das Gehäuse fix ist dann hängt es letztendlich bei dir. Entweder gehst du auf mehr Kapazität oder mehr Sicherheit. Bei Raid wird dir nix geschenkt, irgendein Vorteil geht immer mit nem anderen Nachteil einher.

Raid Controller kannste weglasen wenn du Storage Spaces einsetzt: Meiner Meinung nach ist das sicherer für die Daten als klassisches Raid. Nachteil wäre hier aber erstmal weniger Performance beim Schreiben und dass du nicht eine Festplatte nach der anderen hinzufügen kannst.

 

[Holt]

Wer allerdings auf Datensicherheit hohen Wert legt sollte eher Storage Spaces oder ZFS benutzen da es hier Prüfsummen gibt mit dem sämtliche fehlerhaften Daten die die Festplatten liefern erkannt werden kann und je nach konfiguration auch behoben werden können.

Was dann aber wieder Nutzkapazität kosten, weil es Redundanz eben nie umsonst gibt.

Ein "Softwareraid" wie ZFS/Storage Spaces KANN aber durchaus schneller sein da es den gesamten Ram benutzen kann den das System verbaut hat, die meisten Hardware Controller haben nur 256,512 oder 1024MB soweit ich informiert bin.

Gibt es ZFS unter Windows? Bei Linux mdadm RAIDs ist Performance kein Thema, mein HP N54L liest und schriebt das RAID 5 aus 5 WD Red 3TB an der SB intern mit über 500MB/s ohne den kleinen Athlon auch nur annähend auszulasten. Da begrenzt im Alltag nur das lahme Gigabit Ethernet, aber 10Gb ist noch viel zu teuer. Ja ich weiß, ich bin da auch am Limit was die Chancen auf ein Rebuild angeht, aber ich habe ja auch Backups und die Verfügbarkeit ist nicht die oberste Priorität.

Klar hatte ich ja auch net abgestritten. Ich würde halt nur eher diesen Weg gehen als über die höhere UBER.

Das muss er nun selbst entscheiden, die Vor- und Nachteile der beiden Lösungen sollten ihm ja jetzt hoffentlich klar sein.

Kenn ich schon. Es ist ja auch unbestritten dass die Warscheinlichkeit(!!) eines erfolgreichen Rebuilds mit den He6 höher sein wird als mit Consumer Platten. Die Warscheinlichkeit dass der Rebuild klappt kann man aber ebenso durch mehr Redundanz erhöhen, ich weiß nicht ob dem TE das bewusst ist.

Wunderbar, nach Deinen ersten Posts hier hatte ich nicht den Eindruck. Und natürlich sind es immer Wahrscheinlichkeiten und ebenso halten nicht alle Platte die Spezifikationen ein, erst recht wenn sie nicht gemäß den Herstellervorgaben verwendet werden, also bzgl. Temperatur, Nutzungsdauer, etc. Rechenzentren sind ja nicht umsonst voll klimatisiert mit Überwachung von Temperatur und Luftfeuchtigkeit, zumal HDDs sogar maximales Delta-T haben, sich also deren Temperatur meist nur um 20°C oder so pro Stunde ändern darf.

Wenn er Raid5 mit ReFS einsetzt kann er Bitfehler aber erstmal nur erkennen nicht beheben weil die Storage Spaces ja nicht dadrunter sitzen sondern nur der Raid Controller.

Erkennen tut man sie immer, wenn man sie nicht beheben kann und sie auch bei weiteren Versuchen wieder auftreten, dann sollte man sie schon beheben können, wenn man nicht will, das man aufs Backup zurückgreifen muss.

 

[Bogeyman]

Erkennen tut man sie immer, wenn man sie nicht beheben kann und sie auch bei weiteren Versuchen wieder auftreten, dann sollte man sie schon beheben können, wenn man nicht will, das man aufs Backup zurückgreifen muss.

Ohne Prüfsummen hat das Dateisystem keine Chance einzelne Bitdreher zu erkennen. Das merkt man dann erst wenn man die JPG Datei öffnen und das Bild nen Fehler hat.

Klassisches Raid ist soweit ich weiß "dumm". Sprich es wird erst auf den Spiegel zugriffen wenn eine Platte gar keine Daten liefert. Zumindest war es früher so dass bei einem Raid1 es keine Chance gab um sagen zu können auf welcher Platte nun die richtigen und wo die falschen Daten sind wenn sie nicht komplett identisch waren. Das geht nur mit Prüfsummen.

Gibt es ZFS unter Windows? Bei Linux mdadm RAIDs ist Performance kein Thema, mein HP N54L liest und schriebt das RAID 5 aus 5 WD Red 3TB an der SB intern mit über 500MB/s ohne den kleinen Athlon auch nur annähend auszulasten. Da begrenzt im Alltag nur das lahme Gigabit Ethernet, aber 10Gb ist noch viel zu teuer. Ja ich weiß, ich bin da auch am Limit was die Chancen auf ein Rebuild angeht, aber ich habe ja auch Backups und die Verfügbarkeit ist nicht die oberste Priorität.

Nein es gibt leider kein Weg ZFS unter WIndows zu nutzen. MS hat einfach nen Scheiß algo, überall geht die Parity Berechnung schneller, sei es bei Linux Raid oder ZFS.

Selbst nen Windows Software Raid 5 ist genauso lahm wie jetzt die Storage Spaces mit Partiy.

Also generell ist nen Software Raid 5 oder RaidZ1 (ZFS) nicht lahm, nur unter Windows ist es lahm.
Ich habe den kleinen N36L und 3 x 3TB mit ZFS RaidZ1. Weiß die Werte beim Schreiben nicht mehr auswending aber sie lagen deutlich über Gbit Niveau. Etwas unter Software Raid5 Performance werden sie aber immer liegen weil die Prüfsummen berechnet werden und das ja auch nicht zum Nulltarif geschieht.

Da ZFS auch allen freien Ram benutzt für Lese und Schreibcache kann man hier teilweise auch auf richtig hohe Werte kommen beim Benchen wenn die Dateien nur klein genug sind sodass sie in den Ram passen.
Vielleicht schafft es Microsoft irgendwann mal ähnliche Features zu integrieren. Manches geht schon aber nicht alles. Es gibt zB noch kein richtigen Readcache wo oft angefragte Blöcke in den Ram kopiert werden.

 

[ML89]

Der Aufbau passt schon. Ich schicke auch 20GB in den non-ECC RAM meiner Workstation und am Ende kommen bunte Bildchen raus. Mal alles nicht dramatisieren.

Die He6 gefällt mir an sich sehr gut, werde wahrscheinlich weiter auf sie setzen.
Wie ihr schon richtig vermutet hattet, wäre jetzt die Frage, ob ich ein Software-RAID5 oder ein Hardware RAID schalte. Das werde ich entscheiden, bis ich die Mindestmenge von 3 Platten zusammen habe.

@Holt: Bitte richtig zitieren und nur die unwichtigen Stellen Streichen. Da oben stand WD Red pro.