SED (self encrypting drives) mit RAID 5 betreiben?

[Rick7]

Hallo liebe CBler,

ich bin auf das Thema SED (self encrypting drives / Selbstverschlüsselnde Festplatten) gestoßen und finde das recht interessant, hierzu frage ich mich aber 2 Dinge:

1) Wie oder wo gibt man bitte das Passwort für die Festplatte ein? Ist das ähnlich wie bei diesen USB-Sticks, die man mountet und per Autostart-Software kommt dann eine Eingabe-Maske? Es geht wahrscheinlich Richtung Seagate (wie die ST3000DM002).

2) Wenn ich nun 5 Platten in einem RAID 5 Gehäuse oder an einem RAID 5 Controller betreibe, wie funktioniert dann die Verschlüsselung? Die Ver- und Entschlüsselung müsste dann ja theoretisch stattfinden, bevor die Platten dann als ein Laufwerk in Windows angezeigt werden. Oder denke ich hier falsch?
Falls es doch geht, komme ich wieder auf 1) Wie / wo gebe ich denn das Passwort ein, wenn Windows durch das RAID 5 nur ein Laufwerk kennt, wird die Ver- und Entschlüsselung dann direkt auf die "RAW"-Volumes angewendet? Was macht dann das Hardware RAID?

3) Treiben wir das ganze auf die Spitze: Das (eine) Laufwerk wird nun zusätzlich in Windows (nach dem mounten) per Software (TrueCrypt / BitLocker) verschlüsselt. Würde das funktionieren?

Freue mich auf eure Hilfe

Danke & Gruß
Rick

 

[xexex]

1. Im Bios/UEFI
2. Übernimmt der Raidcontroller, wenn er sowas unterstützt. Ist von Controller zu Controller unterschiedlich.
https://docs.broadcom.com/docs/12352176
3. Der Festplatte ist es egal was auf sie gespeichert wird. Das sind zwei komplett verschiedene Layer.

 

[Rick7]

@xexex: Danke dir, aber wie bekomme ich das raus, ob der Controller das unterstützt? Ich verwende für einen anderen Zweck demnächst die Sharkoon 5-Bay RAID Station, die hat als Controller/Chip folgendes verbaut: JMicron JMB394, JMB 539B
Was muss der Controller denn dann genau beherschen?

Ich habe folgendes zu dem Controller/Chip finden können:

JMB394 Spec:
Feature
Compliance
– Compliant with Serial ATA II Port Multiplier Spec. Revision 1.1
– Compliant with Serial ATA II PHY Electrical Spec. Revision 1.0
– Compliant with Serial ATA High Speed Serialized AT Attachment Spec. Revision 2.5

General
– Integrated 6-port SATA II PHY
– Integrated PLL for SATA II interface
– Total six independent SATA channel
– Integrated uP, PROM and SRAM for firmware programming
– Integrated high performance RAID storage processor
– Fabricated in 0.13um CMOS Standard Logic Process
– 1.3V core and 3.3V I/O power supply
– Available in 100-pin LQFP package

SATA
– Supports 6-port 3.0Gbps SATA II interface
– Supports SATA II Gen2i and Gen2m (External SATA Connection, eSATA)
– Output swing control and automatic impedance calibration for SATA II PHY
– Supports asynchronous signal recovery
– Supports spread spectrum clocking
– Supports partial / slumber power saving mode
– Automatically speed negotiation for 3 Gbps or 1.5 Gbps
– Supports BIST and loopback mode
– Supports staggered spin-up
– Supports 48-bit LBA addressing
– Supports ATAPI drives
– Supports Native Command Queue (NCQ)
– Supports Hot-Plug
– Supports Asynchronous Notification
– Supports PM aware and non-PM aware host

RAID
– Fully hardware-accelerated RAID Engine
– No driver, BIOS or software required for RAID operation
– No external DRAM or processor required for RAID operation
– Independent of device SATA port connection sequence
– Supports RAID levels: 0 / 1 / 3 / 5 / 10 / JBOD / CLONE
– RAID 3 / 5 write-back cache to enhance performance
– SATA In-band application interface
– Supports more than 2Tera Bytes RAID drive
– Supports on-line read data integrity check
– Supports on-line command based bad sector recovery
– Supports on-line Auto-Rebuild
– Rebuild speed: 200GB/hour
– Rebuild proceed continuously between power cycling
– Supports Hot Spare on RAID
– Supports various RAID configuration and monitoring method

GPIO
– Supports 32 GPIOs
– Supports I2C interface
– Supports ISA interface
– Supports SPI interface
– Supports LED indicators
– Supports LCD panel
– Supports dual external firmware protection

Application
– RAID Subsystem
– NAS Servers
– Backup Systems
– Disk Clone Systems
– Serial ATA Enclosures
– Large Capacity & High Performance Solid State Drive
– Very Large Capacity Disk Systems
– SATA Ports Expander

 

[Holt]

Diese Billigcontroller von JMicron dürften sowas nicht unterstützen und nimm auch keine ST3000DM002 um 5 davon in einem RAID zu betreiben, schon gar nicht an einem HW RAID Controller, dafür sind die nicht gemacht und nicht geeignet, denn die haben kein ERC/TLER. Mache eine SW Verschlüsselung und denke an das Backup der wichtigen Daten!

 

[Rick7]

Das Gehäuse war jetzt nur ein Beispiel, da ich dieses bereits in Zukunft einsetzen werde. Bin eher allgemein auf der Suche nach einer Möglichkeit SED-Platten in einem RAID 5 zu betreiben (müssen auch nicht gleich 5 sein ). Mein Problem ist halt, dass ich nicht weiß wonach ich da genau schauen muss. Ob nun RAID-Controller als Karte oder als Gehäuse ist im Prinzip egal, würde die Karte aber bevorzugen.

Was hat ERC/TLER denn jetzt speziell mit den SED-Platten zu tun? Oder meintest du ganz allgemein, dass dem JMicron diese Fähigkeit für ein "sauberes" RAID 5 fehlt?

SW Verschlüsselung habe ich eh, und würde ich vermutlich sogar lassen (doppelt hält besser). Backup meiner wichtigen Daten mache ich eh unabhängig vom RAID

 

[xexex]

Der Punkt an der Sache ist, wieso unbedingt Raid5? Es ist die schlechteste Art mehrere Laufwerke zu einer Einheit zusammen zu fassen.

Was hast du vor? Ein eigenes NAS zu bauen? Welches OS willst du einsetzen?

 

[Holt]

ERC/TLER hat nichts mit SED zu tun, aber mit einem HW-RAID!

xexex, wieso sollte ein RAID 5 die schlechteste Art sein? Es hängt doch von den gewählten Platten und der RAID Lösung ab ob ein RAID 5 praktikabel ist.

 

[xexex]

Ganz einfach.

Wer BRAUCHT als Privatnutzer ein Raid5 Verbund wenn es heutzutage Platten bis zu 10TB gibt?

Raid5 ist ein Datenträgerverbund mit Parität und hat einen entscheidenden Nachteil bei den heutigen Laufwerkskapazitäten - das schlechte Verhältnis von Kapazität zur Schnittstellengeschwindigkeit. Du erwähnst das Problem ja selbst, die Wahrscheinlichkeit das während des Rebuilds ein Problem entsteht ist hoch, ein Rebuild von Platten >4TB dauert je nach Controller einen ganzen Tag und hat in einem PC nichts zu suchen.

Im professionellen Umfeld setzt man deshalb schon lange auf Raid6, wobei es das eigentliche Problem nicht löst. Dort arbeitet man aber häufig auch mit anderen Kapazität zu Leistungswerten. Ein Raid aus schnellen 1TB Laufwerken mit 12GB SAS Schnittstelle verhält sich wesentlich problemloser als 8TB Laufwerke mit Sata600.

Im privaten Umfeld fährt man mit Raid1, Raid10 oder mit Lösungen wie Storage Spaces wesentlich besser. Unter Windows 10 würde ich immer zu der Storage Spaces Lösung greifen. Wobei man sich immer die wichtigste Frage als erster stellen sollte - WOFÜR überhaupt ein Raid? Eine Datensicherung ersetzt es nicht! Mehr als 10TB auf einer Partition brauchen nur wenige und man handelt sich häufig Probleme ein, die man ohne Raid nicht hätte.

Die wichtigsten Argumente für ein Raid System sind doch heutzutage allesamt überlebt. Will ich mehr Leistung nehme ich eine PCIe Karte. Will ich mehr Kapazität nehme ich eine größere Festplatte. Ein Raid5 aus 3x3TB Festplatten ist reiner Blödsinn.

 

[Rick7]

@xexex:

wieso unbedingt Raid5?

Weil für meine Situation RAID 5 perfekt ist: Möglichst viel Platz, möglichst günstig, ein "wenig" Sicherheit.
Ich speichere hier keine Daten die ich zu 100% benötige, sollten alle Daten weg sein wäre es zwar schade aber nicht der Untergang, denn die könnte ich mit viel Arbeit wieder beschaffen. Wichtige Daten werden unabhängig vom RAID gesondert als Backup gespeichert. Darüber hinaus läuft das System nicht im 24/7 Betrieb sondern ca. 2 Stunden am Tag.

Fällt eine Platte aus, habe ich nach wie vor meine Daten, fällt mehr als eine gleichzeitig oder während des Rebuilds aus, ist das dann halt so, ich denke die Wahrscheinlichkeit liegt irgendwo da, wo ich mir Sorgen machen müsste ob mir nicht gleich ein NASA-Satellit auf den Kopf fällt

Was hast du vor? Ein eigenes NAS zu bauen? Welches OS willst du einsetzen?

Ja NAS und Win7, das hat aber eigentlich nichts mit meiner Frage zu tun, da es hier nur um die Hardware geht (SED-Platten und Hardware RAID 5).

Ein Raid5 aus 3x3TB Festplatten ist reiner Blödsinn

Wer sagt denn was von 3x3TB??? Ich nutze wenn dann 5x3TB. Und ich habe nie gesagt, dass ich damit nur meine Kapazität erweitern möchte, sonst hätte ich mir ne 16 TB Platte eingebaut oder 8x8 TB im Verbund (JBOD & Co), mir geht es darum, dass eine Platte ausfallen darf, nicht mehr, nicht weniger.
Und selbst wenn 3x3 TB:
RAID 5: 3x3 TB = 6 TB Netto, 1/3 Platten "darf" ausfallen.
RAID 1: 4x3 TB = 6 TB Netto, 2/4 Platten "dürfen" ausfallen, allerdings nicht die zusammenhängenden (theoretisch Chance 33%, dass [wenn] eine zusammenhängende Platte ausfällt).
Was ist günstiger?

Auch wenn ich mich jetzt hierauf eingelassen habe, meine Frage war nicht ob RAID 5 sinnvoll ist, denn die Frage habe ich für mich schon vor vielen Jahren und auch heute (kann ja immer mal was neues / besseres kommen) immer wieder mit "Ja" beantwortet

@Holt: Okay, das dachte ich mir schon, aber zurück zu meiner Frage: Wie/Wo finde ich einen passenden RAID 5 Controller, wenn ich die SED-Funktion (unabhängig von einer SW-Verschlüsselung) gerne nutzen möchte? Gibt es da eine spezielle Bezeichnung? Ein spezielles Protokoll? Eine spezielle Schnittstelle?

Danke euch.

 

[Holt]

Wer BRAUCHT als Privatnutzer ein Raid5 Verbund wenn es heutzutage Platten bis zu 10TB gibt?

Jeder der deutlich mehr als 10TB speichern möchte oder eben nicht bei jedem schwebenden Sektor, die können immer mal vorkommen und die Hersteller spezifizieren in Form der UBER wie oft man damit schlimmstenfalls rechnen muss, dann zum Backup greifen möchte, aber trotzdem ein sinnvolles Verhältnis zwischen Brutto- und Nettokapazität ansprecht.

Du erwähnst das Problem ja selbst, die Wahrscheinlichkeit das während des Rebuilds ein Problem entsteht ist hoch, ein Rebuild von Platten >4TB dauert je nach Controller einen ganzen Tag und hat in einem PC nichts zu suchen.

Wie hoch die theoretische Chance eines erfolgreichen Rebuilds ist, kann man anhand der UBER, der Kapazität und der Anzahl der Platten ausrechnen, die hängt auch nicht von der Zeit ab wie lange so ein Rebuild dauert. Bei fünf 10TB HDDs mit einer UBER von 1:10^15 im RAID liegt die Chance bei über 70%. Wären es hingegen 4TB HDDs mit einer UBER von nur 1:10^14, so liegt die theoretische Chance bei unter 20%, es kommt also mehr auf die UBER als auf die Kapazität und Anzahl (solange die im für Heimanwender üblichen Rahmen liegt) der Platten an. Selbst ein RAID 5 mit nur 3x3TB aber einer UBER von 1:10^14 hat mit 56% eine geringe Chance auf ein Rebuild als eines mit 5 zu 10TB aber einer UBER von 1:10^15, simple Aussagen wie "von Platten >4TB" sind also wenig hilfreich.

Im professionellen Umfeld setzt man deshalb schon lange auf Raid6, wobei es das eigentliche Problem nicht löst.

Was ist denn das eigentlich Problem? Bei einem RAID 6 bei dem nur einer HDD ausgefallen ist, verhält es sich wie bei einem RAID 5 und damit hat man erst ein Problem wenn beim Rebuild bei zwei Platten ein Fehler auftritt, was schon wenig wahrscheinlich ist und das auch noch an der genau gleichen Stelle, was extrem unwahrscheinlich ist, sofern die nicht gerade alle HDDs im RAID am abnippeln sind, dann ist es aber auch schon fast egal ob das Rebuild noch klappt

Dort arbeitet man aber häufig auch mit anderen Kapazität zu Leistungswerten. Ein Raid aus schnellen 1TB Laufwerken mit 12GB SAS Schnittstelle verhält sich wesentlich problemloser als 8TB Laufwerke mit Sata600.

Meinst Du 10rpm HDDs? In der Enterprise Klassen funktionieren RAID ganz anders, da formatiert man die HDDs mit 520 oder 528 Byte pro Sektor und der Controller schreibt in die zusätzlichen Sektoren eine eigene ECC rein, der steuert die HDDs dann so an, dass sie ihm die Daten immer liefern, egal ob sie korrekt gelesen wurden oder nicht und prüft dies anhand seiner eigenen ECC selbst um sofort reagieren zu können, wenn die Daten fehlerhaft sind. Somit hat man die ganze TLER/ERC Problematik und die damit verbundenen Verzögerung bei Probleme einen Sektor zu lesen dann gar nicht. Waren die Daten nicht korrekt, werden sie sofort anhand der Daten der anderen Platten, also auch der Parity, rekonstruiert und der Sektor mit dem Fehler wird überschrieben.

SATA Platten erlauben es gar nicht sie mit einer anderen Sektorgröße zu formatieren (nicht mit der Clustergröße des Filesystems verwechseln!), daher geht das bei denen gar nicht und die versuchen eben bei Problemen einen Sektor doch noch erfolgreich zu lesen (also so, dass die Daten wenigstens mit der ECC dahinter korrigiert werden können) und geben dies irgendwann auf, wenn es nicht klappt. Dies machen alle Platten so, die mit TLER/ERC unterscheiden sich von den anderen nur darin, dass sie eben einen einstellbaren Timeout haben, man also bestimmen kann wie lange sie es versuchen und meist ist der ab Werk auch kürzer voreingestellt. Bei der WD Red müssten es 7s sein, bei der Green/Blue 14s. Die meisten HW RAID Controller warten aber nur 8s auf eine Antwort der Platte, dann müssen die Daten oder ein Lesefehler kommen, bei einem passiert das gleiche wie oben beschrieben, aber eben erst nach 8s, was für viel Anwendungen inakzeptabel wäre, etwa bei Datenbanken.

Kommt aber innerhalb der üblicherweise 8s die HW RAID Controller auf eine Antwort warten keine, so fliegt die Platten gewöhnlich aus dem RAID Verbund und wenn sie es dann doch noch geschafft hat in den letzten z.B. 6s die Daten korrekt zu lesen, hat man dort nicht einmal einen schwebenden Sektor und der Laie wundert sich, warum die Platte rausgeflogen ist. Daher sollte man nur passende HDDs mit TLER/ERC an HW RAID Controllern im RAID betreiben und RAID 0 ist sowieso kein RAID, da fehlt die Redundanz für die das R in RAID steht.

Im privaten Umfeld fährt man mit Raid1, Raid10 oder mit Lösungen wie Storage Spaces wesentlich besser.

RAID 1 oder 10 bedeuten, dass man nur 50% der Bruttokapazität nutzen kann und Storage Spaces, SnapRAID und Co. sind auch nichts anderes als ein SW RAID, da habe die meisten Probleme eines klassischen RAID genau, entweder Redundanz und meist mehr Performance weil wie RAID 1 oder RAID 10 funktioniert, oder mehr Nutzkapazität weil es wie RAID 5 oder 6 arbeitet.

WOFÜR überhaupt ein Raid?

Erstens um ein Volumen über mehrere Platten hinweg zu erstellen und zweitens um keine Probleme mit zuweilen eben nun einmal auftretenden Lesefehler und darauf resultierenden schwebenden Sektoren zu haben. Ist Dir schon mal aufgefallen, dass HDDs in RAID nie schwebenden Sektoren haben? Dies daher, weil nach einem Lesefehler der Sektor von jeder vernünftigen RAID Lösung wieder überschrieben wird, die Daten können ja aus der Redundanz rekonstruiert werden und man muss nicht zum Backup greifen.

Eine Datensicherung ersetzt es nicht!

Das ist korrekt, aber deswegen wird es ja nicht unnütz.

Mehr als 10TB auf einer Partition brauchen nur wenige und man handelt sich häufig Probleme ein, die man ohne Raid nicht hätte.

Wer was braucht, sollte man jedem selbst überlassen und wer sich Probleme einhandelt die er ohne ein RAID nicht hätte (dann hätte er aber andere), der hat sein RAID falsch geplant oder falsch realisiert, z.B. indem der ungeeignet HDDs verwendet hat.

Die wichtigsten Argumente für ein Raid System sind doch heutzutage allesamt überlebt.

Das sehe ich anders und mit mir praktisch jeder Enterprisenutzer, die haben alle immer noch RAID im Einsatz und dies aus guten Gründen und nicht aus Nostalgie.

Will ich mehr Leistung nehme ich eine PCIe Karte. Will ich mehr Kapazität nehme ich eine größere Festplatte.

Dann bitte eine 40TB HDD, ach ne, besser zwei, denn wenn ich mal einen Lesefehler haben, möchte ich nicht gleich das Backup rauskramen müssen, nur dann muss ich 80 TB Kaufen um 40TB zu nutzen, auch da nehmen ich doch lieber 5x10TB, die gibt es heute schon und packe die in ein RAID 5, da habe ich nur 50TB gekauft und kann auch 40TB nutzen.

Ein Raid5 aus 3x3TB Festplatten ist reiner Blödsinn.

Nicht unbedingt, wenn man nur 6TB braucht kann man so günstiger als mit 2x6TB im RAID 1 die gewünschte und aus oben genannten Gründen auch vorteilhafte Redundanz erzielen. Dir scheinen nur die Vorteile der Redundanz bei Storage nicht bewusst zu sein oder Du klammerst Du eben bewusst aus, aber HDDs arbeiten nun einmal nicht 100%ig fehlerfrei und Lesefehler sind in einem gewissen Rahmen eben normal. Wenn das Programm welches die Datei liest diese auch noch ignoriert, einfach weiterliest oder abbricht und so tut als wäre alles in Ordnung, dann hat man hinterher sogar noch eine korrupte Datei, dann ist die bösen HDD schuld, dabei geben die Hersteller ja eben auch an wie oft man mit sowas zu rechnen hat, bei einer UBER von 1:10^14 eben etwa alle 12TB gelesener Daten. Meist kommt es seltener dazu, aber darauf kann man auch nicht bauen.

 

[Rick7]

@Holt: Gut geschrieben

Wären es hingegen 4TB HDDs mit einer UBER von nur 1:10^14, so liegt die theoretische Chance bei unter 20%

Habe mal geschaut, meine alten Platten haben "Nicht korrigierbare Lesefehler pro gelesenem Bit, max." (das sollte ja UBER sein?): 1 pro 10E14. Sprich also 1:10^14.

Ich hoffe ich habe dich falsch verstanden:
Wenn (im Falle des RAID 5) jetzt 1/5 Festplatten (á 3 TB) ausfällt und ich die defekte Platte austausche, dann ist die Chance, dass das anschließende Rebuild erfolgreich ist nur 20%? Das heisst zu 80% Wahrscheinlichkeit klappt der Rebuild nicht und meine Daten sind weg? Dann würde das RAID ja kaum was bringen

 

[Holt]

fällt mehr als eine gleichzeitig oder während des Rebuilds aus, ist das dann halt so, ich denke die Wahrscheinlichkeit liegt irgendwo da, wo ich mir Sorgen machen müsste ob mir nicht gleich ein NASA-Satellit auf den Kopf fällt

Ein Bebuild scheitert in aller Regel schon wenn es nur einen Lesefehler gibt, die HDD muss gar nicht komplett ausfallen damit das in die Hose geht. Die Wahrscheinlichkeit ist wie gesagt bei einer UBER von 1:10^14 und die dürften Deine HDDs haben (1:10^15 haben in der Kapazität nur wenige Modelle die auch mehr kosten) einmal pro 12TB gelesener Daten gegeben. Es muss nicht sein, aber wenn es so oft auftritt, ist die HDD immer noch innerhalb ihrer Spezifikationen und wenn sie alt ist oder außerhalb der Spezifikationen betrieben wird, z.B. mit zu vielen anderen in einem Gehäuse, dann kann es auch öfter vorkommen. Du wirst es im laufenden RAID Betrieb meist gar nicht merken, aber beim Rebuild wir das relevant.

Eine 3TB mit einer UBER von 1:10^14 hat eine theoretische Chance von 0,75 einmal komplett fehlerfrei gelesen werden zu können. Fällt beim RAID 5 mit 5 davon einer aus und muss ein Rebuild gemacht werden, so müssen alle 4 verbleibenen HDDs fehlerfrei gelesen werden können, also ist die Chance dafür 0,75^4 = 0,316, also keine 32%. Die NASA muss sich um ihre Satelliten weniger Sorgen machen als Du.

Wie/Wo finde ich einen passenden RAID 5 Controller, wenn ich die SED-Funktion (unabhängig von einer SW-Verschlüsselung) gerne nutzen möchte?

Schau halt in die Datenblätter der Controller, beachte aber das diese Funktion sehr wahrscheinlich von der jeweiligen FW abhängt, wenn es also bei einem Modell angegeben ist, muss ein anderes es nicht haben, auch wenn es den gleichen Controller hat und die Platine baugleich ist. So ein Controller kann schnell mehr kosten als eine DAS Kisten mit den billigen JMicron Chips darin, dort ist das RAID ja nur eine Nebenfunktion des Port Multipliers.

Mit den Festplatten die Du hast bzw. dann vermutlich dazukaufen willst, bist Du aber einer von denen die sich mit einem RAID Probleme einhandeln die sie ohne nicht hätte, denn ich wette die sind für den Betrieb an einem HW RAID Controller denkbar ungeeignet. Anfangs geht es meist noch gut, aber wenn nach einiger Zeit die ersten Probleme auftreten, dann endet sowas meist schnell in der Katastrophe. Große Datenmengen einigermaßen sicher aufzubewahren, was noch nie billig und kostet weit mehr als nur die €/TB für die man die günstigsten HDDs bekommen kann, denn genau die taugen dafür eben nicht besonders gut. Es muss ja keine Enterprise HDD sein, die Seagate Ironwolf Reihe hat ab der 6TB auch eine UBER von 1:10^15 im Datenblatt stehen und ERC müsste sie auch haben. Außerdem sind die Ironwolf für bis zu 8 HDDs in einem Gehäuse zugelassen und haben ein Workload Rating von 180TB/Jahr, einfache Desktopplatten haben nur 55TB/Jahr und sind gar nicht dafür gedacht mit anderen in einem Gehäuse zu arbeiten.

So eine Ironwolf 6TB kostet ab 35,60€ pro TB, die 8TB sogar nur ab 33,60€/TB, die günstigste 6TB geht ab 30,78€/TB los und die von den 8TB ist sie schon eine der günstigsten, die Archive v2 ist für HW RAIDs denkbar untauglich und die SkyHwak ist 8€ günstiger, die könnte man eben ebenfalls nehmen, die Desktop kostet sogar mehr. In 10TB kostet sie mit 36,89€/TB noch etwas mehr, dafür bekommst Du an den 7 freien Ports des Board auch 60TB Netto hin, die Verschlüsselung kannst Du auch über SW machen, die SED Platten nimmt man nur, damit man bei einem Ausfall einer Platte keine Sorgen haben muss, dass der Servicetechniker der die defekte dann mitnimmt noch an irgendwelche Daten kommen kann und teilweise ist es einfach auch Vorschrift, dass keine Daten rausgehen dürfen, nur steht dann eben in den Wartungsverträgen das die defekte HW an die Dienstleister zurück geht und den Konflikt eine defekte Platte zurückgeben zu müssen aber keine Daten aus dem Haus geben zu dürften, löst man mit der Verschlüsselung der SED Platten. Als Heimanwender ist das irrelevant, da kann man die HDD zur Not noch überschreiben, bevor man sie ggf. auf Garantie einschickt oder verzichtet auf die Garantie und streichelt sie zart mit dem Vorschlaghammer, bevor sie in den Elektronikschrott auf dem Wertstoffhof geht.

Ergänzung (20. März 2017)

Habe mal geschaut, meine alten Platten haben "Nicht korrigierbare Lesefehler pro gelesenem Bit, max." (das sollte ja UBER sein?): 1 pro 10E14. Sprich also 1:10^14.

Hatte sich nun überschnitten, ja wie vermutet: 1:10^14 und die Wahrscheinlichkeit hatte ich Dir schon ausgerechnet, die liegt bei über 20%, Du hast ja nur 3TB HDDs und damit liegt die Chance höher.

klappt der Rebuild nicht und meine Daten sind weg?

Wenn das Rebuild nicht klappt, sind die Daten weg, so ist es. U.a. deshalb sollte klar sein, dass ein RAID eben keine Backups ersetzt. Nimm bessere HDDs mit einer UBER von 1:10^15, so teuer sind die von Seagate nicht, bei WD, HGST und Toshiba haben jeweils nur die teuren Enterprise Nearline HDD diese gut UBER, bei WD sogar die einfachen NAS Platten ab der 6TB und die Enterprise NAS in jeder Kapazität. Fall übrigens nicht auf Angaben wie 10:10^15 rein wie sie Toshiba gerne macht oder WD bei der Red Pro, dies sind auch nur 1:10^14!

Dann würde das RAID ja kaum was bringen

Was soll das RAID denn bringen? Es geht doch darum ein Verhältnis von Netto- zu Bruttokapazität zu bekommen. Außerdem ist die Redundanz von Vorteil, im Alltag bekommt man damit praktisch nie Lesefehler, weil es unwahrscheinlich ist, dass auf zwei Platten an der gleichen Stelle so ein Fehler auftritt.

 

[xexex]

Was ist denn das eigentlich Problem? Bei einem RAID 6 bei dem nur einer HDD ausgefallen ist, verhält es sich wie bei einem RAID 5 und damit hat man erst ein Problem wenn beim Rebuild bei zwei Platten ein Fehler auftritt, was schon wenig wahrscheinlich ist und das auch noch an der genau gleichen Stelle, was extrem unwahrscheinlich ist, sofern dienicht gerade alle HDDs im RAID am abnippeln sind, .

Deine Kalkulation von Raid5 zu Raid6 ist falsch. Dazu empfehle ich dir gerne das Dokument hier.
https://www.heinlein-support.de/vortrag/raid-mathematik-fuer-admins

Du brauchst mir auch nicht erklären wie ein Enterprise Raid System funktioniert. Dafür bin ich selbst lange genug im der Branche tätig.

Du weist aber Fakten von dir, die den Einsatz von Raid Systemen in der heutigen Zeit vielfach obsolet machen.

Als ich in dem Beruf angefangen habe, waren 18GB SCSI Platten in Servern noch üblich. Die Notwendigkeit diese zu einem Raid System zusammenzufassen war sowohl wegen der Ausfallsicherheit als auch wegen der Kapazität notwendig. Datensicherung wurde meistens auf Band durchgeführt und eine Wiederherstellung eines Servers war möglichst zu vermeiden, da diese mehrere Stunden Arbeit bedeutete.

Heutzutage sind das alles alte Schinken (Ich rede von Umgebungen im Mittelstand bis zu 1000 Mitarbeiter).

Die Festplatten haben längst eine Kapazität erreicht, bei der eine einzige Platte den Datenbestand eines Unternehmens speichern könnte, SSDs haben in diesem Bereich längst einen festen Stand, Serverlandschaften sind weitgehend virtuell und die Sicherung erfolgt längst auf Datenträger wenn nicht gleich auf Standby Server. Ein Raid System bietet mir also vor in erster Linie nur noch einen Vorteil, die Möglichkeit mehrere Datenträger zu einem zusammenzufassen. In 95% aller Fälle komme ich mit einer oder mehreren PCIe Karten und einem Standby System weiter, als ich je mit einem Raid gekommen wäre. Nicht umsonst verwendet Google lieber billige PCs für ihre Cluster und Microsoft schlägt einzelne Festplatten für ihre Exchange Datenbanken vor (mit DAG).

Im privaten Sektor ist das nicht anders. Früher waren 2 Raptor HDDs im Raid0 schnell. Heute kriegt man eine 960 Pro von Samsung mit keinem PC richtig ausgelastet. Bei der Kapazität sieht das nicht anders aus - Raid? 10TB musst du erst einmal voll kriegen, anstatt das Geld für unnötiges Raid zu investieren kaufst du dir lieber eine externe Festplatte um diese Daten zu sichern. Der Anwendungsfall mag der gleiche sein, aber die Notwendigkeit gibt es nur noch in extremen Fällen.

Was Storage Spaces anbetrifft, liegst du komplett falsch. Storage Spaces sind nicht Raid1 da dabei nicht ein ganzer Datenträger repliziert wird sondern einzelne Dateien. Dadurch entfällt dann auch die Problematik die "normale" Raid System haben. Zudem bist du mit SS auch komplett flexibel was die Zuordnung der Datenträger und die gewünschte Sicherheit anbetrifft. Etwas was du sonst nur von sehr teuren Systemen in ähnlicher Form bekommst.

Was den TE anbetrifft. So wäre letztendlich genau das meine Empfehlung. Wirf den Billigraidchip aus dem Fenster, aktualisiere das System auf Windows 10 und nutze Storage Spaces mit den SED Festplatten die du kaufen wolltest. Wenn dir die Daten eh nicht so wichtig sind kannst du ja einen Teil zu einem großen Datenträger zusammenfassen und einen anderen Teil mit 2fach oder 3fach Replikation nutzen. Mit Storage Spaces bekommst du auch nicht das Problem der elend langen und fehleranfälligen Rebuilds.

Wenn du Bitlocker verwenden möchtest, kommst du eh nicht drum herum da meines Wissens Bitlocker nur bei Windows 7 Enterprise dabei war und bei Windows 10 ist es auch in der Pro Version erhalten.

Und selbst wenn 3x3 TB:
RAID 5: 3x3 TB = 6 TB Netto, 1/3 Platten "darf" ausfallen.
RAID 1: 4x3 TB = 6 TB Netto, 2/4 Platten "dürfen" ausfallen, allerdings nicht die zusammenhängenden (theoretisch Chance 33%, dass [wenn] eine zusammenhängende Platte ausfällt).
Was ist günstiger?.

In beiden Fällen ist es günstiger EINE 6TB Platte zu kaufen und eine zusätzliche auf die du die Daten in regelmäßigen Abständen sicherst. Die Kosten für einen anständigen Raid Controller musst du noch dazu rechnen und eine Platte für die Datensicherung benötigst du so oder so.

Die größte Gefahr durch Raid ist dazu noch die trügerische Sicherheit. Ich hab ein Raid, dann muss ich ja nicht so häufig sichern. Bis es denn mal soweit ist und ein Verschlüsselungstrojaner oder ein kaputtes Raid dir einen Strich durch die Rechnung macht.

 

[Rick7]

@Holt:

Dann würde das RAID ja kaum was bringen

Damit war nicht das RAID an sich gemeint, sondern speziell meine Konstellation mit meinen Platten.
Das Problem ist nicht unbedingt die Mehrinvestition, sondern eben die, dass ich bereits 6x3 TB Platten (Intenso 6513113) verbaut habe (als einzelne Laufwerke) und diese eben auch in ein RAID 5 packen möchte. Aktuell habe ich eine "nachgelagerte" RAID 5 Lösung (snapRAID), das ist aber doch auf Dauer sehr aufwändig, zu mal es sehr lange dauert (ist ja klar, müssen ja auch immer alle Daten geprüft werden).

Hast mich echt zum nachdenken gebracht... Wie genau berechnest du denn die Wahrscheinlichkeit?
Ich habe mal nachgerechnet:
1:10E14 = 1 Fehler pro 1.000.000.000.000.000 Bits
Umgerechnet (/8 /1024 /1024 /1024 /1024) = 1 Fehler pro 113,69 TB
Eine 3 TB Platte kann damit knapp 38 mal Fehlerfrei komplett eingelesen werden (jeweils die gesamten 3 TB).
Nehmen wir der Einfachheit an, die Platten sind Fabrikneu und wurden noch nicht gelesen, sondern nur beschrieben (ist jetzt reine Theorie!), dann komme ich bei einer 3 TB Platte auf eine Fehler-Wahrscheinlichkeit von 2,64 % (3 TB von 113,69 TB) innerhalb eines Rebuilds. Zumindest wenn ein Rebuild bedeutet, die komplette Platte wird ein mal eingelesen. Und da jede Platte für sich alleine zu betrachten ist, bleibt die (theoretische) Wahrscheinlichkeit ja gleich, egal wie viele Platten, denn jede Platte muss ein mal komplett gelesen werden (egal ob 3 oder 10 Platten), oder nicht?

Hätte da noch ein paar Fragen:
1) Was genau würde denn genau bei einem Lesefehler passieren? Nehmen wir an (best case) der Lesefehler passiert bei einer Text-Datei (Inhalt "ABCDEF") beim Rebuild, der Rebuild wird aber fortgesetzt (Theorie), dann wird die Text-Datei falsch gelesen und entsprechend auch falsch neu geschrieben, aber (best case) eben nur ein Bit. Also könnte in der Text-Datei nachher sowas wie "AB³DEF" stehen, richtig? Im Falle von Software, Videos, etc. wäre die Datei dadurch natürlich auch erst mal unbrauchbar (gibt sicherlich Wege die zumindest zu 99% wiederherstellen zu können; aber anderes Thema)
2) Nehmen wir an mehrere Bits können nicht gelesen werden und diese sind auf der Festplatte verteilt, sagen wir 5 Lesefehler, dann können im worst case 5 Dateien nicht richtig gelesen werden, aber der Rest ist doch lesbar und müsste doch für den Rebuild nutzbar sein, oder nicht? Ich frage mich halt warum sollte die RAID-Hardware den Rebuild abbrechen und alle Daten verlieren? Ich nehme lieber 99,9% meiner Daten als 0%...
3) Und wenn dieser Fehler nun auftritt, gibt es nicht noch "Backup" Sektoren (wiederzugewiesene Sektoren)? Kann das RAID-System nicht im Falle eines Fehlers hierauf zurückgreifen?

@xexex:
Werde mich noch mal in das Thema Storage Spaces einlesen (morgen).

In beiden Fällen ist es günstiger EINE 6TB Platte zu kaufen und eine zusätzliche auf die du die Daten in regelmäßigen Abständen sicherst. Die Kosten für einen anständigen Raid Controller musst du noch dazu rechnen und eine Platte für die Datensicherung benötigst du so oder so.

Selbst ohne RAID sind die 3 TB-Platten pro TB günstiger als die 6 TB (26 € / TB vs 34 € / TB), daher KANN das gar nicht günstiger sein Dann wäre im Zweifel 2x3TB günstiger. Aber wie du schon sagst, ich brauche noch eine weitere 6 TB Platte für die Sicherung. Warum macht man eine Sicherung? Falls mal eine Festplatte ausfällt... und da lande ich wieder beim RAID 5 was das automatisiert und wesentlich günstiger ist da ich n-1 Netto-Kapazität habe ggü n/2, das macht preislich einen gewaltigen Unterscheid. Zumal bei 2x6 TB die Wahrscheinlichkeit fast gleich ist, dass mal beiden Platten ausfallen. Backup mache ich wie bereits erwähnt unabhängig vom angestrebtem System.

PS: Knacke gerade (privat!) die 15 TB Grenze, soviel dazu

 

[Holt]

Deine Kalkulation von Raid5 zu Raid6 ist falsch. Dazu empfehle ich dir gerne das Dokument hier.
https://www.heinlein-support.de/vortrag/raid-mathematik-fuer-admins

Das ist nicht Dein Ernst, oder? Der Type weiß nicht mal, dass eine MTBF keine Lebenszeit ist, sondern eben eine Ausfallwahrscheinlichkeit. Die MTBF wird zwar in Stunden angegeben, ist aber eine Ausfallwahrscheinlichkeit und kann keineswegs in Betriebsstunden umgerechnet werden. Die bezieht sich ja auch nur auf einen bestimmten Zeitraum und der umfasst nur die mittlere Zeit der Badwannenfunktion der Ausfallrate technischer Geräte. Diese neigen dazu am Anfang besonders häufig auszufallen. Dann fällt die Ausfallrate aber steil ab und bleibt für eine Zeit, die der geplanten Betriebsdauer entspricht, auf einem geringen Niveau stabil und genau für diese Zeit gilt auch nur die MTBF. Gegen Lebensende (Wear-Out Phase) steigt sie dann wieder deutlich an. Schon diese Definition auf einen beschränkten Zeitraum verbietet jede Umrechnung in eine Betriebszeit.

Dann gibt der Hersteller z.B. 2 Millionen Stunden MTBF/MTTF an:
Hat man 2 Millionen der Geräte in einem System, kann man jede Stunde einen Fehler / Ausfall erwarten.
Hat man nur 2000 Geräte, so wird etwa alle 1000 Stunden eine Fehler auftreten, also so alle 43 Tage.
Hat man nur eines, wär ein Fehler nach spätestens 2 Millionen Stunden oder 83 Jahren zu erwarten, nur ist dann die Lebensdauer schon lange überschritten und damit ist die MTBF/MTTF bei so wenigen Geräten nicht aussagekräftig und damit irrelevant.
Wieso das so ist? Nun ein durchschnittlicher Mitteleuropäer von 46 Jahren mit einem BMI von 27, Nichtraucher und mäßiger Konsument von Alkohol hat eine statistische Sterberate von 1,8 Todesfällen pro 1000 solcher Personen. Damit rechnen die Versicherungen und daraus ergibt sich eine MTTF von 1000(Personen) * 365 (Tage/Jahr) * 24 (Stunden/Tag) / 1,8 (Personen, die Ausfälle pro Jahr) = 4,867 Millionen Stunden, was 555 Jahren entspricht.
So alt wird aber offensichtlich keiner, die Versicherer rechnen mit 81 Jahren Lebenserwartung, also nur etwa 0,71 Millionen Stunden.

Ist ihm auch nicht bekannt, die ganzen RAID Rechner ignorieren dieses ja gerne, alles über 5 Jahren, der üblichen geplanten Nutzungsdauer von HDD, ist unseriös. Aber er ist ja kein Mathematiker.

Die UBER hat er auch nicht verstanden und man kann die HDDs auch nicht addieren, es ist ein Unterschied ob man 6 x 2 TB HDDs hat oder 2 x 6TB HDDs hat. Bei einer UBER von 1:10^14 ist bei der 2TB HDD die Wahrscheinlichkeit 0,8333 die fehlerfrei zu lesen, die Wahrscheinlichkeit 6 fehlerfrei zu lesen ist also 0,8333^6 = 0,3349. Bei der 6TB ist die Wahrscheinlich nur noch 0,5 und für 2 dann 0,5^2 = 0,25, also deutlich geringer. Davon weiß der Typ offenbar nicht, oder wer wollte es bei der Verwaltung die wohl eine Kaffeefahrt war, nicht genauer erzählen. Aber ja, die MTTF unterschlage ich ja, aber die realistischere AFR ist vielleicht vielleicht schlimmstenfalls 2%, bei 5 HDDs ist es daher unwahrscheinlich das in den 24 oder auch 48 Stunden eine ausfällt, für so kleine Populationen ist die eher irrelevant und ja, man sollte die alles nicht ewig auf die lange Bank ziehen, sonst wird die MTBF doch irgendwann relevant, auch wenn diese meist als einzig relvant für die Ausfallsicherheit von RAIDs angesehen wird. Ich habe aber nicht die Wahrscheinlichkeit von Fehlern im Sinne des MTBF kalkuliert, sondern die Chance auf ein Rebuld im Bezug auf die UBER, für die man eben nicht einfach die Kapazitäten der einzelnen Platten addieren darf.

Wenn das Deine Quellen sind, solltest Du an seiner Informationsbeschaffung arbeiten und vielleicht mal ein Studium in Betracht ziehen, da lernt man mehr als auf der Verkaufsveranstaltung einer IT Consultingfirma.

Du weist aber Fakten von dir, die den Einsatz von Raid Systemen in der heutigen Zeit vielfach obsolet machen.

Dann nenne mir Fakten, aber solche die ersten stimmen und zweitens stichhaltig sind!

eine Wiederherstellung eines Servers war möglichst zu vermeiden, da diese mehrere Stunden Arbeit bedeutete.

Das ist sowieso klar, nur spielt dies beim Heimanwender keine Rolle, der kann auch mal einen Tag ohne die Daten auskommen.

Heutzutage sind das alles alte Schinken (Ich rede von Umgebungen im Mittelstand bis zu 1000 Mitarbeiter).

Da liegt der erste Fehler, es geht hier um ein privates NAS mit einigen TB welche auf einige Dutzend TB erweitert werden soll.

Die Festplatten haben längst eine Kapazität erreicht, bei der eine einzige Platte den Datenbestand eines Unternehmens speichern könnte

Erstens hängt das sehr vom Unternehmen ab, Dein Blick reicht da wohl nicht über den Tellerrand der Unternehmen die Die kennst und zweitens geht das dem TE und jedem anderen Heimanwender der eben privat mehr als 10TB Daten speichert, ich gehöre auch dazu, reichlich weit irgendwo hintern Popo vorbei, wie viele Unternehmen mit 10TB auskommen.

Im privaten Sektor ist das nicht anders.

Doch, aebr Du siehst das nicht ein und liegst daher total daneben.

Bei der Kapazität sieht das nicht anders aus - Raid? 10TB musst du erst einmal voll kriegen

Also ich bin nahe an 40TB, ich bekomme nicht nur eine 10TB locker voll! Der TE hat 6 x 3 TB im RAID 5 und will erweitern, der dürfte auch mehr als 10TB voll bekommen, also ist Deine Argumentation hinfällig, dass man alles auf eine Platte bekommen könnte.

Was Storage Spaces anbetrifft, liegst du komplett falsch. Storage Spaces sind nicht Raid1 da dabei nicht ein ganzer Datenträger repliziert wird sondern einzelne Dateien.

Was ändert das am Prinzip ob ich jede Datei einzeln oder die ganzen Volumen repliziere? Nichts, denn ich kann dann nur die Hälfte der Bruttokapazität nutzen, wenn jede Datei zweimal gespeichert wird (Datenkompression mal ausgenommen, die hängt auch von der Art der Daten ab) und wenn ich sie nicht repliziere, muss ich eine Prüfsumme bilden und dann habe im Prinzip das gleiche wie bei einem RAID 5 oder RAID 6, je nachdem wie das genau ausgeführt wird.

Dadurch entfällt dann auch die Problematik die "normale" Raid System haben.

Welche Problematik entfällt damit? Wenn eine HDD ausfällt muss ich die Daten von der anderen Lesen können um ein "Rebuild" zu machen, nachdem die ausgefallene ersetzt wurde, wenn es dabei einen Fehler gibt, habe ich ein Problem. Vielleicht verlieren ich nicht alle Dateien, aber zumindest die wo es einen Fehler gab und wenn das die Metadaten eines Directories waren, dann habe ich schnell eine Menge Datenverlust und muss zum Backup greifen. Oder ich habe mehr Redundanz und kann wie beim RAID 6 noch einen Fehler beim Rebuild verkraften, dann aber auch weniger Nettokapazität.

Das einzige was entfällt ist die TLER Problematik, aber HDDs die keine TLER/ERC haben, sind in aller Regel auch nicht dafür geeignet mit so vielen HDDs in einem Gehäuse zu arbeiten, genau wie die ST3000DM002, die der TE eingangs erwähnt hat. Damit ist also auch nicht wirklich etwas gewonnen.

Zudem bist du mit SS auch komplett flexibel was die Zuordnung der Datenträger und die gewünschte Sicherheit anbetrifft. Etwas was du sonst nur von sehr teuren Systemen in ähnlicher Form bekommst.

Linux ist kostenlos und die md SW-RAID sind mächtig und sehr performant!

Wirf den Billigraidchip aus dem Fenster

Ja stimme ich Dir zu.

, aktualisiere das System auf Windows 10 und nutze Storage Spaces mit den SED Festplatten die du kaufen wolltest.

Ob er Storage Spaces nutzen möchte muss er seibst wissen, diese HDDs würde ich dafür nicht empfehlen.

einen anderen Teil mit 2fach oder 3fach Replikation nutzen.

Wie ist dann das Verhältnis der Netto- zur Bruttokapazität?

Mit Storage Spaces bekommst du auch nicht das Problem der elend langen und fehleranfälligen Rebuilds.

Wieso nicht? Wenn eine HDD ausfällt und ausfällt und ersetzt werden muss, müssen die Daten auch wieder auf die neue HDD kopiert werden, was nichts anderes als ein Rebuild ist, egal wie sich der Vorgang nennt und auch auf ein RAID kann man während ein Rebuild läuft noch zugreifen. Man kann meist sogar die Geschwindigkeit des Rebuilds drosseln um die Zugriffe in der Zeit nicht zu sehr zu auszubremsen. Die Folgen eines Fehler einer HDD (der Prozess des Rebuilds ist bei RAIDs ja nicht anfällig, nur die Platten sind es und zwar vor allem für unkorrigierbare Bitfehler) sind vielleicht geringer, aber ohne mehrfache Redundanz (wie beim RAID 6) auch genauso wahrscheinlich vorhanden, zumindest wenn das Volumen sehr voll ist. Der Vorteil von Lösungen die RAID und FS vereinen ist ja, dass dann nur wirklich mit Daten belegte Teile wiederhergestellt werden müssen, wenn die 6TB HDDs also nur halb voll sind, müssen nur 3TB von ihnen rebuilded werden und damit ergibt sich die Wahrscheinlichkeit wie für 3TB HDDs.

In beiden Fällen ist es günstiger EINE 6TB Platte zu kaufen und eine zusätzliche auf die du die Daten in regelmäßigen Abständen sicherst.

Er hat aber 6 x 3TB im RAID 5, die 15TB HDD um die Daten auf einer HDD zu speichern, gibt es eben noch nicht.

Die größte Gefahr durch Raid ist dazu noch die trügerische Sicherheit.

Da geben ich Dir recht, aber jeder muss auch selbst entscheiden wie wichtig ihm die Daten sind und ob der Aufwand eines Backups gerechtfertigt ist oder nicht, was letztlich eben nicht bedeutet, das man die Dateien dann eigentlich auch löschen könnte, nur eben, dass man das Risiko billigend in Kauf nimmt sie zu verlieren.

 

[xexex]

Dann nenne mir Fakten, aber solche die ersten stimmen und zweitens stichhaltig sind!

Die Fakten liegen auf der Hand. Wir haben in unseren Firma in den letzten Jahren vielleicht 2-3 Server mit einem Raid verkauft. Die Gründe dafür habe ich dir genannt. Der Bedarf ist einfach nicht da und es gibt in den meisten Fällen bessere Lösungen.

Einzig einige QNAP NASe werden immer wieder gerne zwecks Datensicherung beim Kunden platziert.

Das heißt nicht viel und es gibt Firmen die brauchen Petabyteweise Kapazität, ändert nichts an der Sache, dass der Bedarf für solche Lösungen stagniert und im privaten Bereich nur noch in den seltensten Fällen benötigt wird. (IMHO) Wenn du es anders siehst, dann ist es dein Recht. Ich kenne Raids seit 20 Jahren und ich meiner Zeit haben sie viele Daten gerettet aber auch sehr viele Daten vernichtet. Von Leistungsproblemen, Bedienfehlern oder Schwierigkeiten in der Einrichtung reden wir besser gar nicht erst, dafür reicht auch eine Suchfunktion hier im Forum.

Mein Fazit bleibt wie er ist. Wo man auf Raids verzichten kann, sollte man das auch tun. In privaten Rechnern mit billigen Controllern machen sie mehr Probleme als das sie Vorteile hätten, bleibt noch der Einsatz in einem NAS als Sicherungsmedium wo mir die Rebuildzeiten und die Sicherheit der Daten vermutlich egal wäre. Mir reicht dafür aber eine kleine Platte am Router.

Storage Spaces sehe ich durchaus als eine interessante Alternative, weil die Bedienung kinderleicht, das Laufwerk keine Synchronisation braucht und wirklich nur Dateien entsprechend der Auswahl synchronisiert werden zudem lassen sich Laufwerke verschiedener Kapazitäten beliebig mischen und erweitern. Am Ende muss der TE seine Entscheidung treffen und wenn ich den verlinkten Thread richtig verstanden habe, steht da noch gar nicht fest wie das System am Ende aussehen soll.

Er hat aber 6 x 3TB im RAID 5, die 15TB HDD um die Daten auf einer HDD zu speichern, gibt es eben noch nicht..

Und weil du das schon mehrfach wiederholt hast. BRAUCHT er die Kapazität auf einem Datenträger? Eben nicht! Seit Windows 7 kann er auch ohne jede Zusatzlösung beliebige Festplatten auch in einem Ordner auf einem Laufwerk einbinden oder er hat halt zwei oder drei Laufwerke, WO ist denn bitteschön da ein Problem?

Ein Raid BRAUCHE ich wenn ich eine 2TB Datei auf 2x1TB Datenträgern speichern möchte. Wenn ich 200 1GB Dateien habe kann ich die auch problemlos auf 2 Festplatten speichern.

Welche Problematik entfällt damit? Wenn eine HDD ausfällt muss ich die Daten von der anderen Lesen können um ein "Rebuild" zu machen, nachdem die ausgefallene ersetzt wurde, wenn es dabei einen Fehler gibt, habe ich ein Problem. .

Du hast schon mal mit diversen Software oder Billigraids gearbeitet? Mir scheint es nicht so! Die Probleme die entstehen können durch eine Raidlösung in einem PC haben wenig mit einem Ausfall einer Festplatte zu tun. Von dauerhaften Rebuild nach einem Systemabsturz, bis zu nicht mehr erkannten Raids nachdem sich der Treiber verabschiedet hat, habe ich alles schon mal erlebt. Glücklicherweise übrigens zu Zeiten, als ein Rebuild noch keine 10+ Stunden gedauert hat.

Wieso sollten sie das tun? Außer es passiert ein externes Ereignis wie, dass der Rechner- oder irgendwo runterfällt oder eben das Netzeil den Abgang macht, ist dies eher unwahrscheinlich und wie gesagt, wenn eine HDD ausfällt, muss man sie sowieso sehr zeitnah wechseln, man muss den Zustand der Platten der RAIDs also auch regelmäßig kontrollieren.

Weil Platten häufig büschelweise ausfallen. Steck 24 Platten in ein Raid, warte bis die erste Fehler zeigt und schaue dir mal in der kommenden Zeit die anderen an. Nicht umsonst hat man lange Zeit die Regel befolgt, wenn eine Platte wegen Datenträgerdefekten ausgetauscht werden muss, ist es an der Zeit alle auszutauschen. Nicht umsonst lässt man auch auf Raid Controllern ein Patrol Read laufen um die Laufwerke ständig oder wenigstens regelmäßig auf Fehler zu prüfen.

 

[Holt]

1:10E14 = 1 Fehler pro 1.000.000.000.000.000 Bits

Nein, eine 0 zu viel, es sind 100.000.000.000.000 Bits, also nur 14 und nicht 15 Nullen.

Umgerechnet (/8 /1024 /1024 /1024 /1024) = 1 Fehler pro 113,69 TB

Das wären nicht 113,69TB sondern 113,69TiB, aber 100.000.000.000.000 Bits /8 /1000 /1000 /1000 /1000 = ein Fehler auf 12,5TB oder 11,64TiB, aber so eine HDD hat ja nicht nur Datenbits, sondern auch hinter jedem Sektor eine ECC die auch Fehler enthalten kann, dies kann man feststellen, dann sinkt aber die Chance die Daten zu korrigieren. Da man nicht genau weiß wie lang die ECC bei den jeweiligen HDDs ist, reche ich rund mit 12TB für 1:10^14 und 120TB bei 1:10^15.

Eine 3 TB Platte kann damit knapp 38 mal Fehlerfrei komplett eingelesen werden (jeweils die gesamten 3 TB).

Da bringst Du wieder TB und TiB durcheinander, Kapazitäten von HDDs und SSDs werden aber grundsätzlich in Dezimapräfixen, also vielfachen von 1000 und damit TB und nicht in Binärpräfixen, also Vielfachen von 1024 oder TiB angegeben. Windows macht das auch falsch, es rechnet mit 1024, zeigt aber dann TB statt der korrekten Einheit TiB an.

Und da jede Platte für sich alleine zu betrachten ist, bleibt die (theoretische) Wahrscheinlichkeit ja gleich, egal wie viele Platten, denn jede Platte muss ein mal komplett gelesen werden (egal ob 3 oder 10 Platten), oder nicht?

Für jede Platte bleibt die Wahrscheinlichkeit gleich, aber die Wahrscheinlichkeit für das ganze Rebuild hängt ja davon ab, ob alle Platten fehlerfrei gelesen werden können, die ist also dann kombiniert und hängt daher sehr wohl von der Anzahl der Platten ab. Die Rechnungen hatte ich doch geschrieben.

Die Formel ist für Platten mit einer UBER von 1:10^14: (12TB -Kapazität der Platte)/12TB für eine Platte und dies hoch der Anzahl der Platten die fehlerfrei gelesen werden müssen, also der Anzahl der Platten im RAID 5 minus 1. Bei einer UBER von 1:10^15 sind es eben (120TB - Kapazität / 120TB) für die einzelne Platte und wenn man eben ein SW RAID auf Basis eines Filesystems hat wie z.B. ZFS wo nur die gelegten Bereich gelesen werden müssen, ein normales RAID weiß ja nicht was der Filesystem belegt hat oder nicht, dann ist statt der Kapazität der Platte nur die belegte Kapazität relevant.

Hätte da noch ein paar Fragen:
1) Was genau würde denn genau bei einem Lesefehler passieren? Nehmen wir an (best case) der Lesefehler passiert bei einer Text-Datei (Inhalt "ABCDEF") beim Rebuild, der Rebuild wird aber fortgesetzt (Theorie), dann wird die Text-Datei falsch gelesen und entsprechend auch falsch neu geschrieben, aber (best case) eben nur ein Bit. Also könnte in der Text-Datei nachher sowas wie "AB³DEF" stehen, richtig?

Nein. Wie gesagt liefern HDDs keine falschen Daten, sondern Lesefehler wenn sie so viele Bitfehler in einem Sektor haben, dass die ECC diese nicht mehr korrigieren kann, einzelne falsche Bits machen den HDDs (wie auch SSDs) nichts aus, die sind Alltag und werden von der ECC die es hintere jedem Sektor (jeder Page bei SSDs) gibt, einfach korrigiert. Damit würden also mindestens 512 Byte fehlen, die Einheit der UBER ist Sektor/gelesener Bits und die meisten RAID Lösungen brechen dann ab, weil sie dazu gemacht sind die Konsistenz der Daten zu garantieren, Datenbanken fahren meist gar nicht hoch, wenn ein Datafile inkonsistent ist. Was auch die 2. Frage beantwortet.

RAID Lösungen die ins Filesystem integriert sind, reagieren ggf. anders, aber wie gesagt, wenn es eine wichtige Metadatei des Filesystem betrifft, dann kann dann auch Ende Gelände sein.

3) Und wenn dieser Fehler nun auftritt, gibt es nicht noch "Backup" Sektoren (wiederzugewiesene Sektoren)? Kann das RAID-System nicht im Falle eines Fehlers hierauf zurückgreifen?

Die kommen erst danach ins Spiel, wenn eine SATA HDD einen Sektor nicht mehr korrekt lesen kann, dann liefert sie wie gesagt einen Lesefehler und keine korrupten Daten (mit den ATA Streaming Befehlen kann es anderes sein, die werden aber nur für Echtzeitvideoaufzeichnungen genutzt, also vor allem Überwachungskameras und nicht von RAID Controller oder von Windows selbst). Der Sektor bei dem nun die Daten nicht zur ECC passen, wird als schwebender Sektor markiert, da die korrekten Daten dieses Sektors nicht mehr feststellbar sind. Das kann auch anderen Gründe als defekte Oberflächen haben, z.B. einen Stromausfall während eines Schreibvorgang der dazu führt, dass eben nicht die ganze Daten plus der neuen ECC geschrieben wurden oder wegen eines Stoßes oder Vibrationen ist der Kopf beim Schreiben aus der Spur gekommen und hat Daten auf der Nachbarspur überschrieben.

Die Controller merken sich die schwebenden Sektoren und prüfen die Daten nach dem erneuten Schreiben auf diese Sektoren, dann verschwinden diese einfach und je nachdem ob die neuen Daten denn nun korrekt gelesen werden konnten oder nicht, werden eben die schwebenden Sektoren ggf. durch Reservesektoren ersetzt. Die Reservesektoren enthalten also niemals die alten Daten, sondern nur die neu geschriebenen, was laufenden Betrieb das gleich ist, wenn der Fehler beim Lesen eines intakten, echten RAIDs ausgetreten ist, aber diese alten Daten wurden dann eben von dem RAID aufgrund der Daten der anderen Platten, was die Parity mit einschließt, rekonstruiert um den Sektor überschreiben zu können. Beim Rebuild eines RAID 5 ist es wie bei einem RAID 0, es gibt dann eben keine Redundanz, was nicht gelesen werden kann, ist verloren.

Selbst ohne RAID sind die 3 TB-Platten pro TB günstiger als die 6 TB (26 € / TB vs 34 € / TB)

Wie gesagt vergleichst Du Äpfel mit Birnen, denn die 3TB HDD für 26€ sind ganz einfache, billige Desktopmodelle, die sind extram kostenoptimiert und nicht für den Einsatzzweck gedacht und gemacht den Du vorhast. Die billigsten 3TB die man dafür nehmen könnte, wäre die [URL=https://geizhals.de/seagate-skyhawk-3tb-st3000vx010-a1504514.html?hloc=at&hloc=de]Seagate SkyHawk 3TB für 34,28€/TB oder die IronWolf 3TB für 36,50€/TB (alte Modelle ausgenommen) und solche einfachen Desktopplatten gibt es als unter den 6TB auch ab 30,78€/TB, aber die sind ebensowenig geeignet, die SlyHawk 6TB ist mit 33,90€/TB sogar minimal günstiger als die 3TB und ebenso die Ironwolf 6TB für 35,59€/TB.

Wenn man also HDD der gleichen und für diesen Zweck, nämlich bis zu 8 HDDs in einem Gehäuse, siehe Datenblatt der Ironwolf und SkyHawk (bei den Modellen ab 4TB steht da sogar 8+ Drive Bays Supported), geeignet HDDs vergleicht, so kosten die 6TB HDDs pro TB eben nicht mehr als 3TB HDD. Von der Einsparung dadurch das man weniger Einbauplätze braucht um die gleiche Kapazität zu realisieren, mal abgesehen. Die würden die auch berücksichtigen, haben die 3TB keine Chance und die SkyHawk 8TB kostet gar nur 32,51€/TB und die Ironwolf 8TB auch nur 33,61€/TB. Selbst die SkyHawk 10TB ist mit 36,72€/TB nicht wirklich teuer, ebensowenig die IronWolf 10TB für 36,89€/TB, dabei sparen die nicht nur bei den Einbaplätzen, sondern dank der Heliumfüllung auch beim Strom und selbst sich das bei 2h/Tag nicht so ist der Anlaufstrom mit 1,8A auch geringer als die 2A der 2TB bis 8TB Modelle, womit man ggf. bei viele HDDs am Netzteil sparen kann. 6 der 10 in ein RAID 5 und Du hast 50TB Nutzkapazität, auch wenn Windoes dann nur 45,4 anzeigen wird, weil es in TiB rechnet.

, daher KANN das gar nicht günstiger sein Dann wäre im Zweifel 2x3TB günstiger.

Aber doch nur, solange Du von HDDs ausgehst die für den Zweck nicht gemacht sind und dann auch die Kosten der Einbauplätze, SATA Ports, für den Strom, etc. ignorierst. Die sind aber da, Du siehst ja selbst, so ein DAS Gehäuse für 5 HDDs kosten 200€, packe da 5 von den 26€ 3TB HDDs sein und Du hast 590€ ausgegeben um 12TB Netto zu bekommen, wenn jedes Gehäuse ein eigenes RAID 5 ist, also 49,17€ pro TB Nettokapazität. Du musst also 3 davon kaufen um zusammen mit den alten Platten auf 50TB zu kommen, was fast 1800€ kosten würde. Für rund 2200€ gäbe es 6 SkyHawk 10TB, tausche die alten aus und verticker sie für 65€ das Stück, dann wärst Du bei etwa den gleichen Kosten. Ok 65€ sind wohl nicht drin, aber Du hättest neue HDDs die für die Aufgaben geeignet sind und keine zusätzlichen Kisten mit zusätzlichen Lärm- und Fehlerquellen rumstehen die Ein- und Ausgeschaltet werden müssen, wo es ggf. Ärger mit den Verbindungskabeln gibt, etc.

Warum macht man eine Sicherung? Falls mal eine Festplatte ausfällt...

Nicht nur, es gibt noch viel mehr Risiken für die Daten als nur den Ausfall einer HDD: Userfehler können dazu führen das man alle Daten verliert, Verschlüsselungsviren ebenso oder auch HW defekt wie ein Abgang des Netzteils welches alle HDD zerstört (hatte wir hier im Forum auch schon), ein RAM Riegel geht kaputt, Du hast ja kein ECC RAM und veränder die Metadaten des Filesystems und schon ist alles unrettbar korrupt, weil es während Du versuchst zu retten nur noch schlimmer wird, etc. pp.

Zumal bei 2x6 TB die Wahrscheinlichkeit fast gleich ist, dass mal beiden Platten ausfallen.

Wieso sollten sie das tun? Außer es passiert ein externes Ereignis wie, dass der Rechner- oder irgendwo runterfällt oder eben das Netzeil den Abgang macht, ist dies eher unwahrscheinlich und wie gesagt, wenn eine HDD ausfällt, muss man sie sowieso sehr zeitnah wechseln, man muss den Zustand der Platten der RAIDs also auch regelmäßig kontrollieren.

 

[Rick7]

Dann gibt der Hersteller z.B. 2 Millionen Stunden MTBF/MTTF an:
Hat man 2 Millionen der Geräte in einem System, kann man jede Stunde einen Fehler / Ausfall erwarten.

Das ist aber auch eher Philosophie:
Beim Münzwurf ist die Chance 50%, dass ich Kopf treffe.
Nun werfe ich 5x hintereinander und hoffe weiterhin auf Kopf.
Gruppe A sagt: 5x hintereinander Kopf zu treffen ist unwahrscheinlich.
Gruppe B sagt: Jeder Münzwurf für sich hat die Chance von 50% auf Kopf.
Und wer hat noch nicht miterlebt, dass beim Roulette 6 oder 7 mal hintereinander rot kam

Im Falle der Platten: Wenn ich 2 Millionen neue Platten verbaue und jede Stunde fällt davon eine aus, hätte der Hersteller ein Riesen Problem! Ich bin eher Gruppe B und sage theoretisch läuft jede Platte 2 Millionen Stunden (natürlich bei so vielen Platten ist die Wahrscheinlichkeit extrem hoch, dass auch sehr viele früher ausfallen, aber doch nicht schon nach einer Stunde)

Was ändert das am Prinzip ob ich jede Datei einzeln oder die ganzen Volumen repliziere? Nichts, denn ich kann dann nur die Hälfte der Bruttokapazität nutzen, wenn jede Datei zweimal gespeichert wird

Das erklärt mir direkt das Thema "Storage Spaces", kommt für mich also nicht in Frage, da ich aktuell 15 TB duplizieren müsste.

1:10E14 = 1 Fehler pro 1.000.000.000.000.000 Bits

Nein, eine 0 zu viel, es sind 100.000.000.000.000 Bits, also nur 14 und nicht 15 Nullen.

Das fällt mir ehrlich gesagt immer noch schwer das zu glauben.
10E14 bedeutet doch nicht 10 hoch 14, sondern 10 und 14 Nullen (gibt dafür auch nen mathematischen Begriff, finde ich aber gerade nicht).
10^14 = 14 Nullen (100.000.000.000.000)
10E14 = 15 Nullen (1.000.000.000.000.000)

Wenn ich 10E14 in Excel eingebe und mir das als Zahl formatiere kommen immer 15 Nullen (Excel 2013 + 2016).
Excel wandelt 10E14 auch automatisch in 1E15 (genauer "1E+15") um. Und in den Datenblättern steht ganz klar 10E14 und nicht 10^14.

Das wären nicht 113,69TB sondern 113,69TiB

Wenn ich Bits in Bytes rechne (/8), dann habe ich doch meine Bytes. Also rechne ich weiter:
Bytes > Kilobytes > Megabytes > Gigabytes > Terabytes
Sprich: Bytes / 1024 / 1024 / 1024 / 1024
Auch der Google-Rechner macht 1(15 Nullen) Bits = 113,69 Tebibyte

Die Problematik mit der "falschen" Anzeige kenne ich und rechne daher für mich auch anders (Windows-konform).

Zum Thema Rebuild:
Könnte ich das nicht mit der Kiste (Billigcontroller) und den Billigplatten testen? Wenn ich da ein RADI 5 draus mache und Daten drauf kopiere und dann den Strom von der Box trenne, würde die Box dann einen Rebuild versuchen? Wie könnte ich einen Rebuild sonst erzwingen? Dann könnte ich doch beim Rebuild ebenfalls den Strom trennen und schauen was passiert (mit Test-Daten). Würde das gehen?

Den Rest sehe ich soweit ein, danke euch

 

[Holt]

Im Falle der Platten: Wenn ich 2 Millionen neue Platten verbaue und jede Stunde fällt davon eine aus, hätte der Hersteller ein Riesen Problem!

Nein, dies wäre aufgrund der Daten schlicht zu erwarten.

Das fällt mir ehrlich gesagt immer noch schwer das zu glauben.
10E14 bedeutet doch nicht 10 hoch 14, sondern 10 und 14 Nullen (gibt dafür auch nen mathematischen Begriff, finde ich aber gerade nicht).
10^14 = 14 Nullen (100.000.000.000.000)
10E14 = 15 Nullen (1.000.000.000.000.000)

Ob 10^14 oder 10E14 ist das gleichen.

Wenn ich 10E14 in Excel eingebe und mir das als Zahl formatiere kommen immer 15 Nullen (Excel 2013 + 2016).

Dann probiere es mal mit dem Taschenrechner von Windows, 10 x^y und dann 14

Excel wandelt 10E14 auch automatisch in 1E15 (genauer "1E+15") um. Und in den Datenblättern steht ganz klar 10E14 und nicht 10^14.

Erstens ist es wie gesagt das gleiche, zweitens stimmt das so nicht, denn in dem der Ironwolf steht nicht 10E15, odern 10 mit der hochgesetzten 15 (bzw. 14 bei den kleinen Kapazitäten).

Wenn ich Bits in Bytes rechne (/8), dann habe ich doch meine Bytes. Also rechne ich weiter:

Wenn ein Bit wirklich nur mit 8 Byte gespeichert oder übertragen wird, aber die HDDs müssen ja mehr speichern als nur die Nutzdaten, so wie bei seriellen Übertragungen auch mehr als 8 Bits pro Byte übertragen werden, bei 8b10b Bitkodierung sind es 10 Bit die für jedes Byte übertragen werden, dann muss man die Bit/s durch 10 teilen um auf Byte/s zu kommen. Ähnlich ist es hier, es reicht nicht so zu tun als würde eine HDD nur 4096*8 Bit lesen müssen um einen 4k Sektor (eigentlich 4ki) gelesen zu haben!

Auch der Google-Rechner macht 1(15 Nullen) Bits = 113,69 Tebibyte

Das stimmt, aber es sind Tebibyte (TiB) und nicht TB, 1 mit 15 Nullen ist 10^15 und nicht 10^14 und dann wird unterschlagen, dass eben mehr als die Bits der Nutzdaten gelesen werden müssen.

Die Problematik mit der "falschen" Anzeige kenne ich und rechne daher für mich auch anders (Windows-konform).

Nur sind die Kapazitäten von HDDs eben nicht Windows-konform angegeben, steht auch so z.B. in der Fuißnote:
"Bei der Festplattenkapazität entspricht ein Terabyte (TB) einer Billion Byte."

Könnte ich das nicht mit der Kiste (Billigcontroller) und den Billigplatten testen? Wenn ich da ein RADI 5 draus mache und Daten drauf kopiere und dann den Strom von der Box trenne, würde die Box dann einen Rebuild versuchen?

Keine Ahnung was die Dinger machen, denen traue ich nicht weiter als ich sie werfen kann.

Wie könnte ich einen Rebuild sonst erzwingen?

Da sieht Du das erste Problem, Du hast keine Controller, außer über ein paar Schalter hinten am Gehäuse und das Teil meldet allenfalls über ein paar LEDs was los ist. Vergiss nicht, der RAID Controller sitzt im SATA Port Multiplier, der hängt hinter dem USB-SATA Bridgechip oder bei eSATA dann direkt an dem eSATA Port. Ein richtiger RAID Controller oder ein SW RAID erlauben wie mehr Kontrolle über das RAID und den Zustand der Platten, denn es nutzt ja eben nichts Redundanz zu haben, wenn eine Platte ausfällt aber man es nicht bemerkt. Kannst Du überhaupt die S.M.A.R.T. Werte der Platten im RAID bei dem Gehäuse auslesen?

 

[Rick7]

Nur sind die Kapazitäten von HDDs eben nicht Windows-konform angegeben, steht auch so z.B. in der Fuißnote:
"Bei der Festplattenkapazität entspricht ein Terabyte (TB) einer Billion Byte."

Mit Windows-konform meinte ich eher, dass ich eine 4 TB (TiB) Platte kaufe und in Windows entsprechend 3,63 TB ("echte" TB) zur Verfügung habe. Ich rechne daher nicht mit 4 TB, sondern mit 3,63 TB da ich hier direkten Bezug auf Windows habe und so meinen Verbrauch besser einschätzen kann.

Das fällt mir ehrlich gesagt immer noch schwer das zu glauben.
10E14 bedeutet doch nicht 10 hoch 14, sondern 10 und 14 Nullen (gibt dafür auch nen mathematischen Begriff, finde ich aber gerade nicht).
10^14 = 14 Nullen (100.000.000.000.000)
10E14 = 15 Nullen (1.000.000.000.000.000)

Ob 10^14 oder 10E14 ist das gleichen.

Bei meiner Seagate steht definitiv "10E14" (von 3 TB bis 8 TB)

Das E steht dabei einfach für 10x, wobei x die Zahl ist, die nach dem E steht.
Quelle: http://matheguru.com/56-wissenschaftliche-schreibweise.html

Das steht so sinngemäß aber auch auf anderen Seiten (Wiki & Co).

Also noch mal 10^14 ist eine 1 mit 14 Nullen, das ist mir klar, das brauche ich auch nicht testen. Darum geht es ja auch nicht. Es geht um 10E14.
E14 = (10^14) = 1 mit 14 Nullen
1E14 = 1 * (10^14) = 1 mit 14 Nullen
10E14 = 10 * (10^14) = 1 mit 15 Nullen

Das entscheidende ist hier also die 10 vor dem E14... Die Frage ist halt meint Seagate hier tatsächlich eine 1 mit 15 Nullen (warum dann nicht gleich 1E15 oder 10^15?) oder meint Seagate hier eine 1 mit 14 Nullen und hofft einfach, dass manche Leute "darauf reinfallen"... Was in meinen Augen aber nach wie vor eine falsche Angabe wäre... Dann könnten die ja gleich 1:1000000000E14 rein schreiben oO)

Die Umrechnung lasse ich jetzt mal von Dir so stehen, so tief steck ich im Festplatten-Thema nicht drin
Zum Thema Platten & Raid überdenke ich das Ganze aktuell noch mal, vielleicht greife ich doch wieder auf SnapRAID zurück, wenn ich die Geschwindigkeit optimiert bekomme (muss meistens ein force sync machen ). Vorteil ist auf jeden Fall, dass man auf jede Platte einzeln trotz "RAID 5" zugreifen kann. Fallen 2 Platten aus, hätte man trotzdem noch die anderen.