Raid 5 mit 3 x 8TB Platten

[Tockra]

Guten Morgen,

ich bin im Besitz eines Dell PowerEdge T20 und habe mir aktuell 3 x 8TB WD Red Festplatten gekauft.

Am liebsten würde ich die Platten im Raid 5 laufen lassen, um etwas Redundanz in das System zu bekommen.

Leider habe ich ich folgendes Problem:

Benutze ich die Intel-Rapid-Technology, dann kann ich das Raid-Volumen anlegen. Der Rechner zeigt mir dann auch an, dass es 14,... TB groß ist.
Starte ich dann die Debian-Installation mit dem Flag dmraid=true , dann taucht das Gerät allerdings nur mit 2,8TB auf.
Meine zweite Lösung ist ein Software-Raid in der Linux Installation.
Mein Problem dabei ist, dass dann die Installation von Linux sehr lange dauert. Das installieren von Standart-Systemwerkzeugen (noch in der Installation) dauert recht lange. Schaue ich mir dann den syslog an, dann sehe ich, dass der Rechner recht lange für das entpacken braucht. 30-60 Sekunden pro Paket.
Installier ich das System nur auf eine Platte, dauert der gesamte Schritt nur 20 Sekunden.
Ich habe dann auch mal die anderen 2 Festplatten mit "hdparm -tT --direct /dev/sdx" getestet.

Die Schreibgeschwindigkeit scheint bei allen identisch zu sein.

Könnt ihr mir helfen?

Viele Grüße
Tim

 

[Rego]

Hallo

1. Welche HDDs hast Du? Welche MTBF haben die Platten? Bei 24TB Brutto RAID5 kannst Du davon ausgehen, dass bei einer defekten Platte beim Rebuild die nächste stirbt.
2. Intel Rapid Technology ist ein Fake RAID... Das läuft alles über den Treiber und die CPU.

Entweder Du nimmst einen Hardware-Controller (Dell PERC würde sich anbieten) oder Du lässt das Thema sein und wechselt auf etwas anderes (z.B. ZFS)

Gruß
Rego

 

[MADman_One]

ich bin im Besitz eines Dell PowerEdge T20 und habe mir aktuell 3 x 8TB WD Red Festplatten gekauft.

Am liebsten würde ich die Platten im Raid 5 laufen lassen, um etwas Redundanz in das System zu bekommen.

Ich würde von einem RAID 5 in der Konstellation eher abraten, die Größe Deines RAID 5 Arrays liegt jenseits des Wertes, der für Platten mit einer UBER von 10^14 sinnvoll ist. Wenn da eine Platte kaputtgeht, dann wird der anschließende Rebuild mit sehr großer Wahrscheinlichkeit fehlschlagen, daher kannst Du es Dir auch gleich sparen.

Zu Deinem Linux-Problem kann ich leider wenig sagen, da ich RAID 5/6 bisher nur in NAS Systemen eingesetzt habe.

 

[Rego]

Hier noch ein interessanter Link zum Thema RAID5
https://www.zdnet.com/article/why-raid-5-stops-working-in-2009/

 

[puri]

Ohne echten RAID-Controller nur ein RAID1 machen, alles andere funktioniert meiner Erfahrung nach nicht zuverlässig. Dazu kommen noch die Argumente meiner Vorredner, bei der Gesamtgröße ist es eh problematisch. Verteil halt Deine Daten auf zwei einzelne Platten und kopiere Dir das wichtigste davon per Script regelmäßig auf die dritte - das wäre viel zuverlässiger..

Wir arbeiten hier natürlich auch mit RAIDs. Aber mit wesentlich mehr (>10) und kleineren Platten/SSDs dazu auch ausschließlich RAID 6 oder RAID 4 Double Parity..

 

[spcqike]

Ich würde von einem RAID 5 in der Konstellation eher abraten, die Größe Deines RAID 5 Arrays liegt jenseits des Wertes, der für Platten mit einer UBER von 10^14 sinnvoll ist. Wenn da eine Platte kaputtgeht, dann wird der anschließende Rebuild mit sehr großer Wahrscheinlichkeit fehlschlagen, daher kannst Du es Dir auch gleich sparen.

Zu Deinem Linux-Problem kann ich leider wenig sagen, da ich RAID 5/6 bisher nur in NAS Systemen eingesetzt habe.

Das kaputte Rebuild sollte kein Problem sein, da man ja ein Backup macht.
Das Raid erhöht nicht die Datensicherheit, sondern nur die Verfügbarkeit.

Natürlich kann es bei so einem Rebuild zu Fehlern kommen (der UBER von 10^14 sagt ja nicht, dass die Platte dabei zerstört wird, sondern dass ein nicht behebbarer Fehler auftritt, also eine korrupte Datei), diese lassen sich aber mit einem ordentlichen Backup bereinigen. Oder habe ich das falsch verstanden?


e*:
Angemerkt sei auch noch folgendes: Wenn eine Festplatte in einem RAID (egal welches) aussteigt, ist die Wahrscheinlichkeit groß, dass auch eine weitere kaputt geht, wenn sie aus der gleichen Bestellung/Charge stammen. Daher Festplatten möglichst nacheinander kaufen und bei unterschiedlichen Lieferanten, um die Chargengleichheit auszuschließen.

 

[exuser0815]

Mein Problem dabei ist, dass dann die Installation von Linux sehr lange dauert. Das installieren von Standart-Systemwerkzeugen (noch in der Installation) dauert recht lange. Schaue ich mir dann den syslog an, dann sehe ich, dass der Rechner recht lange für das entpacken braucht. 30-60 Sekunden pro Paket.

Ja und?
Hast du den Rechner das Raid5 mal fertig rebuilden lassen? Oder regst Du dich gerade drueber auf, dass waehrend eines Raid5 Rebuilds der Rechner langsam ist?

cat /proc/mdstat

 

[KuanYin]

Hallo

1. Welche HDDs hast Du? Welche MTBF haben die Platten? Bei 24TB Brutto RAID5 kannst Du davon ausgehen, dass bei einer defekten Platte beim Rebuild die nächste stirbt.

quatsch - dann hätte ich schon über 10 defekte Raid5. und meine Arrays sind bei den 4er konstelllationen 10-12TB HDDs. Habe auch ein paar laufen mit 2-4TB 0815 Platten da allerdings haben die Arrays 8-16 platten. Halt alles HW Raids

@Op
wenn du unbedingt RAID willst: gebrauchte Adaptecs der 5er 6er Serie sind günstig zu haben, z.T. auch mit BBU.
Dann geht das auch unter Linux schneller, du hast kein Softwareraid das du mit Intel oder unter Linux hättest und könntest auch ne SSD als cache mit dran stöpseln. Raid 5 geht mit 3 Platten aber 4 würde ich eher empfehlen. Vorallem wenn du da Produktiv aktiv dransitzt

 

[Tockra]

quatsch - dann hätte ich schon über 10 defekte Raid5. und meine Arrays sind bei den 4er konstelllationen 10-12TB HDDs. Habe auch ein paar laufen mit 2-4TB 0815 Platten da allerdings haben die Arrays 8-16 platten. Halt alles HW Raids

@Op
wenn du unbedingt RAID willst: gebrauchte Adaptecs der 5er 6er Serie sind günstig zu haben, z.T. auch mit BBU.
Dann geht das auch unter Linux schneller, du hast kein Softwareraid das du mit Intel oder unter Linux hättest und könntest auch ne SSD als cache mit dran stöpseln. Raid 5 geht mit 3 Platten aber 4 würde ich eher empfehlen. Vorallem wenn du da Produktiv aktiv dransitzt

Zur Zeit habe ich leider nur 3 Platten...
Die vierte Platte würde ich in nem halben Jahr nachrüsten.

Hast du da mal einen Link für? Ich finde da nichts "günstiges" mit dem Schlagwort.

Ergänzung (14. September 2018)

Ja und?
Hast du den Rechner das Raid5 mal fertig rebuilden lassen? Oder regst Du dich gerade drueber auf, dass waehrend eines Raid5 Rebuilds der Rechner langsam ist?

cat /proc/mdstat

Naja wie gesagt ist der Rechner beim Entpacken von gängigen Unix-Paketen wie Bash sehr langsam. Weiß nicht ob der der meint parallel den Raid zu builden, denke aber nicht.

 

[KuanYin]

Zur Zeit habe ich leider nur 3 Platten...
Die vierte Platte würde ich in nem halben Jahr nachrüsten.

Hast du da mal einen Link für? Ich finde da nichts "günstiges" mit dem Schlagwort.

Suche mal nach Adaptec 5805 oder 5405 oder 6405 oder 6805 bei den üblichen verdächtigen

 

[Rego]

quatsch - dann hätte ich schon über 10 defekte Raid5. und meine Arrays sind bei den 4er konstelllationen 10-12TB HDDs. Habe auch ein paar laufen mit 2-4TB 0815 Platten da allerdings haben die Arrays 8-16 platten. Halt alles HW Raids

Und wie viele Rebuilds hattest Du schon? Wie lange dauern diese dann?

 

[Tockra]

Suche mal nach Adaptec 5805 oder 5405 oder 6405 oder 6805 bei den üblichen verdächtigen

Die haben alle wie ich sehe nur 2 Sata-Anschlüsse, muss man dann zwei kaufen?

Ergänzung (14. September 2018)

Ja und?
Hast du den Rechner das Raid5 mal fertig rebuilden lassen? Oder regst Du dich gerade drueber auf, dass waehrend eines Raid5 Rebuilds der Rechner langsam ist?

cat /proc/mdstat

Du hast recht, er buildet noch 10-12 Stunden. Aber das der Installationsprozess das nicht anzeigt ist schon traurig.

 

[xamoel]

Also ganz kurz möchte ich meine Erfahrung mit RAID 5 und 6 mit 12x 3 TB Consumer HDDs einbringen, hab seit 2011 in einer Synology 3611xs im 24/7 Betrieb ein recht großes Volumen, inzwischen mit 4 Rebuilds, noch nie ein Problem gehabt.
Halte das für Panickmache, solange du ein gutes Backup hast, würde ich mir keine Sorgen machen bezüglich der Größe.

 

[exuser0815]

Ich fahre auch seit 15? Jahren mit Linux SW Raid, und noch nie ein richtiges Problem.
Ganz im Gegenteil, Probleme hatte ich immer nur mit "HW"Raids.

 

[Rego]

Naja, wenn man genügend RAID5 und FakeRAIDs sterben hat sehen, dann ist man da halt vorsichtiger...
Aber es ist ja nur eine Empfehlung. Rumgeheule wenn das Ding dann stirbt und dann doch kein komplettes Backup da ist, kommt dann sicher.

 

[Tockra]

Dank den gutem Hinweis warte ich jetzt einfach mal die 12 Stunden ab und schaue dann ob ich mit der Performance vom Softwareraid zufrieden bin.

Sofern mein Plexserver Transcodieren kann und gleichzeitig die Daten von der Festplatte lesen kann, bin ich eigentlich zufrieden.

Sollte die Performance nicht okay sein, denke ich über den Kauf eines Raidcontrollers nach...

 

[exuser0815]

Naja, wenn man genügend RAID5 und FakeRAIDs sterben hat sehen, dann ist man da halt vorsichtiger...
Aber es ist ja nur eine Empfehlung. Rumgeheule wenn das Ding dann stirbt und dann doch kein komplettes Backup da ist, kommt dann sicher.

Raid ist ja auch kein Backup.

Die Performance des SW Raids ist nie das Problem. Ein HW Raid ist nicht schneller!
Das war nur zu Zeiten so, als CPUs noch langsam waren.

Ausserdem kannst noch an den Settings drehen.
blockdev --setra 65536 /dev/md0
echo 32768 > /sys/block/md0/md/stripe_cache_size
NCQ disablen:
for i in sda sdb sdc; do echo 1 > "/sys/block/$i/device/queue_depth"; done

Sollte auch den Rebuild schneller machen.

 

[MADman_One]

Das kaputte Rebuild sollte kein Problem sein, da man ja ein Backup macht.
Das Raid erhöht nicht die Datensicherheit, sondern nur die Verfügbarkeit.

Das stimmt natürlich, aber wenn die Wahrscheinlichkeit hoch ist, zusätzlichen Aufwand betreiben zu müssen ohne einen echten Nutzen aus einem RAID 5 ziehen zu können, dann kann man eigentlich gleich zu einem anderen Modell greifen IMHO Und genau den Verfügbarkeitsaspekt sehe ich in dieser Variante halt kritisch, da man hier schon mal das Backup raussuchen kann wenn eine Platte ausfällt.
Wenn man separate, hochwertige Controller verwendet, die zusätzliche Prüfsummeninformationen erstellen und verwenden können, dann kann man auch ein großes RAID 5 bauen, aber mit den Komponenten welche der Threadersteller angegeben hat würde ich es halt nicht machen.

Also ganz kurz möchte ich meine Erfahrung mit RAID 5 und 6 mit 12x 3 TB Consumer HDDs einbringen, hab seit 2011 in einer Synology 3611xs im 24/7 Betrieb ein recht großes Volumen, inzwischen mit 4 Rebuilds, noch nie ein Problem gehabt.
Halte das für Panickmache, solange du ein gutes Backup hast, würde ich mir keine Sorgen machen bezüglich der Größe.

Ein RAID 6 ist eine völlig andere Nummer was eine erfolgreiche Rebuildwahrscheinlichkeit auf großen Consumerplatten angeht als ein RAID 5. Ich verwende aktuell auch z.B. einen RAID 6 bei 8 (Consumer-)Platten, weil das Sicherheitslevel (Verfügbarkeit) dort eben durch die zusätzliche Platte deutlich höher ist als bei einem RAID 5 (und natürlich habe ich auch Backups).
Und wie Rego wohl auch, habe ich im Bekanntenkreis bereits genug große RAID 5 beim Rebuild sterben sehen, weil niemand auf mich hören wollte und sie eben nicht soviel Glück hatten wie Du, vier erfolgreiche Rebuilds hinzubekommen. Das ist wie Würfeln, kann klappen, muss aber nicht.

Wie hier schon gesagt wurde ist der primäre Vorteil von RAID 5 Verfügbarkeit (erst bei zunehmender Plattenanzahl steigt dann auch noch die Lese-Performance signifikant an). Daher würde ich kein RAID 5 einsetzen, wenn ich im Fehlerfall davon ausgehen muss, auf jeden Fall mein Backup zu brauchen. Denn ich habe nichts von der Verfügbarkeit, während der Restore läuft kann das System nämlich nicht genutzt werden. Das Backup (bzw. der Restore) ist für mich das Sicherheitsnetz das einspringt wenn alles richtig schief läuft, nicht die Standardmaßnahme. Daher sind meine RAIDs so konzipiert, das ich rechnerisch eine gute Chance auf einen erfolgreichen Rebuild im Fehlerfall habe.

Wenn ich daher ein System konzipiere, dann baue ich da nicht gleich einen vermeidbaren Risikofaktor mit ein und verlasse mich auf mein Glück. Letztentlich ist aber (wie meine Bekannten) jeder für sein eigenes System und seine eigenen Entscheidungen verantwortlich, ändert aber nichts an meiner Empfehlung.

 

[KuanYin]

Adaptec: xy05 X=Generation4,5,6,7,8 usw. Y= 4/8/16 Unterstützte Festplatten wobei 4 ein SASPort haben und 8 2x SAS port. Für 5€ bei CU ein SAS zu 4xSata Kabel kaufen und gut ist.

habe privat wie auch geschäftlich nur Adaptecs in allen Forman im Einsatz. Schöne sit selbst bei Fullencryption ist es den Adaptecs egal und machen geschmeidig weiter wenn degraded und rebuilds sind auch keine probs.

 

[puri]

Ich habe einen 6405 im Einsatz, und seitdem keine Probleme mehr mit dem Raid. Vorher beim Intel-Raid hat sich gerne mal (temporär) eine Platte verabschiedet, wenn der Rechner mal ungewollt neugestartet ist (Stromausfall/Absturz), ich hatte fast einmal im Monat einen Rebuild.. Das Problem bei vielen Adaptecs ist nur, dass sie nur passiv gekühlt sind und bei intensiven Aufgaben (Build/Rebuild/Stundenlange Kopierjobs) die CPU sehr heiß wird, dass die ganze Kiste mir sogar deswegen abgeschmiert ist. Am besten einen Gehäuselüfter darauf richten, dann ist alles gut.