Kurze Frage Raid 5 und Alignment

[M@tze]

Nach der reinen Lehre läßt sich das gesamte Raid-5-LW nicht weiter partitionieren entsprechend einer beliebigen einzelnen Festplatte.

Diese "reine Lehre" ist an mir bisher vorbeigegangen, aber ich wäre neugierig wo Du das her hast...

CPU-Überforderung würde ich mal ausschließen, schließlich sollte jeder Sockel - 2011 Prozessor mit einem RAID fertig werden. Alles andere würde mein Weltbild zerstören

Sicher wird der damit fertig, ist aber elend ineffizient und langsam.

Ah ok. Danke Naja, wenn man quasi meinen kleinen i7 4930K als Prozessor des Raid Controllors betrachtet, dann würde ich dieser Berechnung gerade mehr CPU-Leistung zusichern

Das würde (meiner Meinung nach) auch nichts bringen, da für diese Aufgabe ineffizient und langsam.

Wie schon gesagt, handelt es sich hier um ein Fake Raid, dedizierte Raid Controller sind nicht umsonst teuer, bieten dafür aber auch spezielle Prozessoren, RAM und Pufferbatterien. Raid 5 ist nun mal recht rechenintensiv, vor allem nach einem Plattencrash bzw. bei der Initialisierung. Bloss weil ein onboard Chip das "kann", heißt das nicht dass er das unbedingt sehr gut macht...

Ich kann zBsp. ein XBMC auch auf einem Raspberry Pi laufen lassen, muss aber dann auch mit entsprechenden Einschränkungen in der Performance leben. Dafür ist es auch fast umsonst.

 

[ML89]

Ja, demnächst nehme ich auch einen richtigen Raid-Controller, versprochen. Das ist wahrscheinlich wie mit dem Onboard 5.1 und der 5.1 Soundkarte... Nur wenn diese Sachen eh alle Mist sind, dann können sie die doch bitte weglassen und mir als Kunden das blanke Mainboard für weniger Geld anbieten, dass ich dann in gescheite Controller stecken kann... Aber gerade in den letzten Jahren gibt es diese All-in-One Mentalität und die detaillierte Erfüllung von Aufgaben bleibt wohl immer wieder auf der Strecke.

 

[Masamune2]

Jede aktuelle CPU kann gigabyteweise XOR Berechnungen durchführen, die CPU ist schon seit Jahren nicht mehr der Flaschenhals und kein Grund für einen reinen Hardware Controller. Die Vorteile bei einem richtigen Raid Controller liegen anders, nämlich im Schreibcache.

Dazu bitte auf Wikipedia http://de.wikipedia.org/wiki/RAID_5...iping_mit_verteilter_Parit.C3.A4tsinformation Den Absatz Einfluss auf die Write Performance durchlesen.

 

[ML89]

Also vielleicht ist mein Textverständnis mangelhaft, aber ich lese da nicht viel von den Eigenschaften des Controllers im Bezug auf die Write-Performance.

Muss ich das RAID eigentlich vor der Benutzung Initialisieren? Laut Intels RST ist das nur nötig bei einer Überprüfung der Daten

 

[M@tze]

Jede aktuelle CPU kann gigabyteweise XOR Berechnungen durchführen, die CPU ist schon seit Jahren nicht mehr der Flaschenhals und kein Grund für einen reinen Hardware Controller. Die Vorteile bei einem richtigen Raid Controller liegen anders, nämlich im Schreibcache.

Dazu bitte auf Wikipedia http://de.wikipedia.org/wiki/RAID_5...iping_mit_verteilter_Parit.C3.A4tsinformation Den Absatz Einfluss auf die Write Performance durchlesen.

Sorry, dann bin ich da nicht mehr auf dem Laufenden gewesen. Seit wir hier ein paar NetApp Cluster stehen haben, musste ich mich nicht mehr so genau mit den Details beschäftigen...

Früher war bei Fake Raids aber auf jeden Fall die CPU noch der Flaschenhals. Der Absatz mit der Write Performance bestätigt aber noch mal meine Aussage, dass bei Raid5 "ungerade" Plattenkonfigurationen bevorzugt werden sollten.

 

[Masamune2]

Ungerade ist leider etwas ungenau, besser wäre n²+1. Idealerweise sollten die meisten IOs in ein komplettes Stripeset passen, da das aber sehr selten der Fall ist springt eben der Schreibcache ein.

Bei Netapp ist das ganze komplett unerheblich da das WAFL Dateisystem die IOs sammelt und jeden Random IO als Sequenziellen auf die Platten schreibt.

Also vielleicht ist mein Textverständnis mangelhaft, aber ich lese da nicht viel von den Eigenschaften des Controllers im Bezug auf die Write-Performance.

Es sieht ganz einfach so aus: Du hast z.B. eine Blockgröße von 64k beim Raid 5. Das heißt alle 64k Daten wird auf die nächste Platte geschrieben. Willst du jetzt einen NTFS Cluster (4k) neu schreiben muss der Raid Controller dazu (in deinem Fall) 128k Daten lesen, die 4k darin ändern und 128k + 64k Parität neu schreiben. Das führt zu einer Write Amplification -> 4k Daten sollen eigentlich nur geschrieben werden aber 128k werden gelesen UND 192k geschrieben. Der Schreibcache sammelt jetzt möglichst so lange Daten bis ein kompletter Stripe voll ist und schreibt erst dann auf die Platten runter. Die Write Amplification geht (idealerweise) gegen 0.

Muss ich das RAID eigentlich vor der Benutzung Initialisieren?

Ein Raid 5 auf jeden Fall. In vielen Fällen passiert das aber im Hintergrund ohne das man es unbedingt mitbekommt (außer man weiß wo man schauen muss)

 

[Holt]

Das sagt Diskpart. Soweit ich das im Internet nachvollziehen konnte beschreibt der Offset-Wert das Alignment

Wieso 2 Partitionen mit 3TB? Kann es sein, dass Du noch glaubst ein RAID 5 würde Dir Backups ersetzen? Das ist ein Irrtum, der schon so manchem eine Menge Daten gekostet hat! Zumal nicht nur Plattenausfälle die Daten bedrohen und bei einem RAID ist die Wahrscheinlichkeit eines Level 8 Fehlers noch höher, gerade wenn es Dein ersten RAID ist.

Was bringt die Raid Initialisierung?

Dabei werden die Paritätsdaten für das ganze RAID geschrieben, denn sonst könnte man es nicht auf Konsistenz prüfen, weil alle noch unbeschriebenen Bereiche falsche Paritätsinformationen haben, denn erst wenn innerhalb eines Stripppings geschrieben wird, werden ja die Daten von zwei Platten gelesen, die Paritätsdaten errechnet und diese dann auch die dritte Platten (die immer abwechselnd eine der drei ist) geschrieben und damit die Konsistenz der Daten hergestellt. Nur weiß der RAID Controller eben nicht, welche Bereich schon mal beschrieben wurden, also stellt er durch die Initialisierung sicher, dass alle Paritätsdaten stimmen, basierend auf den Daten die eben gerade dort stehen.

Ist es ein Problem für die Initialisierung, wenn da bereits Daten drauf sind?

Nein, aber die alten Daten der Platten gehen natürlich verloren, schon weil ein Drittel der Platten ja mit Paritätsdaten überschrieben wird.

Die WD Reds sind geplant für den Server

Die wären aber auch hier besser, wegen der TLER. Das ist die Zeit wie lange der Controller der Platte versucht einen Sektor noch zu lesen, wenn es dabei zu einem Problem kommt. Liegt diese Zeit über dem Timeout des RAIDs, so fliegt die Platte aus dem RAID Verbund und wenn der Controller der Platte es doch noch geschafft hat, sieht Du bei keiner einen schwebenden Sektor in den S.M.A.R.T. Werten und wunderst Du nur, wieso die eine rausgeflogen ist. Fliegt auch die zweiten raus bevor Du es merkst und reagiert hast, wird es kritisch für Deine Daten.

Was bei der Initialisierung gemacht wird: Da das Raid 5 ja mit Paritätsdaten arbeitet und vorher nicht bekannt ist ob die Blöcke der Platten auch alle leer sind muss bei der Initialisierung erst mal die Parität des gesamten Volumes einmal berechnet werden.

Richtig, aber selbst wenn die Blöcke alle leer also 00 sind, so ergeben sich Partitätsdaten die eben nicht 00 sind und geschrieben werden müssen. Den Teil mit "und vorher nicht bekannt ist ob die Blöcke der Platten auch alle leer sind" kannst Du also schlicht streichen, dann stimmt es 100%ig.

Muss ich das RAID eigentlich vor der Benutzung Initialisieren? Laut Intels RST ist das nur nötig bei einer Überprüfung der Daten

Nicht bei einer Überprüfung, sondern damit eine volle Überprüfung überhaupt erst möglich wird. Die Initialisierung muss also vor der ersten Überprüfung abgeschlossen sein.

 

[ML89]

Also ganz deutlich zur Reihenfolge: Ich erstelle erst im RAID-Controller das RAID. Dann Partitioniere ich unter Windows und erstelle 2 Partitionen. Danach führe ich in der Intel RST-Oberfläche die Initialisierung durch und erst dann kann das Raid benutzen? Grund der Frage: Die Initialisierung wird meherere Tage dauern.

 

[Masamune2]

Richtig, aber selbst wenn die Blöcke alle leer also 00 sind, so ergeben sich Partitätsdaten die eben nicht 00 sind

Nein, eben nicht. Wenn alle Platten des Verbundes nur 0 enthalten ist davon auch die Parität 0. Das nutzt z.B. Netapp aus um Platten in ein Array hinzuzufügen ohne das Raid neu aufbauen zu müssen.

Ich erstelle erst im RAID-Controller das RAID. Dann Partitioniere ich unter Windows und erstelle 2 Partitionen. Danach führe ich in der Intel RST-Oberfläche die Initialisierung durch

Nein, die Initialisierung passiert direkt nach Erstellung des Raids, oder wenn die ersten Daten darauf geschrieben werden transparent im Hintergrund.

 

[ML89]

Gut, ich klicke also nicht in der Intel RST-Oberfläche auf Initialisieren? Das passiert also schon automatisch OHNE mein Zutuen? Benutze im Moment 128KB Stripe Size und 4K Cluster-Größe. Es sollen hauptsächlich Bilder gespeichert werden. Ist die Kombination dann empfehlenswert?

 

[Holt]

Ja, 128k Stripping und 4k Cluster passen gut. Wenn Du vor allem Bilder speichern willst, dann wird aber die Schreibrate nicht so toll sein, weil das ja wohl eher kleinere Dateien sind, oder wie groß sind die Bilddateien? Und vergiss nicht noch ein Backup der Bilder auf einem Medium zu halten, welches in einem anderen Gehäuse steckt! Wenn es um automatische Bearbeitung der Bild geht und die beiden 3TB Partitionen einmal Quelle und einmal Ziel sind, würde ich auch über einzelne HDDs oder ggf. zwei RAID 1 nachdenken, wenn die Verfügbarkeit eine Rolle spielt und die Bildbearbeitung nicht so lange dauert, dass die Zeit für I/O sowieso egal spielt.

 

[ML89]

Ein Bild sind ungefähr 25MB, Tendenz steigend, da die Auflösung zukünftiger Kameras steigen wird. Ebenso werden auch CAD-Daten gespeichert.
Habe noch mal weiter gelesen. Im Bezug zum Write-Back-Cache. In der Datenträgerverwaltung muss die "Von Windows veranlasstes Leeren Leeren des Geräteschreibcaches deaktvieren" aktiviert sein. Seit dem steigt die Übertragungsrate kontinuierlich und hat sich bei 64Mb/s eingependelt. Das RAID5 habe ich zwischenzeitlich neu angelegt, aber danach nicht Initialisiert.
Für alle die sich wundern: Das RAID5 soll in meiner Workstation laufen und mir dort eine gewisse Ausfallsicherheit geben und gleichzeitig den Speicherplatz von insgesamt 9TB effizient ausnutzen. In meinem Server soll auch ein RAID5 (oder RAID10) ensttehen, dort aber wie angesprochen aus Festplatten der WD-RED-Serie. Als letzte Sicherheit soll dann eine große externe Fetplatte dienen.

 

[Holt]

Also noch mal, das RAID sollte erst initialisiert sein, bevor man es nutzt. Man kann es auch vorher nutzen, nur ist die Performance dann natürlich mies, weil es eben ständig konkurrierenden Zugriffe auf die Platten gibt und da sie dafür die Köpfe hin und her bewegen müssen, bremst das gewaltig. Die Ermittlung der Performance ist erst nach Abschluss der Initialisierung möglich. Dann solltest Du auch noch mal prüfen ob es sich lohnt "Von Windows veranlasstes Leeren Leeren des Geräteschreibcaches deaktvieren" zu deaktivieren, denn die damit gewonnene Performance geht auf Kosten der Datensicherheit. Die mögliche Performance hängt bei HDDs immer auch von der Position auf der HDD ab, zwischen den inneren und den äußeren Zylindern liegt da etwa ein Faktor von 2. Die ersten Partition wird also höhere Transferraten bieten als die zweite.

 

[ML89]

Dass das RAID5 zuerst initialisiert werden muss, davon bin ich nicht ganz überzeugt. In der (zugegben dürftigen) Dokumentation zur RST habe ich nichts davon gelesen, dass das RAID als Erstes initalisiert werden musss.
Im Moment lasse ich das RAID5 ohne Partitionen initialisieren. Fortschritt bisher: 45%. Wenn das so weiter geht brauche ich 100 Stunden für das gesamte RAID.

 

[Holt]

Bei jeder Hard- und Software(komponente) erfolgt die Initialisierung immer von der Nutzung, das ergibt sich schon aus dem Wort Initialisierung.

 

[ML89]

Wenn das jetzt schon so elendig lange dauert, bin ich mir überhaupt nicht sicher, ob ich dem RAID meine Daten anvertrauen möchte. Daher belsese ich mich gerade über RAID-Controller. Ist LSI Logic empfehlenswert?

 

[Masamune2]

Es stand am Anfang sicher schon mal aber was genau hat du mit dem Raid nochmal vor?
Auch das stand sicher schon irgendwo aber nochmal: Das Raid steigert lediglich die Verfügbarkeit der Daten, NICHT die Sicherheit.

Wenn du Zweifel hast deine Daten irgendwo anzulegen sorge für ein sicheres Backup.
Ich selbst hab in meinem Media Center PC die Daten auf einem Raid 0 liegen und kann trotzdem ruhig schlafen.


Aber um deine Frage zu beantworten: Ja, LSI baut gute Controller. Ich glaube aber kaum das du einen brauchst.

 

[Humptidumpti]

@ML89
Eine Initialisierung dauert bei einem Raidcontroller ebenfalls lange. Kaum unterschied. Der begrenzende Faktor sind hier die Festplatten wenn ich mich nicht täusche.

Erfahrungsgemäß ist das Intel Chipsatz Raid immer relativ langsam. Da solltest du keine Wunder erwarten. Wenn es schneller sein soll guck dir mal Linux basierte Software Raids an. Das ist schon recht fix. Gute Raidcontroller sind. i.d.R. relativ teuer und recht unflexibel aber in der Leistung ebenfalls nicht übel.

 

[Masamune2]

Eine Initialisierung dauert bei einem Raidcontroller ebenfalls lange. Kaum unterschied. Der begrenzende Faktor sind hier die Festplatten wenn ich mich nicht täusche.

Naja bei einem Raid Controller mit Schreibcache (bzw. passender Batterie/Flash-Modul damit der Cache auch aktiv ist) geht die Initialisierung wesentlich flotter. Genauso wie später halt auch die Schreibvorgänge.
Bleibt allerdings immer noch die Frage ob man nur deswegen einen Controller für >300 EUR braucht.

 

[ML89]

In meiner Workstation möchte ich die drei Festplatten effizient nutzen. Mit einem RAID0 hätte ich insgesamt 9 TB aber keine Datensicherheit. Ich dachte daher, dass mit einem RAID5 eine gewisse Datensicherheit gegeben ist und ich zumindestens 6TB ausnutzen. Auf dem RAID sollte die erste Kopie meiner Daten liegen. Auf dem Server (Auch RAID5 oder RAID10) soll die zweite Kopie meiner Daten liegen und auf einer extrenen Festplatte die dritte.

Für der Server könnte ich auf einen RAID-Controller zurückgreifen mit Vorteil andere RAID-Typen zu schalten (z.B. mit HotSpare). Soweit ich das jetzt erkennen kann, müsste ja ein Controller mit einem SAS-Anschluss reichen um 4 SATA-Festplatten anzuschließen. Ich glaube, die Investtion in einen gescheiten RAID-Cobtroller für meinen Server könnte sich durachaus lohnen.