Performanceproblem: WD Red 3TB an Intel ICH10R im RAID5

[Platinum22]

Hallo ComputerBase-Forum!

Ich habe grössere Performanceprobleme mit einem RAID5-Verbund und wende mich nun an Euch, da sich hier Einige tummeln, welche einiges wissen über RAIDs und Festplatten...

Ich betreibe einen Windows Home Server 2011 (Basis: Windows Server 2008 R2), welcher u.a mit einem RAID5 an einem Intel ICH10R ausgestattet ist.

Fakten zum System:

- Mainboard:

• AsRock P67 Extreme6

- Speichercontroller:

• 1x ICH10R (im P67er Chipsatz)
• 2x Marvell 9120 (je 2x SATA3)

- Laufwerke:

• 1x Samsung SSD830 128GB am Intel ICH10R Port 1
• 5x WD Red 3TB im RAID5 am Intel ICH10R Port 2-6
• 2x Samsung HD204UI 2TB am Marvell 9120
• 1x WD RE 3TB am Marvell 9120
• 1x Samsung DVD Laufwerk am Marvell 9120

- Arbeitsspeicher:

• 2x 4GB DDR3 1600

- Intel RST-Treiber:

• v11.2.0.1006 WHQL

- Einstellungen RAID5:

• Stripsize: 128KB / Cache: Write-Back aktiviert

Fehlerhaftes Verhalten:
Auf dem RAID5 werden grössere Dateien (durchschnittlich 10-20GB pro File) abgespeichert. Dementsprechend wurde die Strip-Size bei der Erstellung des RAIDs auch auf die maximal möglichen 128KB eingestellt.
Wird nun ein solches File abgespeichert, habe ich zu Beginn Schreibraten von über 100MB/s (GBit voll ausgelastet)! Doch nach ca. 5GB bricht die Schreibrate auf unter 50MB/s ein. Es scheint also lediglich der Cache bzw. RAM gefüllt worden zu sein und dann verlangsamt der aktive Schreibvorgang auf das RAID5 den ganzen Kopierprozess.

Im alten RAID5 (gleiche Hardware, aber mit 5x Samsung HD204UI 2TB Festplatten und 64KB Stripsize) hatte ich bis zu 90MB/s durchgehend! Somit kanns grundsätzlich nicht am ICH10R liegen. Lediglich die Festplatten und der Treiber haben geändert.

Ist eventuell das Alignment fehlerhaft? Oder die Stripsize zu gross?

Bereits jetzt schon vielen Dank für die Antworten!

Im Anhang befinden sich Benchmarks mit ATTO, CrystalDiskMark, AS SSD (bez. Alignment) und die Auswertung mit cmd.

 

[muki16]

Neuestes BIOS ist drauf?

 

[Platinum22]

Jep, ist drauf...

Das BIOS verfügt über die RST-ROM Version 10.8.0.1303...

 

[muki16]

Das wird wohl an der stripe size liegen. Ab ner gewissen Größe wird die sich auch wieder negativ auf die Schreibleistung auswirken. Vielleicht schafft 64K ja Abhilfe.

 

[HisN]

5GB beträgt der Speicher der im Server frei ist.
Der Cached so lange bis das RAM voll ist, und dann bricht es auf die tatsächliche Schreibleistung des grandiosen Software Raid5 ein.
Ich könnte mir bei den großen Platten ein Aligment-Problem vorstellen. Die Frage ist nur, wie bekommt man das in einem Raid geschoben, wenn es der Raidcontroller nicht von sich aus richtig macht. Mir fällt da nix dazu ein. Entweder der Controller kann es, oder nicht.
Das Problem haben auch viele "teure" Profi-Controller. Die sagen dann gleich: 4K-Platten: Nicht unterstützt.

 

[Platinum22]

Die HD204UI-2TB Platten von Samsung, welche ich vorher im RAID5 hatte, waren doch auch 4k? Da hatte dies offenbar aber keine Probleme bereitet...

 

[HisN]

Vielleicht hat da nur zufällig das Aligment gepasst?

 

[Platinum22]

Gemäss AS SSD Benchmark stimmt das Alignment, doch ich traue dieser Angabe nicht ganz und vermute ebenfalls hier den Fehler...
Wie kann ich weiter vorgehen, wenn ich genauere Untersuchungen im Bezug auf das Alignment anstellen möchte?

 

[Humptidumpti]

Da müsstest du einen fragen der die Spezifikationen des Alignments kennt welches die Intel Firmware benutzt. Ich denke aber da hat Intel bzw. auch die Boardhersteller sich schon auf das Alignmentproblem eingeschossen. Die Platten gibts ja nicht erst seit gestern. Also dürfte da alles in Ordnung sein. Sieht man auch daran das die alten Platten auch schon 4k waren.

Generell sind 50MB/s mit nem ICH10R Software Raid aber das was man erwarten kann. Du siehst ja selbst erst läuft der Cache voll und dann kommt die wahre Schreibgeschwindigkeit heraus.

 

[Platinum22]

Die Platten gibts ja nicht erst seit gestern. Also dürfte da alles in Ordnung sein. Sieht man auch daran das die alten Platten auch schon 4k waren.

Generell sind 50MB/s mit nem ICH10R Software Raid aber das was man erwarten kann. Du siehst ja selbst erst läuft der Cache voll und dann kommt die wahre Schreibgeschwindigkeit heraus.

Eben...das ist ja der springende Punkt. Die alten Platten waren schon 4k, aber die Transferraten waren jenseits der 80MB/s-Marke! Der einzige Unterschied was Einstellungen des RAIDs betrifft ist, dass ich bei Verwendung der HD204UIer eine 64KB-Stripsize eingestellt hatte.

Kennt sonst noch jemand das Verhalten eines ICH10R im RAID5 Betrieb mit einer Stripsize von 128KB?

 

[Platinum22]

Hallo

Ich habe das RAID mal leergeräumt und dann ein neues RAID5 mit 64KB Strip-Size gebildet...hat ca. 60h gedauert.
Es hat sich aber gelohnt!

Ich habe beim Formatieren des RAIDs als Zuordnungseinheit "standard" gewählt. Sollte schon klappen damit oder?

 

[Platinum22]

Würde es Sinn machen, die Cluster-Size ebenfalls auf 64KB zu setzen?

 

[Platinum22]

Ich habe Heute den gesamten RAID5-Verbund erneut fomatiert, diesmal aber mit einer Cluster-Size von 64KB.
Die Schreibwerte haben sich nochmal verbessert!
Ich denke, ich habe nun das Maximum herausgeholt und sehe das Problem als gelöst, und den Thread als geschlossen an...

An alle, welche ein RAID5 (für eher grosse Files) mit dem Intel ICH10R Controller aufbauen möchten:

Strip-Size auf 64KB stellen, den Verbund danach mit 64KB Cluster-Size formatieren und Top-Werte sind garantiert!

Gruss Platinum22

 

[1668mib]

Edit: Ups, eigentlich wollte ich gar nicht in diesem Thread posten :-)

Abe nun hab ich doch:
@Platinum22. Dein RAID liefert gute Werte bei sequentiellem Zugriff. Aber bei wahlfreiem empfinde ich es erbärmlich...
Aber so überflüssiges Zeugs hast du später ja gar nicht mehr getestet... die Länge macht's halt.

 

[Platinum22]

Edit: Ups, eigentlich wollte ich gar nicht in diesem Thread posten :-)

Abe nun hab ich doch:
@Platinum22. Dein RAID liefert gute Werte bei sequentiellem Zugriff. Aber bei wahlfreiem empfinde ich es erbärmlich...
Aber so überflüssiges Zeugs hast du später ja gar nicht mehr getestet... die Länge macht's halt.

Weils nichts mehr zu testen gab! Die Randomwerte lassen sich nicht mehr verbessern. Ausserdem besitzen DIE für den Einsatz als Datengrab keinerlei Relevanz...

 

[Platinum22]

Was ich noch vergessen habe zu erwähnen: CrystalDiskInfo unterstützt Intel RAIDs! Somit kann man wirklich jede Festplatte auslesen, auch wenn sie sich in einem RAID befindet.