NVME Raid 0 auf Asus WRX90E mit 2x 1TB Crucial T705 / Leseggeschwindigkeit low ?

[freekymachine]

Hey,

Ich hab hier 2x Crucial T705 mit 1TB
Hab sie in Raid0 gepackt - aber die Lesegeschwindigkeit lässt zu wünschen übrig ?!
Einzeln erreicht jede Platte was sie schaffen soll.

In Raid0 lässt die Lesegeschwindigkeit sogar eher nach - Schreibgeschwindigkeit ist super!

System ist ein Asus WRX90-E mit Threadripper 7955wx und 8x 16GB Kingston ECC Reg 6400Mhz
Ist auch egal ob ich die Cache-Size auf 64 oder 256KB setze oder ob mit oder ohne Precache

Oder versteh ich da was falsch ? Sollte Leseggeschwindiggkeit nicht um die 20Gb/sec liegen, theorethisch ja bei 24GB/sec ?
Zumindest über 15Gb/sec ?

Mehrfach tests wiederholt - Atto-Benchmark auch - teilweise liegen die Lesegeschwindigkeiten sogar nur bei 7GB/sec.
Die beiden Bilder präsentieren sogesehn die besten ergebnisse die ich erzielen konnte.

Gibt auch irgendwie nicht wirklich viel zum einstellen, weder im Bios/Raidconfig-erstellen, noch im Programm.

Danke & Gruß

 

[DJMadMax]

Welche Stripe Size hast du denn für das RAID gewählt?

EDIT:

Hier gibts ein schönes Bild aus dem Overclock-Forum. Gerade bei sehr performanten Laufwerken merkt man die Auswirkungen der Stripe Size deutlicher. Der Nachteil ist, dass bei steigender Stripe Size auch die Kapazität pro gespeicherte Datei geringer ausfällt. Eine 1 Byte Textdatei nimmt bei einer 128 KB Stripe Size nunmal 128 KB Speicherplatz in Anspruch, lässt sich dafür aber schneller lesen, als wenn sie aud einem kleineren Stripe Cluster liegen würde.

Du hast hier beim RAID also immer ein Trade-Off zwischen "maximalster Geschwindigkeit" und "optimaler Speicherauslastung".

Ergänzung (Heute um 07:18)

Noch was: stell die Test Size mal auf mindestens 8 GB.

 

[Krik]

Eine 1 Byte Textdatei nimmt bei einer 128 KB Stripe Size nunmal 128 KB Speicherplatz in Anspruch

Ist das tatsächlich so? Ich dachte immer, der tatsächlich verwendete Speicherplatz je Datei hängt von der Sektorgröße (heute üblicherweise 4 KB) ab und die wiederum vom den Einstellungen des Dateisystems ab.
Und wenn die Sektorgröße kleiner als die Stripe-Größe ist, dann wird die Datei wahrscheinlich nur auf einer Platte gespeichert statt auf mehreren verteilt.

 

[DJMadMax]

Und wenn die Sektorgröße kleiner als die Stripe-Größe ist, dann wird die Datei wahrscheinlich nur auf einer Platte gespeichert statt auf mehreren verteilt.

Da bin ich mir nicht wirklich sicher und spätestens bei einem RAID1 wäre das ja entgegen der Funktionsweise eines gespiegelten RAIDs. Was das Stripe (also RAID0) angeht, da lese ich mal schnell was nach.

Faktisch geht der belegte Speicherplatz aber in die Höhe bei größerer Stripesize. Das habe ich selbst vor der Einrichtung meines 3er RAID0 getestet und es wird auch überall so beschrieben.

EDIT:
Okay, es ist genau so: auch kleinere Dateien werden weiterhin auf allen im RAID verbauten Datenträgern gespeichert, unabhängig der Stripe Size. Das Problem ist eben genau das, wenn du eine Stripe Size von 64 KB nutzt, die Datei aber nur 1 KB hat, dann belegt sie eben zwei mal 64 KB.

Aber, wie gesagt: die Lese- und Schreibperformance nimmt bei größerer Stripesize auch zu.

 

[Azghul0815]

Zwar etwas OT,
Aber wofür macht ein Raid0 bei SSDs heute Sinn?
Bei den HDDs gings ja um mehr Performance, oder zumindest hab ich das damals deshalb gemacht.

 

[Sunweb]

Aber wofür macht ein Raid0 bei SSDs heute Sinn?

Um die SSDs langsamer zu machen.
Du schaltest einen zusätzlichen Controller dazwischen, der dir die Zugriffszeiten schrottet.

 

[Robo32]

Und wenn die Sektorgröße kleiner als die Stripe-Größe ist, dann wird die Datei wahrscheinlich nur auf einer Platte gespeichert statt auf mehreren verteilt.

Eigentlich richtet sich das nach der Stripe Size da diese die Verteilung veranlasst.
Der interne Aufbau vom Speichermedium ist dem RAID unbekannt und es wird auch keine Rücksicht darauf genommen - das ist Aufgabe vom demjenigen der das einrichtet... (man sollte sich vorher Gedanken machen...)

Aber wofür macht ein Raid0 bei SSDs heute Sinn?

Eigentlich für nichts, die Nachteile überwiegen fast immer die Vorteile.

• mit RAID0 kann man die Kapazität steigern, allerdings gibt es auch grössere SSDs
• mit RAID0 kann man die Lese- und/oder Schreibgeschwindigkeit steigern, allerdings kann man auch direkt schnellere SSDs verwenden wenn das nötig ist zumal die maximale Schreibgeschwindigkeit bei SSDs sowieso begrenzt ist (P-SLC)
• Ausfallwahrscheinlichkeit bei RAID0 steigt
• Datensicherheit bei RAID0 sinkt
• RAID ist immer ineffizient, ab RAID1 gibt es aber zumindest noch die theoretisch höhere Verfügbarkeit
• RAID erhöht grundsätzlich die Zugriffszeiten
• SW-RAID belastet zusätzlich die CPU
• HW-RAID belastet zusätzlich die Brieftasche
• ...

 

[wern001]

• RAID ist immer ineffizient, ab RAID1 gibt es aber zumindest noch die theoretisch höhere Verfügbarkeit

Dem kann ich nicht ganz zustimmen.
Hab hier ein Raid1 mit 2x SATA SSD Samung 860 pro an einem Adaptec SmartRaid und die schaffen im lesen ca 800 mb/sek. Ich weiß zwar nicht wieso aber die machen es.

Die höhere Verfügbarkeit ist nicht Theoretisch sondern der Sinn von RAID. RAID0 hat die 0 weil es kein echtes RAID ist 0 = nix redunant

 

[Robo32]

@wern001
Einige Kontroller schaffen es bei RAID1 usw. die Daten wenn möglich von allen Datenträgern parallel zu lesen - Glück gehabt, ist aber nicht die Regel.
Ineffizient ist es trotzdem da Du bei RAID1 mit zwei Datenträgern eben 50% Kapazität verlierst.

Verfügbarkeit ist auch so eine Sache...

• beim Ausfall einer SSD kannst Du ab RAID1 weiter arbeiten
• beim Ausfall vom RAID-Kontroller eben nicht
• bei Verwendung von SW-RAID kann sowieso so einiges passieren

Man sollte man auch Server und Clients nicht unter einen Hut bringen, die Verfügbarkeit ist bei Servern ja nach Bedarf nur eine Geldfrage, bei Clients vor allem bei Privatnutzung eher unwichtig (bleibt natürlich eine Ermessensfrage).

 

[freekymachine]

Danke für Antworten

Welche Stripe Size hast du denn für das RAID gewählt?

Zur Auswahl hab ich im Bios nur 64,128,256 - alle 3 ausprobiert - faktisch kein Unterschied.

Noch was: stell die Test Size mal auf mindestens 8 GB.

Eben grad mal probiert - passiert auch nicht viel mehr oder weniger, 11,5GB/sec

Um die SSDs langsamer zu machen.
Du schaltest einen zusätzlichen Controller dazwischen, der dir die Zugriffszeiten schrottet.

Hehe...in dem Fall auf jeden Fall "ja" - sonst eigentlich eher nicht

wird schon schneller - klar muss man die Performance / den Controller dazwischen mit berechnen
Man verliert etwas an Zugriffszeit & eine 100% skalierung ist natürlich nicht möglich.

Eigentlich richtet sich das nach der Stripe Size da diese die Verteilung veranlasst.
Der interne Aufbau vom Speichermedium ist dem RAID unbekannt und es wird auch keine Rücksicht darauf genommen - das ist Aufgabe vom demjenigen der das einrichtet... (man sollte sich vorher Gedanken machen...)

Eigentlich für nichts, die Nachteile überwiegen fast immer die Vorteile.

Raid ist natürlich eher was für Server und Performance Anwendungen.
Sonst funktioniert sowas im professionellen Bereich eigentlich 1A+

• Raid0 werden ja sonst auch gerne mal 32x 12TB Platten gehängt - so große Einzelplatten gibs dann auch nicht.
• "Schnellere" SSD gibs in dem Falle nicht - die T705 ist aktuell die schnellste der Welt. Und man sieht ja auch auf dem Screenshot - "mmmm lecker" 20GB/sec Schreibgeschwindigkeit.
• Ausfall und Datensicherheit ist natürlich immer ein Thema - gut dafür gibs natürlich Raid LVL 10,20,60^^
• ...was natürlich auf "nicht auf die Brieftasche geht" ..sondern eher auf das College-Geld der Kinder

Klar ist schon teuer - eine 100% Skalierung gibs nicht - aber sonst macht das eigentlich fun.
Hatte über die Jahre viele Raids.

2x 36GB 15k U/min Ultra 320SCSI
4x 250GB SATA HDD
2x Corsair Force GT 120GB SSD

Lief eigentlich immer super - aber die liefen auch an ordentlichen Raid-Controllern - dieses NVME Raid hängt an dem "Onboard AMD Kram" ?! - ich glaub nicht das n Threadripper 7000 Pro ne wirklich merkliche "Belastung" für so eine CPU darstellen sollte ?!

Auf jeden Fall "enttäuschend"
- Hab hier und da andere gesehn, mit älteren AMD Ryzen, die teilweise 3x einfach irgendwelche M.2 SSD zusammengeschaltet haben und auf 20GB/sec lesend kommen.

 

[Robo32]

@freekymachine
Wo und wie genau sind die SSDs angeschlossen?

 

[DJMadMax]

@freekymachine
Um ehrlich zu sein bin ich dann auch überfragt. Gerade auf einem Threadripper-System sollte man meinen, dass es keine Lane-Sharing-Probleme gibt, jedenfalls nicht bei deinem eher überschaubaren Einsatz. Sicher, dass alle M.2 SSDs dort verbaut sind, wo sie auch an der CPU direkt mit PCIe 5.0 angefahren werden können? Sicher, dass keine sonstigen Gerätschaften/Grafikkarten PCIe 5.0 Lanes klauen?

Ich kann eben "nur" von meinem MSI MAG Tomahawk Z690-Board berichten, aber hier habe ich mit insgesamt drei PCIe 4.0 SSDs sowie einer RTX 4080 Super keinerlei Probleme mit Lane Sharing und die SSDs liefern in synthetischen Tests auch die zu erwartenden ca. 20 GB/s Lese- und Schreibgeschwindigkeit, also tatsächlich eine nahezu 100%ige Skalierung (3er RAID0).

 

[Krik]

auch kleinere Dateien werden weiterhin auf allen im RAID verbauten Datenträgern gespeichert, unabhängig der Stripe Size. Das Problem ist eben genau das, wenn du eine Stripe Size von 64 KB nutzt, die Datei aber nur 1 KB hat, dann belegt sie eben zwei mal 64 KB.

Alles klar! Danke fürs Nachsehen. Also muss das OS dem RAID-Controller irgendwie eine Info mitgeben, dass eine Datei 1 KB groß ist, sodass der Controller sie passend verteilen kann.

Apropos Anschluss:
Sofern der TE die SSDs in die M.2-Slots gelegt hat, hat er alles richtig gemacht. Die sind direkt an die CPU angebunden.

Es kann eigentlich nur noch eine Konfigurationssache sein, die die Geschwindigkeit ausbremst.

 

[freekymachine]

@freekymachine
Wo und wie genau sind die SSDs angeschlossen?

Direkt am Mainboard - hat 4x M.2 - allesamt direkt in die CPU

Schnell mal Blockdiagram rausgekramt ;

(Oder Handbuch Seite 69 von 82 // A1)

Werd nochmal andere Ports / Kombinationen probieren denke ich ?!

@freekymachine
Um ehrlich zu sein bin ich dann auch überfragt. Gerade auf einem Threadripper-System sollte man meinen, dass es keine Lane-Sharing-Probleme gibt, jedenfalls nicht bei deinem eher überschaubaren Einsatz. Sicher, dass alle M.2 SSDs dort verbaut sind, wo sie auch an der CPU direkt mit PCIe 5.0 angefahren werden können? Sicher, dass keine sonstigen Gerätschaften/Grafikkarten PCIe 5.0 Lanes klauen?

Ich kann eben "nur" von meinem MSI MAG Tomahawk Z690-Board berichten, aber hier habe ich mit insgesamt drei PCIe 4.0 SSDs sowie einer RTX 4080 Super keinerlei Probleme mit Lane Sharing und die SSDs liefern in synthetischen Tests auch die zu erwartenden ca. 20 GB/s Lese- und Schreibgeschwindigkeit, also tatsächlich eine nahezu 100%ige Skalierung (3er RAID0).

Ja das...genau das tut weh zu lesen

Du hast n Z690 - 3x M.2 Gen4 dran mit nahezu 100% Skalierung = 20GB/sec lesen - aber n Threadripper kanns nicht ?! - ouh man

Kann mir auch einfach nicht vorstellen, das da irgendwas Lane-sharing, in die Quere kommt - das is n Threadripper+WRX90 - der hat eh viel zu viele Lanes, der brauch doch gar nix doppelt/halb oider shared belegen. Laut Blockdiagramm (siehe oben) alles einfach direkt an der CPU.

Was ich hier und da anscheinend woanders nebenbei finde scheint sone Aussage zu sein ;
"AMD Raid = Mist" ?!

 

[DJMadMax]

@freekymachine
Ohne jetzt Salz in die Wunde streuen zu wollen ^^

Das stammt aus meinem Leserartikel zum Thema RAID0 mit SSDs (insgesamt drei KC3000 in meinem Fall).

Abseits von der enormen Durchsatzrate hat man aber wirklich keine echten Vorteile dabei. Auch Ladezeiten selbst komplexester und größter Spiele lassen sich da nur wenig von beeinflussen.

 

[freekymachine]

@freekymachine
Ohne jetzt Salz in die Wunde streuen zu wollen ^^

Und da tut er es doch

ne, schon o.k. - eher interessant.

= das geht eigentlich...aber anscheinend nicht. [zumindest nicht auf AMD-CPU-Raid ?!]
Warum?! - gute Frage.

ich setz mich gleich nochmal mit der Kiste auseinander - probier Treiber, Slots - und häng evt mal n wildes Raid aus verschiedenen M2 zusammen.

Immerhin tuts schnell schreiben.
Sonst seh ich auch nicht allzuviel Nutzen drinne - meisten Programme können mit soviel Speed eh nicht umgehen - merkte man schon damals Sata SSD 500MB/sec vs schnelle M.2 mit 3000MB/sec.
Klar ist besser geworden, aber bleibt wie immer "warten auf Software, bis sie damit umgehen kann"

Müssen schon Tools, Programme, Anwendungen sein, die Grenzenlos arbeiten - aber dann muss man auch gleich 12x M.2 in Raid drücken

ich berichte ;
Mal sehn was sich noch so ergibt + hab evt ein gefunden der auch ein WRX90 hat und gleiches beschreibt - von dem auch die Aussage "Dont go with AMD RAID, it is horrible"

 

[DJMadMax]

@freekymachine
Bleiben wir doch lieber mal bei der Frage, was genau du dir von einem SSD RAID0 erhoffst? Wenn du sowieso schon PCIe 5.0 SSDs mit hoher Datenrate einsetzt, dann wirst du hier vermutlich keine nennenswerten Vorteile im allgemein durchschnittlichen Usecase erzielen können.

Wie gesagt, Zugriffsraten und Ladezeiten von Programmen etc. sollten im Single Mode schneller sein.

 

[massaker]

wirst du hier vermutlich keine nennenswerten Vorteile im allgemein durchschnittlichen Usecase erzielen können.

Allgemein durchschnittlicher User benutzt aber sicherlich kein Threadripper-Pro-HEDT-System mit mehreren Gen5-SSDs...daher würde ich das dem TE überlassen...
@freekymachine Hast Du auch im Windows unter Array-Eigenschaften den Cahce an? So:

Vielleicht die Cache-Einstellungen vergessen:

Stell bitte so ein:

 

[freekymachine]

@freekymachine Hast Du auch im Windows unter Array-Eigenschaften den Cahce an? So:

Vielleicht die Cache-Einstellungen vergessen:

Stell bitte so ein:

Screenshot war wohl von einer Variante wo ich es mal ohne probiert hatte - scheint alles kein unterschied zu machen.

Erwähnte ja, so wirklich viele Einstellungen gibt einem das Biso nicht zu Raids - ist halt echt kein Highpoint oder Adaptec Raid, wie man es von früher kennt.
Die paar Varianten/Optionen die es einem anbietet...

Aktuell ist es so - aber macht weiterhin nur seine durchschnittlich 11,5GB/sec - wenigstens zuverlässig

Hab auch Array jetzt mal umgesteckt - aber ist wie zu erwarten egal - alle 4 M.2 gehen halt direkt in CPU - egal wo die stecken - bekommen nur andere ID.

Ich glaub AMD-CPU-Raid ist anscheinend einfach so schlecht
Jetzt auch diverse Treiber-Varianten durch gegangen, alles ohne Signifikante änderungen.

 

[Krik]

@freekymachine
Ich traue mich gar nicht zu fragen, aber Firmware und Treiber sind aktuell?

Wenn das auch nichts bringt, dann empfehle ich dir, mal den Asus-Support zu kontaktieren. Normal ist dieses Verhalten ja nicht.