Stripsetvolume hängt

[digitalangel18]

Ausgangssituation:

Ich nutze ein über die Jahre gewachsenes Raid0/Stripsetvolume aus mittlerweile neun 4TB SATA SSDs. Damit habe ich ein großes knapp 33TB netto fassendes Volume auf dem ich komfortabel arbeiten kann. Der Grund ist simpel: ich arbeite gerne auf einem Laufwerk und möchte Foto und Videoprojekte nicht über diverse Laufwerke verteilen. Eine einzelne 4TB SSD ist beispielsweise zu klein um alle noch nicht abgearbeiteten RAW Videoprojekte zu fassen oder das Fotoarchiv zu speichern. Außerdem ist die Schreib/Lesegeschwindigkeit von über 3GB/s trotz günstiger SATA SSDs auch nicht zu verachten. Das ganze ist über mehrere Jahre beginnend von nur zwei Laufwerken aus immer weiter gewachsen und war durch die verteilten Kosten tatsächlich auch recht günstig zu realisieren.

Das Volume soll nach Möglichkeit so behalten werden, Backups sind natürlich vorhanden.

Zum Problem:
Hin und wieder kommt es zu einem "Schluckauf". Dabei bricht hauptsächlich die Schreibgeschwindigkeit (kann aber auch lesen sein) über längere Zeit auf wenige Kilobyte pro Sekunde ein und es wird faktisch unmöglich mit dem Rechner zu arbeiten. Kopieraktionen hängen, Videos lassen sich nicht abspielen, Spiele hängen etc.

Im Taskmanager wird dann meist bei einer oder zwei SSDs 100% Auslastung angezeigt obwohl kaum reads/writes stattfinden. Alle anderen SSDs tun nichts. Siehe Screenshots.

Nach einiger Zeit fängt es sich wieder und läuft normal weiter. Dabei kann es mehrere Wochen ohne ein Problem funktionieren und zwischenzeitlich zig TB geschrieben und gelesen werden, aber auch stundenlang hintereinander trotz Neustarts etc. komplett unbrauchbar sein. In den letzten Monaten lief es seit Wechsel zu Win11 tatsächlich unauffällig und ich habe mich bereits gefreut, leider ist das Problem seit heute aber wieder zurück.

Ich habe noch keinen Grund dafür finden können.

Was bisher alles versucht und ausgeschlossen habe:

-Verkabelung gewechselt
-andere(r) Controller
-CPU/Speicher/Grafikkarten Overclocking ja/nein
-sämtliche Systemtests wie prime95 etc. sind unauffällig
-Upgrade von Win10 auf Win11
-mehrmaliges neu-aufsetzen des Volumes
-verschiedene Chipsatztreiber und Bios Versionen über die Zeit
-erstellen des Volumes mit spare-space pro Laufwerk
-erstellen des Volumes in der Datenträgerverwaltung, per command-line, per Windows Speicherplätze
-NTFS und ReFS Dateisysteme
-SSDs sind 6 Sandisk Ultra 4TB und 3 MX500 - die Zusammenstellung dieser ist egal, das Problem tritt auch auf wenn Beispielsweise nur die 6 Sandisks für ein Volume genutzt werden.
-die System NVME SSD ist nicht betroffen.
-die SSDs funktionieren einzeln auch tadellos
-SMART Werte aller Laufwerke in Ordnung

Vielleicht habt ihr ja eine Idee? Mittlerweile tendiere ich zu einer unlösbaren Inkompatiblität von Hard und Software.

System:
5950X, Gigabyte Aorus Pro AX X570S, 64GB DDR3600, Windows 11 Pro for Workstations

 

[acidarchangel]

Was sagt den Crystaldisk zu den einzelnen SSDs?

 

[digitalangel18]

Alles unauffällig.

 

[Mojo1987]

Alles die exact selben SSDs oder hast du Modelle gemischt, Hauptsache 4 TB?

Nevermind, nochmal gelesen, du hast gemischt. Joa sollte man nicht tun. Auch sollte man Consumer SSDs nicht in so großen Stripes betreiben, dafür sind die Controller und die Firmware nicht ausgelegt.

Alles SSDs haben die selbe Firmware?

 

[JumpingCat]

https://www.techpowerup.com/ssd-specs/crucial-mx500-500-gb.d948 sowie https://www.techpowerup.com/review/sandisk-ultra-3d-4-tb-ssd/16.html

Schlägt da vielleicht der SLC Cleanup oder eine Garbage Collection zu?

Bitte auch mal Screenshots von CrystalDiskInfo für alle Platten posten!

 

[whats4]

und die raid treiber auf consumersockel warn auch noch nie das gelbe vom ei.
aber so ist das halt, ist eine nische/unwichtiger nebenschauplatz
die firmwares von consumerlaufwerken ist auch garantiert ned in irgendeine richtung raid optimiert.

 

[digitalangel18]

Alles die exact selben SSDs oder hast du Modelle gemischt, Hauptsache 4 TB?

Nevermind, nochmal gelesen, du hast gemischt. Joa sollte man nicht tun. Auch sollte man Consumer SSDs nicht in so großen Stripes betreiben, dafür sind die Controller und die Firmware nicht ausgelegt.

Alles SSDs haben die selbe Firmware?

Es sind jeweils drei SSDs mit identischer Firmware (3 Sandisks, 3 später gekaufte Sandisks mit vermutlich anderem Controller und die 3 MX500).

Das ist richtig - meine Konfiguration hat diverse potentielle Probleme, das seltsame ist eben das es teils Monatelang ohne irgendwelche Macken funktioniert. Sonst hätte ich diese Konfiguration ja schon längt verworfen. Wenn es sich nicht lösen lässt bleibt mir dahingehend auch nichts anderes übrig.

Ergänzung (9. August 2024)

und die raid treiber auf consumersockel warn auch noch nie das gelbe vom ei.
aber so ist das halt, ist eine nische/unwichtiger nebenschauplatz
die firmwares von consumerlaufwerken ist auch garantiert ned in irgendeine richtung raid optimiert.

Ich habe tatsächlich das Gefühl das die Installation vom aktuellen AMD Chipsatztreiber das Problem wieder ausgelöst hat. Vorher lief es in letzter Zeit perfekt. Deinstallieren hat leider spontan nichts gebracht.

 

[SSD960]

Warum installierst du denn einen neuen Chipsatz-Treiber?

 

[cunhell]

Der Trimbefehl hat, zumindest früher, bei Raidkonfigurationen nicht funktioniert. Wenn keine freien Blöcke mehr vorhanden sind, könnte ich mir vorstellen, dass die betroffenen SSDs in die Knie gehen.

Cunhell

 

[bezelbube]

Warum hast du am ende jedes Datenträgers immer 5 GB unzugeordneten Speicher.
Somit hast du kein Datenträgerübergreifendes Volumen.
Um ein Stripset irgendwann aufzulösen reichen 8 MB unzugeordneter Speicher und
dieser muss nichtmal auf einen Datenträger des Stripsets sein.

 

[digitalangel18]

Der Trimbefehl hat, zumindest früher, bei Raidkonfigurationen nicht funktioniert. Wenn keine freien Blöcke mehr vorhanden sind, könnte ich mir vorstellen, dass die betroffenen SSDs in die Knie gehen.

Cunhell

Diese Vermutung hatte ich auch schon, allerdings glaube ich nicht dass es daran liegt, das Problem kann auch direkt nach dem neu-erstellen des Volumes mit vorher frisch getrimmten Laufwerken auftreten.

Ergänzung (9. August 2024)

Warum hast du am ende jedes Datenträgers immer 5 GB unzugeordneten Speicher.
Somit hast du kein Datenträgerübergreifendes Volumen.
Um ein Stripset irgendwann aufzulösen reichen 8 MB unzugeordneter Speicher und
dieser muss nichtmal auf einen Datenträger des Stripsets sein.

Es war mal einer der Versuch dem Problem zu begegnen und die SSDs ggf. in iher garbage collection zu unterstützen. Es macht fürs Problem aber tatsächlich keinen Unterschied ob ich ihn unzugerdnet lasse oder nicht. Ein (oder mehrere) Stripsetvolumes kannst du übrigens bei dynamischen Datenträgern in beliebiger Größe erstellen.

 

[JumpingCat]

So funktioniert das nicht.

Hast du vorher einen kompletten Erase gemacht und dann eine einzige Partition angelegt und dort Trim ausgeführt? Bei manchen Herstellen brauchst du ein spezielles Tool vom Hersteller.

Wenn du das Problem umgehen willst, dann kaufe Enterprise SSD. Die handeln das alles geschickter bzw. haben nicht die "Workarounds" um eine hohe Geschwindigkeit kurzzeitig zu erreichen.

 

[digitalangel18]

Die Frage wäre eben ob es wirklich zu 100% an den consumer SSDs liegt, oder ob das Problem mit zwei 15.36TB U.2 SSDs auch wieder auftritt weil es eher ein AMD/Windows Problem ist.

 

[wern001]

und die raid treiber auf consumersockel warn auch noch nie das gelbe vom ei.
aber so ist das halt, ist eine nische/unwichtiger nebenschauplatz
die firmwares von consumerlaufwerken ist auch garantiert ned in irgendeine richtung raid optimiert.

für das windows software raid brauch man keine Treiber.
Da kann man mischen was man will und wie man lustig ist. Man kann dort alles Mischen was Windows als Massenspeicher erkennt.
Trim funktioniert nicht mit RAID egal ob Soft- oder Hardware
Ein manuelles Trim geht mit

defrag C: -L

 

[digitalangel18]

für das windows software raid brauch man keine Treiber.
Da kann man mischen was man will und wie man lustig ist. Man kann dort alles Mischen was Windows als Massenspeicher erkennt.
Trim funktioniert nicht mit RAID egal ob Soft- oder Hardware
Ein manuelles Trim geht mit

Da es sich um ein Softwareraid handelt, bin ich mir selbst auch nicht ganz sicher ob es hier wirklich an den Consumer SSDs liegt oder der Schuh wo anders drückt.

Die ganze Geschichte hat im übrigen auch die Eigenart, das es immer die gleichen ein, zwei oder drei SSDs sind die hängen. In der aktuellen Konfiguration sind es zwei Sandisks die aktuell als Laufwerke 0 und 1 im Taskmanager angezeigt werden. Vor einiger Zeit, als ich nur 6 Laufwerke hatte, war das gleiche Spiel allerdings bei einer MX500 - was mich auch wieder vermuten lässt das wir hier nicht unbedingt ein reines Hardwareproblem mit den SSDs haben.

Der manuelle Trim Befehl funktioniert übrigens nicht

Der angeforderte Vorgang wird von der Hardware des Volumes nicht unterstützt. (0x8900002A)

 

[wern001]

Wie ich schon schrieb. Der Trim Befehl wird von RAID nicht unterstützt.
Schon mal die SATA-Kabel gegen neue getauscht?

 

[digitalangel18]

Ich habe gerade auch mal mit dem 5GB freien Speicherplatz auf jeder SSD experimentiert, ohne das große 32TB Volume anzufassen.

• Ein übergreifendes Stripsetvolume aus 3-6 SSDs exklusive der 3 teilweise hängenden Sandisks funktioniert mit voller Performance.
• Sobald mindestens eine der Sandisks mit eingebunden wird sinkt die Schreibgeschwindigkeit wieder ins Bodenlose
• Die Sandisks funktionieren aber einzeln mit voller Geschwindigkeit wenn ich darauf jeweils ein einzelnes neues Volume erstelle. (Laufwerk K im Screenshot ist die im Task-Manager als hängend ersichtliche SSD wenn ich auf das große Volume schreibe).

Ergänzung (9. August 2024)

Wie ich schon schrieb. Der Trim Befehl wird von RAID nicht unterstützt.
Schon mal die SATA-Kabel gegen neue getauscht?

yes

 

[wern001]

evtl. ein limit vom SoftwareRAID von Windows? Nicht umsonst sagt MS das SoftwareRaid veraltet ist und das man es nicht mehr verwenden soll. Jedenfalls mit 5 SATA-SSDs im RAID0 läuft hier bei mir ein SoftwareRAID schon mehrere Jahre ohne Probleme.
Läuft jetzt über Speicherpool

 

[digitalangel18]

Ich glaube das Problem ist bei mir ab 6 SSDs aufgetreten. Eventuell ist da eine Limitierung also durchaus möglich.

Das komische ist eben, das es ja teilweise plötzlich auch über mehrere Wochen funktioniert bevor es wieder Probleme macht. Gerade kopiere ich z.B. 2TB Filme vom NAS aufs große Volume er schreibt die ganze Zeit munter durchweg mit >800MB/s. Bis es dann irgend wann später z.B. beim Fotos bearbeiten mal wieder hängt.

Die Speicherpools hatte ich nicht ausprobiert, da es soweit ich mich erinnern kann nicht möglich war ein Stripseset zu erstellen. Ich kann es mir aber notfalls nochmal ansehen.

 

[wern001]

evtl auf einen echten Raid-Controller wechseln. Gibt in der bucht gebraucht oft recht günstig.
Oder wie Du schon geschrieben hast auf u.2 wechseln