SAS Controller LSI Megaraid 9460-16i sehr langsam

[silentexodus]

Hallo,

ich habe einen LSI Megaraid 9460-16i, beim kopieren von größeren Dateien fällt die Schreibgeschwindigkeit nach kurzer zeit von 200Mb/s auf 40-60Mb/s (kurzzeitig sogar 0 Mb/s)
Hier wird eine 50GB Datei von einer WD Red Pro SATA auf eine SATA SSD kopiert, ich verstehe nicht was da die Geschwindigkeit Limitiert.

Ich hab schon alles mögliche Probiert, die anfängliche schnelle Schreibgeschwindigkeit wird wohl durch den Controller Cache so sein, aber dann wirds durchgängig langsam.
Selbst wenn ich das Laufwerk auf Always Write Back stelle habe ich das selbe verhalten. Controller Chip Temperatur ist laut software auch im grünen bereich.

Der Controller läuft unter der neusten Firmware & Treiber. Die Festplatten sind einzeln als Raid 0 konfiguriert, also von da her gibts auch keine Limitierung.

Jemand eine Idee?

Grüße

 

[NobodysFool]

Auf welche SATA SSD wird denn konkret kopiert? Hersteller, Bezeichnung? Es gibt SSDs, speziell welche ohne DRAM Cache, die werden bei größerer Schreiblast zu solchen Krücken. Und das wird schlimmer je voller sie sind.

 

[silentexodus]

Bei dem Screenshot auf eine 8 TB Samsung QVO, aber es spielt keine Rolle ob ich auf eine HDD oder SSD kopiere. Der verlauf sieht immer exakt gleich aus.

 

[Wishbringer]

Wie ist der Controller in PCIe eingebunden?
Ist ja eine PCIe 3.0 x8 Karte.
Wie ist die Anbindung ans Mainboard/CPU?
Einige Slots sind ja häufig je nach sonstiger Auslastung/Bestückung auf PCIe x4 oder sogar x1 begrenzt.

Edit:
Erster Gedanke war: "QVO, ist klar" aber bei einer 8TB QVO ist der SSD-Cache riesig.
Nächste Überlegung: Einzelne Platten als RAID0?! Gibt es keine Einbindung als Einzelplatte?
Nächste Überlegung: Ziel und Quelle beide am Raidcontroller? Dann ist Anbindung Karte an MB/CPU eigentlich nebensächlich, da ein guter Treiber die Daten dann gar nicht in den Speicher des Mainboards holt.: HDD1->Controller->HDD2
Unter "More Action->Storage Link Speed", wie sind da die Einstellungen des MegaRaid-Controllers?

 

[MadMax_87]

Also selbst Pcie1 x1 schafft 250 MB/s...da denke ich kaum das es in der Anbindung liegt.

Was bedeutet den "einzeln" als Raid 0?
Für ein Raid brauchts Minimum 2 Platten...

 

[silentexodus]

Mainboard ist ein Asus Z490 Pro Creator, die Karte steckt dort im x16 Slot. CPU ist ein i9 10900T.. also vermutlich kann ich hier eine performancebremse ausschließen.

Ne man kann einzelne Platten nur als Raid 0 auswählen, passt ja auch. Quelle und Ziel sind am Controller angeschlossen ja, aber auch wenn ich von einer M.2 die auf dem Mainboard steckt auf eine Festplatte am Controller schreibe, habe ich auch den Verlauf...

Hab schon so viel probiert, ich komme einfach nicht dahinter.

So ist z.b Samsung QVO konfiguriert:

 

[snaxilian]

Anhand der Beschreibung und des Bildes ist für mich noch nicht erkennbar ob die Quelle nicht schnell genug liefert oder ob das Ziel bremst.
Ebenso ist für mich nicht klar ob jetzt Quelle und Ziel beide am LSI hängen oder nur das Ziel-Laufwerk.
Hängen am LSI noch andere Laufwerke?

Was bedeutet den "einzeln" als Raid 0?
Für ein Raid brauchts Minimum 2 Platten

Nein. Raid 1 als auch 0 kann man mit einer einzelnen Disk aufsetzen. Bei Raid 1 z.B. weil die zweite Hälfte des Spiegels noch im Versand hängt und Raid 0 für einzelne Disks ist häufiges Vorgehen wenn man einzelne Disks an einem Raid-Controller nutzen will.

 

[silentexodus]

Ja es hängen ingesamt 14 Festplatten am LSI Controller, es spielt überhaupt keine rolle von wo die Daten kommen und an welche festplatte am Controller geschrieben wird, beim Schreiben ist es immer erst schnell, dann fällt der speed auf 40 bis 60mb/s.

 

[deveth0]

Hast du es mal mit einer Linux Live distri versucht? Wenn das Problem da nicht auftritt, kann man die Hardware wenigstens ausschließen.

 

[silentexodus]

Könnte ich mal testen, welche live distri sollte ich versuchen? Die auch den SAS controller unterstützt?

Aktuell läuft alles auf Windows Server 2019 Standard.

 

[snaxilian]

Bitte achte auf die Schreibweise der Einheiten, das ist relevant.

Der Unterschied zwischen MB/s und Mb/s ist Faktor 8, denn das eine heißt MegaByte pro Sekunde und das andere MegaBit pro Sekunde.

Ansonsten auch mal OS ausschließen. Im Zweifel ins Manual vom Controller gucken, welche Distris unterstützt werden. Die Klassiker sind RHEL (also alternativ CentOS bzw. jetzt Rocky Linux) oder SLES, manchmal auch Ubuntu.
Du musst den Fehler halt eingrenzen und das klappt gut durch Ausschlussverfahren. Wenn das OS es nicht ist, weil der Fehler auch unter Linux auftritt, dann würde ich die QVO SSD an einen anderen Controller hängen oder direkt ans Board und erneut testen. Tritt der Fehler nicht mehr auf, wird es am LSI SAS Controller liegen. Tritt der Fehler weiterhin auf, liegt es nicht am Controller und eher an der SSD.

Da es abfallende Leistung ist, würde ich mal generelle Fehler wie Alignment der Partition oder des Dateisystems ausschließen.

@wern001 Robocopy auf der Powershell würde es auch direkt tun ohne irgendwelche Dritttools.

 

[wern001]

der explorer ist einfach grottenschlecht beim kopiern großer daten.
kopiere mal mit totalcommander oder teracopy

nicht zu vergessen: SSDs haben einen eigenen cache und danach bricht die schreibrate zum teil extrem ein.

 

[Gamienator]

Der Tipp mit der Livedistri ist gar nicht mal verkehrt. Wäre nicht das erste mal, dass im Windows iwas defekt ist. Es ist auch ein RAID Controller, kein Einfacher HBA, sprich das geht alles durch den SoC der Karte und dort findet auch bearbeitung statt.

Hast du denn auch mehrere Platten und kannst mal ein RAID 1 machen? Einfach um zu sehen wie sich der Controller verhält bei der vorhergesehen Verwendung?

 

[silentexodus]

Beim Raid 1 (aus 2 Festplatten) ist es genau so, eben getestet.

Windows kann ich eigentlich auch ausschließen, SSD´s oder HDD´s die am Mainboard angeschlossen sind laufen unter maximaler geschwindigkeit.
Vermutlich irgendein Firmware/Treiber/Einstellungs problem vom SAS Controller... auf jeden fall sehr ärgerlich, für so einen teuren controller...

 

[deveth0]

Wieso kannst du damit Windows ausschließen? Wenn es da ein Problem mit dem Treiber gibt, dann fällt das natürlich nicht auf, wenn du die Platten ans MB hängst.

 

[wern001]

schon einen benchmark gemacht?

 

[Humptidumpti]

Ich bezweifle dass das am Controller oder am Windows Explorer liegt. Die Controller sind eigentlich durchgetestet bis zum gehtnichtmehr und wenn Fehler auftreten werden die schnell behoben. Firmware aktuell? Um einzelne Festplatten anzusprechen führt kein Weg um ein Raid 0 mit einer Festplatte herum. Das ist aber auch normal.

Ich denke mal du hast nicht nur die eine Festplatte an dem Controller in Betrieb? Was passiert wenn du von der oben erwähnten Festplatte auf eine andere oder ein Array kopierst?

Ich kann im Windows Explorer auch große Dateien mit dem Speed kopieren was die Arrays hergeben. Und das war auch schon immer so. Und das über Terabytes an Daten.

 

[silentexodus]

Das hab ich alles schon beantwortet. Firmware aktuell, ja. 14 Festplatten dran, SSD und HDD gemischt im Raid 0 (jede einzeln), ein Raid 1 (aus 2 HDD´s). Egal von wo die Daten kommen Netzwerk, M.2 vom Mainboard, Controller selbst mehr wie 70MB/s kommt nicht rum sobald der Controller Cache voll ist.

Kann auch nicht sagen ob es schon von Anfang an so war, mir ist es nur jetzt erst aufgefallen.

Ich habe keine Batterie am Controller, daran wirds nicht liegen oder?

 

[Pandora]

Der Controller misst die Temperatur aber noch korrekt, sonst evtl. mit einem einzelnen angesteckten Laufwerk testen.

 

[silentexodus]

Der Controller sagt mir 53°C (0-55°C ist operating temperature) das ändert sich auch bei aktivität kaum. Hab aber Sicherheitshalber nochmal mit einem Infrarotthermometer gemessen da sinds nur 43°C am kühler.