Spindown Probleme mit Broadcom eHBA 9600-24i

[Skynet7]

Hallo,
in den letzten Tagen habe ich meinen alten LSI SAS 9305-16i HBA ausgetauscht und alle meine Festplatten an die neue LSI/Broadcom eHBA 9600-24i Karte angeschlossen.

Vorher waren einige Disks auf dem Mainboard SATA Controller und einige auf dem alten SAS Controller verteilt.

• Alle meine Festplatten sind SATA.
• Keine Array-Festplatte bleibt länger als 2-5min im Spindown
• Ich habe die neueste Firmware (9600_24i_Pkg_8.10.1.0-00000-00001) über storcli2 im UEFI-Modus geflasht. Die alte Version war v8.1.1.0...
• Die Personality des Tri-Mode Controllers ist auf eHBA eingestellt und die Laufwerke wurden automatisch alle von Unconfigured-Good zu JBOD konfiguriert da der Controller Filesystem Metadaten erkannt hat.
• System-Treiber
  • mpi3mr MPI3 Storage Controller Gerätetreiber Inuse scsi/mpi3mr
  • mpt3sas LSI MPT Fusion SAS 3.0 Gerätetreiber System scsi/mpt3sas
• Ich habe die neueste UEFI-Firmware auf mein Motherboard (MSI Prestige X570 Creation - 7C36-002R) geflasht.
  • IOMMU / AMD-SVM ist Aktiviert
  • Der Controller wird nicht Virtualisiert.
  • ASPM ist Aktiviert
  • Das OptRom des Controllers ist nicht im UEFI zu sehen
• Ich habe mein Unraid von 6.12.6 auf 6.12.13 upgegradet.
• Das Betriebssystem als Ursache kann ich mittlerweile ausschließen:
  • Da mir selbst bei Deaktivierten Dockern & VMs -> "iotop -bktoqqq -d .1" nichts liefert
  • Ein Frisch erstellter USB Stick mit Stock Unraid ohne Lizenz und ohne Array mir die Disks die ich zwei Minuten zuvor per Shell (hdparm) schlafen gelegt habe genauso geweckt werden wie mit meinem Hauptsystem.
• Es muss am Controller liegen.
  • Ich habe noch einige dinge per storcli2 per UEFI Shell probiert aber ohne Erfolg.

Jemand eine Ahnung wie man den Controller von Smart auf Dumb bekommt, so dass er die Finger von meinen Disks lässt und diese schlafen können?

 

[Khorneflakes]

Spindown wurde von LSI schon stiefmütterlich behandelt als LSI noch LSI war. In manchen Partner-HBAs und -Raidcontrollern war Spindown in der Firmware aktiviert, in manchen nicht, in manchen nur für Unconfigured Drives...

LSIs eigene Firmware war dabei oft die, in der Spindown garnicht aktiv war. Crossflashing auf HP, Dell, Fujitsu, ... war bei einigen Modellen gängig um Spindown zu bekommen. Das ist locker 15+ Jahre her, hat Broadcom denn mittlerweile dokumentiert dass Spindown überhaupt möglich ist mit dem HBA und wenn ja, für welche Platten?

Spindown war leider schon immer etwas exotisch, die meisten Kunden legen da auch überhaupt keinen Wert drauf.

Was genau meinst du mit "smart" und "dumb"? Ich bin mir nicht sicher, ob da noch irgendwas an dem HBA aktiv ist, was man wegschalten könnte. Und ich glaube es gibt auch noch keine Partner-Version mit eigener Firmware, die man vielleicht flashen könnte.

 

[Skynet7]

Spindown wurde von LSI schon stiefmütterlich behandelt als LSI noch LSI war.

Was die reinen HBA's angeht waren und sind die bis heute inkl. deren OEM Derivate top Notch.

hat Broadcom denn mittlerweile dokumentiert dass Spindown überhaupt möglich ist mit dem HBA und wenn ja, für welche Platten?

Die Informationen was das angeht sind der letzte Dreck. Selten so etwas erlebt... Von Typo's bis hin zu Binären Optionen voll von Typos, Randnotizen die kritisch sind, die man aber erst googlen muss & letztendlich Values die sich nicht ändern lassen bei genauen hinsehen.

Was genau meinst du mit "smart" und "dumb"? Ich bin mir nicht sicher, ob da noch irgendwas an dem HBA aktiv ist, was man wegschalten könnte. Und ich glaube es gibt auch noch keine Partner-Version mit eigener Firmware, die man vielleicht flashen könnte.

Es ist doch offensichtlich das die karte sich Low Level einmischt (Smart polling, Termperature polling etc.) such dir was aus. Meine letzte Hoffnung ist dem Controller das auszutreiben. Per storcli2 schon alles probiert die meisten interessanten optionen sind read only.

 

[shavenne]

Hast du was neues herausgefunden? Hab seit gestern auch die 9600-24i verbaut (vorher eine SAS3008, weiß jetzt nicht genau welche).
Bei mir springen zwar nicht alle wieder an, aber von 15 Platten sind es mindestens 3 (immer dieselben), die immer wieder anspringen und auch an bleiben, was sie vorher definitiv nicht getan haben .

 

[Skynet7]

Leider Nein!

Gefühlt alles Probiert!

• Drei Firmwares (Stock zu 8.10.1.0 zu 8.11.1.0).
• Das StorCLI2 Manual seziert und alle Befehle probiert womit sich Smart, Energy, Überwachung, Personality, Consistency Check etc. konfigurieren lassen. Leider sind die Hälfte der Werte nicht änderbar. Selbst das als Offline deklarieren einer Platte hilft nicht weiter.
• Per smartctl & hdparm unter Unraid ein paar Werte (Spindown/Power/Performance) von ein paar Platten geändert (werden nach einem Neustart/Coldstart wiederhergestellt)
• Mit mehreren UEFI-Mainboards versucht auf das option ROM (Config GUI des Controllers die idr. über das UEFI des Mainboards zugänglich ist) zuzugreifen. War leider nirgends zu sehen. Scheint wohl nur auf irgendwelchen Serverboards zu gehen. Da war mir das alte option ROM was nach dem POST kommt ehrlich gesagt lieber.
• Letztendlich den Broadcom Support kontaktiert. Die wollten daraufhin die logs per BCMget in Augenschein nehmen.

Ab da habe ich dann abgebrochen und den alten LSI SAS 9305-16i HBA wieder eingebaut…

Lass mich wissen, wenn du etwas herausfindest. Du könntest da weiter machen, wo ich aufgehört habe (BCMget).

Bei mir springen zwar nicht alle wieder an, aber von 15 Platten sind es mindestens 3 (immer dieselben), die immer wieder anspringen und auch an bleiben, was sie vorher definitiv nicht getan haben .

War bei mir genau das gleiche, nur das hier fast alle Array Festplatten dabei waren. Was sich in ca. ~100W unnötigen Mehrverbrauch & hörbarer Geräuschkulisse des Servers bemerkbar macht.

Gruß