Truenas Scale System erkennt neue Datenträger nicht

[Jeffus]

Hi zusammen

Aktuell baue ich meine Infrastruktur auf 10gb/s Netzwerk um und hatte mir daher 2x 2TB Intenso SSDs für ISCSI bestellt die in ein Raidz1 kommen sollten.

Erstmal die Hardware des Storage Systems:

Case: 4U-4408 von Intertech
Mainboard: Supermicro X10SLM-F
CPU: Xeon E3-1231 v3
Raid controller: Dell Perc H310 (im HBA mode geflashed)
RAM: 32GB ECC (hersteller muss ich nachschauen)
OS: TrueNAS Scale 22.12.3.3

Das problem ist, das die SSDs von TrueNAS nicht erkannt werden. Auch vom command "lsblk" bekomme ich die SSDs nicht angezeigt.
Das Case hat 2 Backplanes die per SAS am HBA angeschlossen sind, in der oberen Backplane befinden sich 4x 4TB WD REDs die ohne probleme schon ewig laufen. Desweitern auf der unteren backplane eine andere SSD, diese läuft auch wunderbar. Die Backplanes bekommen per Molex vom Netzteil Strom.

in den Slots wo die SSDs jetzt drin sind waren zuvor 2 andere Festplatten angeschlossen wovon nur eine funktioniert hatte. Das waren recht alte Enterprise HDDs von Seagate und ich dachte mir einfach das eine eben abgeraucht ist. Die eine Platte kam auf Betriebstemperatur und die andere wovon ich dachte sie seie defekt, wurde einfach nur etwas "warm".

Das Interessante an der ganzen sache ist dass alle Platten, auch die SSDs unter einem Live Linux (mint) erkannt werden.

Hat jemand eine Idee woran das ganze liegen kann? Bios ist aktuell

 

[Banned]

Hmm, klingt komisch.

Mein Ansatz wäre jetzt, TrueNAS noch mal neu aufzusetzen und den bisherigen Pool zu importieren.

Aber vielleicht hat jemand ja ne bessere Lösung.

 

[Jeffus]

Scale ist frisch aufgesetzt worden, zuvor war Core installiert da war dasselbe Szenario.

 

[john.smiles]

Vergleich mal mit lsmod, welche Kernelmodule geladen werden.

 

[Fusionator]

Das problem ist, das die SSDs von TrueNAS nicht erkannt werden. Auch vom command "lsblk" bekomme ich die SSDs nicht angezeigt.

in den Slots wo die SSDs jetzt drin sind waren zuvor 2 andere Festplatten angeschlossen wovon nur eine funktioniert hatte.

Mit Linux kann ich dir zwar nicht helfen (obwohl ich lsblk auch noch auf die Reihe gekriegt hätte ), aber das Problem liegt doch hier offensichtlich mindestens eine Stufe vorher.

Du hast doch bestimmt schon die zwei SFF8087 Leitungen am Controller vertauscht, um sicherzustellen, dass die Platten auch am zweiten Kanal erkannt werden?
Somit hätte man schon mal einen Controllerdefekt ausgeschlossen. Der Controller hat doch bestimmt ein eigenes Bios? Da sieht man auch die Laufwerke, ohne Truenas hochfahren zu müssen.

Mit der Erkenntnis des Ausschlussverfahrens kannst du dir eigentlich alle nötigen Fragen beantworten:

• Controller ok?
• Beide Kabel ok?
• Beide Backplanes ok?
• Die neuen SSDs werden ja wohl auch nicht beide kaputt sein?

Ich hätte ja einfach beide neuen SSDs an einem anderen Rechner kurz angeklemmt oder (mein Lieblingstool in der Richtung) einfach eine USB-Docking-Station für schnelle Antworten benutzen.

 

[Jeffus]

Ich hatte schon die Backplanes ausgebaut und die Ports auf beiden Backplanes mit einer SSD sowie HDD getesetet, Linux Mint hat die sofort erkannt, auch im Hotplug.
Daher kann man eigentlich defekt von Kabel und Controller ausschließen.

Diesen test hatte ich aber durchgeführt als alle Platten draußen waren. Jetzt habe ich das System am laufen mit den 4x WD Reds + Cache SSD + die neuen SSDs, das live Linux sieht die 2 neuen SSDs jetzt nicht mehr.

Mein verdacht liegt irgendwie in richtung Stromversorgung der Backplane.
Das verbaute Netzteil ist ein Be Quiet System Power B9 mit 300 Watt leistung. Die Backplanes werden mit dem in reihe geschalteten Doppelt Molex kabel versorgt.

Edit: in das Bios vom Controller komme ich nicht (Tastenkombi STRG+R funktioniert nicht, Post screen gibts auch nicht) soweit ich mich erinnern kann wird das am HBA mode liegen.

 

[Fusionator]

Edit: in das Bios vom Controller komme ich nicht (Tastenkombi STRG+R funktioniert nicht, Post screen gibts auch nicht) soweit ich mich erinnern kann wird das am HBA mode liegen.

Ich kenne jetzt nur LSI9211 und da kann man den Controller auch ohne BIOS flashen. Dann gibt es auch keinen entsprechenden Screen mehr und es spart etwas Zeit beim Booten. Den DELL wird man auch so oder so flashen können. Im Grunde genommen ist das BIOS für den HBA Mode auch nicht nötig, denn da gibt es im Prinzip nichts einzustellen. Man sieht aber schön die Laufwerke an den einzelnen Ports.

Ich hatte schon die Backplanes ausgebaut und die Ports auf beiden Backplanes mit einer SSD sowie HDD getesetet, Linux Mint hat die sofort erkannt, auch im Hotplug.
Daher kann man eigentlich defekt von Kabel und Controller ausschließen.

Also ich hätte schon mal mit voller Bestückung getestet und nicht nur ein Laufwerk hin und her gesteckt
Das es im zusammengebauten Zustand offensichtlich nicht funktioniert ist irgendwas faul.
Wie funktioniert das mit der Spannungsversorgung? Auf dem Bild bei Intertech sehe ich nur einen Molex Anschluss an der unteren Backplane. Dann muß ja ein Kabel von Backplane A zu Backplane B führen. Wenn die Backplane eine einzige Platine ist, ist es unlogisch, dass es am Kabel liegt, da ja die Hälfte funktioniert Dann wäre auf der Backplane was faul.
Leider erkennt man auf der Intertech Seite nicht viel. Können die keine anständigen Fotos oder Zeichnungen veröffentlichen?

Die Festplatten sind also alle in der oberen Backplane und funktionieren? Dann würde ich trotzdem mal die beiden SAS Kabel am Controller vertauschen um sicherzustellen, dass der Fehler mitwandert.
Danach könnte man zwar die oberen mit unteren Laufwerke physisch tauschen, aber es sieht stark nach Stromversorgung aus.

 

[Jeffus]

Also ich hätte schon mal mit voller Bestückung getestet und nicht nur ein Laufwerk hin und her gesteckt
Das es im zusammengebauten Zustand offensichtlich nicht funktioniert ist irgendwas faul.
Wie funktioniert das mit der Spannungsversorgung? Auf dem Bild bei Intertech sehe ich nur einen Molex Anschluss an der unteren Backplane. Dann muß ja ein Kabel von Backplane A zu Backplane B führen. Wenn die Backplane eine einzige Platine ist, ist es unlogisch, dass es am Kabel liegt, da ja die Hälfte funktioniert Dann wäre auf der Backplane was faul.
Leider erkennt man auf der Intertech Seite nicht viel. Können die keine anständigen Fotos oder Zeichnungen veröffentlichen?

Die Festplatten sind also alle in der oberen Backplane und funktionieren? Dann würde ich trotzdem mal die beiden SAS Kabel am Controller vertauschen um sicherzustellen, dass der Fehler mitwandert.
Danach könnte man zwar die oberen mit unteren Laufwerke physisch tauschen, aber es sieht stark nach Stromversorgung aus.

Nunja, ich hatte halt alle Ports durchgetestet um auszuschließen das die Ports defekt sind.

So wie du es sagst, Molex geht von Backplane A auf Backplane B. Umgekehrt habe ich es auch schon getestet, gleiches fehlerbild. Das mit den SAS Kabeln tauschen brachte auch nichts, gleiches Fehlerbild.

Leider gibt es absolut keine Dokumentation von irgendwas zu diesem Gehäuse. Auf deren seite gibts ein Hyperlink zu irgendeinem wichtigen Hinweis zur Backplane des Gehäuses. Der Funktioniert aber nicht (lol)

Ich hatte gestern noch ein Paar bewertungen zu diesem Gehäuse gelesen, da wurde unteranderem auch geschrieben das bei hoher bestückung einfach Fesplatten nicht erkannt werden.

Ich werde überbrückungsweise die SSDs per Sata direkt ans Mainboard anschließen.

Hat eventuell das Netzteil nicht genug power? wobei SSDs aber nicht so viel Strom fressen.

 

[Fusionator]

@Jeffus
Kannst du mir mal eine PN schreiben? Ich kann aus irgendeinem Grund keine PN an dich schreiben (Button fehlt -> noch nie gesehen )