RAID 5 Hardwaredefekt? & Wiederherstellung

[[AlphaRC]Eraser]

Moin!

Ich hatte ueber Jahre ein stabiles Selbstbau NAS laufen welches einige Dienste im Lan bereitstellt (u.a. nextcloud). Die Datenplatten sind ueber ein Raid 5 an einem Hardware Raidcontroller angeschlossen. Das resultierende Raid 5 array ist via Veracrypt verschlüsselt und stellt eine grosse Partition als Datengrab zur Verfügung. Vor einigen Jahren gab es bereits 1-2 Festplattendefekte (rebuild lief immer problemlos) aber seitdem lief alles ruhig.
Allerdings habe ich vor einigen Tagen bemerkt, dass die Nextcloud nicht mehr lief. Nach dem einwaehlen per VNC habe ich dann im 3dm webinterface gesehen dass der Controller und die units/platten gar nicht mehr erkannt werden.
Nach dem 2. kaltstart erfolgte dann zumindestens ein verify des arrays welches auch durchlief. Anschließend sah es so aus als ob es wieder laeuft da das raid im 3dm2 wieder korrekt angezeigt wurde. Ein mounten mit Veracrypt war leider noch immer nicht möglich: "mount: /media/veracrypt1: wrong fs type, bad option, bad superblock on /dev/mapper/veracrypt1, missing codepage or helper program, or other error.".

Waehrend dem weiteren testen ist der raidcontroller inkl array aber dann wieder abgetaucht und das Ubuntu error log zeigt nur noch fehlermeldung: "kernel: [580514.162076] 3w-9xxx: scsi0: ERROR: (0x03:0x0104): SGL entry has illegal length:address=0x61731000, length=0x1, cmd=S."
Auch im webinterface des controllers war kein controller mehr gelistet.

1) Was meint ihr ist hier die Ursache? Da ich an der software konfig nix geandert hatte und es keinen stromausfall gab, gehe ich von einem hardware defekt aus?!

2) Kann ich mir einfach einen neuen baugleichen Controller zulegen und das array wird wieder erkannt?

3) Kann ich auch einen anderen besseren/neueren controller nehmen? Der ist ja schon 10 jahre EOL glaube ich 😂

Danke vorab!

System Setup:
Intel Pentium G9300, MSI H110I Pro, G.Skill 4 GB DDR4
System: ADATA SX7000 M.2 128 GG
LSI / 3Ware 9650se-4lpml
Raid 5: 4x WD 3TB SATA Platten
Veracrypt Verschluesselung der gesamten Partition
OS: Ubuntu 20.04

 

[0x8100]

die einzige chance, jetzt noch an die daten zu kommen, wäre ein baugleicher controller. und genau deswegen benutzt man keinen hardware raid-controller. wozu überhaupt veracrypt wenn du auch gleich dmcrypt hättest benutzen können? und warum gehst du mit vnc darauf? fragen über fragen...

 

[0x7c9aa894]

Das Teil ist über 10 Jahre alt. Hole/Baue Dir ein Neues NAS.

 

[Klikidiklik]

Und da du ja sicherlich ein Backup für alle wichtigen Daten hast, sollte es ja kein Problem sein, diese auf das neue NAS zurückzuspielen.

 

[Groug]

Kann ich mir einfach einen neuen baugleichen Controller zulegen und das array wird wieder erkannt?

Wenn die Datenauf den Platten noch in Ordnung sind, ja.

Kann ich auch einen anderen besseren/neueren controller nehmen? Der ist ja schon 10 jahre EOL glaube ich 😂

Das eher nicht.

Raid mit Hardwarecontroller plus Verschlüsselung ist schon fast Russisch Roulett. Das ist Backup Pflicht.

Hast du eine BBU? Wenn ja evtl. mal einen neuen Accu probieren.

 

[Ray519]

Die LSI / jetzt Broadcom Controller sollten relativ gut rückwärts kompatibel sein.
Ist natürlich keine Garantie und niemand wird dir sagen können ob dein kaputter Controller nicht schon Daten gefressen hat.

Auf der anderen Seite konnte Linux (ich meine mdraid, aber nicht mehr sicher) auch das RAID-Format von LSI einlesen, so dass man auch ohne den Controller noch Daten recovern konnte (read only, insofern die Daten selbst denn in Takt sind). Aber auch hier keine Garantie ich Wette da gibt es auch nicht unterstütze Versionen / Optionen...

 

[Fujiyama]

Vlt sollte man generell im Privaten bereich von RAID absehen, eigentich bringt das viel mehr Nachteile als Vorteile.

 

[Groug]

Das ist ein 3ware Controller, die sind denke ich nicht mit den aktuellen Broadcom kompatibel.

 

[[AlphaRC]Eraser]

Guten Morgen,
Danke fuer die vielen Antworten!

Ok dann hole ich mir erstmal einen baugleichen Controller und dann schauen wir weiter!

Bzgl der Fragen:
Warum Hardware Raid? “Damals” konnten software raid controller kein performantes raid 5 bieten. Performant heisst eine GBit Nic beim schreibzugriff vollauszulasten (100MB/s). Hat sich da aktuell wirklich so viel getan? Dann verzichte ich natuerlich gerne auf das extra Stueck hardware ;-)

Warum Veracrypt? Auf dem NAS lief frueher ein Windows mit gleichem Array. Falls dmcrypt vergleichbares leistet steige ich ggf um.

 

[0x8100]

also 100MB/s sind heute nun wirklich kein problem für ein softraid. bezüglich raid und verschlüsselung kannst du dir auch noch zfs ansehen. dann hättest du raid-funktionalität, verschlüsselung und datensicherheit durch checksummen und snapshots in einem tool.

 

[[AlphaRC]Eraser]

Das klingt ja vielversprechend, danke! Werde mich nun mal in die Linux Software Raid Thematik einlesen

EDIT: Heir stand Mist

1) Schafft der G9300 denn ein vollverschluesseltes RAID 5 mit min. 100MB/s zu bespielen und hat noch Luft fuer andere parallel Dienste?
2) Was passiert bei einem Hardware Defekt des Mainboards oder der Systemplatte? Kann ich denn einfach so die HDDs in ein anderes Linux stecken und das Software RAID in einem anderen System rebuilden OHNE Datenverlust?

 

[0x8100]

mein nas lief mit zfs jahrelang auf einem hp n40l mit einem dualcore 1,5GHz turion ohne probleme. dagegen ist dein g3900 eine richtige rakete. ich hatte zwar keine verschlüsselung am laufen, aber dafür hat dein celeron ja aes-ni, macht das also in hardware.

wie gesagt brauchst du keine raid-controller. 0815 sata-controller wie auf jedem board reichen aus. bei zfs wird von raid-controllern sogar abgeraten.

 

[Groug]

Was passiert bei einem Hardware Defekt des Mainboards oder der Systemplatte? Kann ich denn einfach so die HDDs in ein anderes Linux stecken und das Software RAID in einem anderen System rebuilden OHNE Datenverlust?

MDRaids werden von Linux automatisch dedecktiert und gestartet. Das geht problemlos mit anderer Hardware.

 

[ameisenbaer]

Bzgl der Fragen:
Warum Hardware Raid? “Damals” konnten software raid controller kein performantes raid 5 bieten. Performant heisst eine GBit Nic beim schreibzugriff vollauszulasten (100MB/s). Hat sich da aktuell wirklich so viel getan? Dann verzichte ich natuerlich gerne auf das extra Stueck hardware ;-)

Meine HP Microserver Gen8 mit 2Kern Celeron CPU G1610T schaffen unverschlüsselt
ausf XigmaNAS mit ZFS-Z1 und vier Platten 200-300 MB /s üblicherweise (je nach Füllstand und verwendeter Platten) und gebraucht gekaufter 10 Gbit Mellanox Connect-X2. Und die haben schon 5+ Jahre auf dem Buckel...

 

[[AlphaRC]Eraser]

Danke fuer den input. Mittlerweile habe ich einen gebrauchten Ersatzcontroller im Server und konnte das Array erfolgreich migrieren und auch mit Veracrypt einlesen. Da ist mir ein mega Stein vo, Herzen gefallen :-)

Werde jetzt die naechsten Schritte zu einem Software Raid evaluieren. Wenn ich das richtig verstehe geht die Empfehlung in Richtung ZFS um ein komplett verschluesseltes RAID5 unter Linux zu realisieren, richtig?

 

[ameisenbaer]

Richtung ZFS um ein komplett verschluesseltes RAID5 unter Linux zu realisieren, richtig?

XigmaNAS (NAS4Free) und TrueNAS (FreeNAS) basieren auf FreeBSD. Ob Dir Linux und ZFS da lieber ist, musst Du selbst entscheiden...

 

[[AlphaRC]Eraser]

Naja die Kiste soll ja nicht nur ein verschluesseltes drive zur verfuegung stellen sondern auch andere dienste. Daher ist Ubuntu erstmal gesetzt.

 

[Groug]

Mit Truenas geht auch so einiges, die Frage ist was sind andere Dienste?

 

[[AlphaRC]Eraser]

zB Nextcloud, CUPS/Airprint, Plex, ...

Ich moechte jetzt nur ungern die ganze Distro neu aufsetzen wenn mir eigtl. der Ersatz des Datenlaufwerks genuegt. Da sehe ich jetzt nicht das killer feature welches die Arbeit rechtfertigt ;-)

 

[Groug]

ZFS unter Linux ist halt etwas stiefmütterlich. Wobei bei Ubuntu sollte es gehen.