Unterstützung bei der Wiederherstellung eines Raids 1+0 gesucht

Facy

Lt. Junior Grade
Registriert
Sep. 2003
Beiträge
451
Hallo zusammen,
erstmal das wichtigste vorab:
Die wichtigsten Daten, die auf meinem Raid lagen, habe ich vorher gesichert, jetzt gehts mir hauptsächlich darum meine Musik-Sammlung und ein paar wenige andere Daten doch noch zu retten, bevor ich es komplett aufgebe.
Ich kenne mich generell gut bis sehr gut in der Windows Welt aus, in der Linux-Welt liegen die Skills eher auf Anfängerniveau und hier hab ich mich immer über das OMV Forum recht gut weitergeschlagen.

Mein Setup: (welches, mit zwischenzeitlichen Updates seitens OMV, seit 2015 problemlos gelaufen ist)
  • HP Microserver Gen8 mit Celeron CPU und 8GB RAM
  • SSD Bootplatte + 4 Platten a 8TB (Nettospeicherplatz ~14,5 TB, davon genutzt ~6,5 TB)
  • (Software) Raid 1+0 über die o.g. 4 Platten
  • openmediavault 5.5 (dort wurde das Raid entsprechend erstellt und gemountet)

Was ist passiert?
Aus Nächstenliebe und Freundlichkeit wollte ich einem Bekannten weiterhelfen und abwägen ob auf dem Gen8 grundsätzlich Windows Server 2022 läuft und ob er es ggf. für seine Zwecke verwenden kann. Dazu hatte ich folgendes gemacht:

  • SSD Platte mit dem openmediavault (OMV) abgeklemmt und eine leere SSD dran gehangen
  • Raid System ausgebaut (Festplatten vorher markiert, in welchem Slot sie drin waren)

Windows 2022 Server lief soweit, dann kam mir noch die Idee direkt mal das angestaubte System upzudaten, d.h. ich hab iLO (dürfte hier keine Relevanz haben) und das Bios (könnte ggf. der Stein des Anstoßes gewesen sein) auf den neuesten Stand gebracht und wollte wieder auf mein altes System zurück gehen... so jedenfalls die Theorie.

Beim Rückbau des Systems und dem nachfolgenden Starten von OMV musste ich dann leider feststellen, dass das System zwar wieder hoch startete, das Raid jedoch nicht lief. Nach anschließender Analyse und einen Blick ins Raid-Controller Menü gab es dann folgende komische Eigenheiten:

  • alle Platten wurden nicht korrekt erkannt, d.h. es wurden in der Regel die des Slots 2-4 erkannt, 1 fehlte
  • nach unzähligen "raus-rein" Versuchen hatte ich es dann doch irgendwie geschafft dass alle Platten dann erkannt wurden (das finde ich dazu äußerst seltsam, normalerweise müsste ein einfaches Ein- und Abstecken problemlos gehen, direkt auch beim ersten Versuch)

Doch auch mit allen erkannten Platten, die auch im richtigen Slot drin waren, konnte OMV das Raid von selbst nicht mehr einbinden.
Aktuell sind die Platten in meinem Desktop verbaut.

Was habe ich schon probiert?

Selbstverständlich habe ich schon sehr viel Zeit & Mühe in eine mögliche Datenrettung investiert, ich denke jedoch dass man vielleicht auf Linux-Seite noch etwas mehr Glück haben könnte, vielleicht täusche ich mich aber auch.

- Versuch der Datenrettung mittels Hetman Raid Recovery mit verschiedenen Versionen
=> Das Raid wird dort korrekt angezeigt aber das Programm hängt sich nach etwas über ner Stunde auf und macht nicht weiter (habs auch mehrere Tage in dem Zustand gelassen, leider ohne Erfolg)

1734114818053.png


- Versuch der Datenrettung mittels Diskinternals Raid Recovery
=> Hier ist er immerhin durchgelaufen, hat auch die ursprüngliche Struktur angezeigt aber zu retten gabs praktisch nix

- Versuch der Datenrettung mittels EaseUS Data Recovery (in progress)
=> Tatsächlich bisher die beste Ausbeute, wenn auch er mir das Raid so nicht anzeigt sondern nur die Platten einzeln durchscannt aber das Programm findet ganz viel Zeug und in der Vorschau dazu schauts auch ganz optimistisch aus

- Analyse via Linux Mint
=> Wie oben erwähnt, bin ich in Linux nicht daheim und hab mich an Foreneinträgen orientiert und hab mal ein paar Ausgaben und Screenshots dazu angehängt, die ggf. aufschlussreich sind.

1734124129408.png
1734124113722.png


Code:
mint@mint:~$ sudo fdisk -l
Disk /dev/loop0: 2.29 GiB, 2456621056 bytes, 4798088 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sda: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN004-2M21
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdb: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN004-2M21
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdc: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN004-2M21
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdd: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN004-2M21
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sde: 476.94 GiB, 512110190592 bytes, 1000215216 sectors
Disk model: INTEL SSDSC2KW51
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: FB8CA8FE-72AA-40E4-8D1D-0EAD15042610

Device         Start        End   Sectors   Size Type
/dev/sde1       2048      34815     32768    16M Microsoft reserved
/dev/sde2      36864     241663    204800   100M EFI System
/dev/sde3     241664  999075839 998834176 476.3G Microsoft basic data
/dev/sde4  999075840 1000214527   1138688   556M Windows recovery environment


Disk /dev/sdf: 7.36 GiB, 7897874432 bytes, 15425536 sectors
Disk model: Transcend 8GB  
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00af2dd3

Device     Boot Start      End  Sectors  Size Id Type
/dev/sdf1  *     2048 15425511 15423464  7.4G  c W95 FAT32 (LBA)

Code:
mint@mint:~$ blkid
/dev/sda: UUID="d34bfde8-1cf2-570c-0d03-4da0e754dc22" UUID_SUB="b711cce1-dec4-57ef-6d2e-999fed7d7854" LABEL="openmediavault.fritz.box:0" TYPE="linux_raid_member"
/dev/sdb: UUID="d34bfde8-1cf2-570c-0d03-4da0e754dc22" UUID_SUB="b711cce1-dec4-57ef-6d2e-999fed7d7854" LABEL="openmediavault.fritz.box:0" TYPE="linux_raid_member"
/dev/sdc: UUID="d34bfde8-1cf2-570c-0d03-4da0e754dc22" UUID_SUB="d162e540-9e8b-bf83-2e02-92c3948ca7e8" LABEL="openmediavault.fritz.box:0" TYPE="linux_raid_member"
/dev/sdd: UUID="d34bfde8-1cf2-570c-0d03-4da0e754dc22" UUID_SUB="d162e540-9e8b-bf83-2e02-92c3948ca7e8" LABEL="openmediavault.fritz.box:0" TYPE="linux_raid_member"
/dev/sde2: UUID="CECB-A6DF" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="908aaa59-8a88-4cce-35e9-574d1256fe89"
/dev/sde3: BLOCK_SIZE="512" UUID="66E821F1E821BFE3" TYPE="ntfs" PARTLABEL="Basic data partition" PARTUUID="0a53337d-3a23-4591-343b-10b395a0352a"
/dev/sde4: BLOCK_SIZE="512" UUID="E0FE7E34FE7E02D8" TYPE="ntfs" PARTUUID="bb4e102a-0d5e-4353-df85-f325632efd3b"
/dev/sdf1: LABEL="LINUX MINT" UUID="043F-8098" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="00af2dd3-01"

Code:
mint@mint:~$ cat /proc/mdstat
Personalities : [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md127 : inactive sdb[0](S) sdc[1](S)
      15627788976 blocks super 1.2      
unused devices: <none>

Code:
mint@mint:~$ sudo mdadm --examine --scan
ARRAY /dev/md/0  metadata=1.2 UUID=d34bfde8:1cf2570c:0d034da0:e754dc22

Code:
mint@mint:~$ dmesg

** gekürzt, da zu lang **
[    0.000000] Linux version 6.8.0-38-generic (buildd@lcy02-amd64-049) (x86_64-linux-gnu-gcc-13 (Ubuntu 13.2.0-23ubuntu4) 13.2.0, GNU ld (GNU Binutils for Ubuntu) 2.42) #38-Ubuntu SMP PREEMPT_DYNAMIC Fri Jun  7 15:25:01 UTC 2024 (Ubuntu 6.8.0-38.38-generic 6.8.8)
[    0.000000] Command line: BOOT_IMAGE=/casper/vmlinuz boot=casper username=mint hostname=mint iso-scan/filename= quiet splash --
[    0.000000] KERNEL supported cpus:
[    0.000000]   Intel GenuineIntel
[    0.000000]   AMD AuthenticAMD
[    0.000000]   Hygon HygonGenuine
[    0.000000]   Centaur CentaurHauls
[    0.000000]   zhaoxin   Shanghai
[    0.000000] BIOS-provided physical RAM map:

[    1.076357] scsi host0: ahci
[    1.076487] scsi host1: ahci
[    1.076599] scsi host2: ahci
[    1.076716] scsi host3: ahci
[    1.076818] scsi host4: ahci
[    1.076916] scsi host5: ahci
[    1.077015] scsi host6: ahci
[    1.077118] scsi host7: ahci
[    1.077177] ata1: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780100 irq 41 lpm-pol 0
[    1.077181] ata2: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780180 irq 41 lpm-pol 0
[    1.077184] ata3: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780200 irq 41 lpm-pol 0
[    1.077187] ata4: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780280 irq 41 lpm-pol 0
[    1.077189] ata5: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780300 irq 41 lpm-pol 0
[    1.077192] ata6: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780380 irq 41 lpm-pol 0
[    1.077194] ata7: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780400 irq 41 lpm-pol 0
[    1.077197] ata8: SATA max UDMA/133 abar m131072@0xfc780000 port 0xfc780480 irq 41 lpm-pol 0

[    2.114249] ata2.00: configured for UDMA/133
[    2.114436] scsi 1:0:0:0: Direct-Access     ATA      ST8000VN004-2M21 SC60 PQ: 0 ANSI: 5
[    2.114832] scsi 1:0:0:0: Attached scsi generic sg1 type 0
[    2.115005] sd 1:0:0:0: [sdb] 15628053168 512-byte logical blocks: (8.00 TB/7.28 TiB)
[    2.115008] sd 1:0:0:0: [sdb] 4096-byte physical blocks
[    2.115017] sd 1:0:0:0: [sdb] Write Protect is off
[    2.115020] sd 1:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[    2.115033] sd 1:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    2.115051] sd 1:0:0:0: [sdb] Preferred minimum I/O size 4096 bytes
[    2.139055] sd 1:0:0:0: [sdb] Attached SCSI disk
[    2.254558] usb 1-14: new high-speed USB device number 3 using xhci_hcd
[    2.258352] usb 7-4.4: new low-speed USB device number 4 using xhci_hcd
[    2.360272] usb 7-4.4: New USB device found, idVendor=046a, idProduct=010d, bcdDevice= 1.00
[    2.360281] usb 7-4.4: New USB device strings: Mfr=0, Product=0, SerialNumber=0
[    2.419143] ata3: SATA link down (SStatus 0 SControl 300)
[    2.479092] usb 1-14: New USB device found, idVendor=045e, idProduct=02fe, bcdDevice= 1.00
[    2.479101] usb 1-14: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[    2.479106] usb 1-14: Product: XBOX ACC
[    2.479109] usb 1-14: Manufacturer: Microsoft Inc.
[    2.479113] usb 1-14: SerialNumber: 284212
[    2.731401] ata4: SATA link down (SStatus 0 SControl 300)
[    3.043531] ata5: SATA link down (SStatus 0 SControl 300)
[    3.517543] ata6: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    3.519813] ata6.00: ATA-11: ST8000VN004-2M2101, SC60, max UDMA/133
[    3.533587] ata6.00: 15628053168 sectors, multi 16: LBA48 NCQ (depth 32), AA
[    3.541883] ata6.00: Features: NCQ-sndrcv
[    3.565054] ata6.00: configured for UDMA/133
[    3.565277] scsi 5:0:0:0: Direct-Access     ATA      ST8000VN004-2M21 SC60 PQ: 0 ANSI: 5
[    3.565694] sd 5:0:0:0: Attached scsi generic sg2 type 0
[    3.565811] sd 5:0:0:0: [sdc] 15628053168 512-byte logical blocks: (8.00 TB/7.28 TiB)
[    3.565818] sd 5:0:0:0: [sdc] 4096-byte physical blocks
[    3.565837] sd 5:0:0:0: [sdc] Write Protect is off
[    3.565844] sd 5:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[    3.565868] sd 5:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    3.565899] sd 5:0:0:0: [sdc] Preferred minimum I/O size 4096 bytes
[    3.588626] sd 5:0:0:0: [sdc] Attached SCSI disk
[    4.037543] ata7: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    4.039833] ata7.00: ATA-11: ST8000VN004-2M2101, SC60, max UDMA/133
[    4.053727] ata7.00: 15628053168 sectors, multi 16: LBA48 NCQ (depth 32), AA
[    4.062059] ata7.00: Features: NCQ-sndrcv
[    4.085302] ata7.00: configured for UDMA/133
[    4.085560] scsi 6:0:0:0: Direct-Access     ATA      ST8000VN004-2M21 SC60 PQ: 0 ANSI: 5
[    4.086005] sd 6:0:0:0: Attached scsi generic sg3 type 0
[    4.086073] sd 6:0:0:0: [sdd] 15628053168 512-byte logical blocks: (8.00 TB/7.28 TiB)
[    4.086080] sd 6:0:0:0: [sdd] 4096-byte physical blocks
[    4.086101] sd 6:0:0:0: [sdd] Write Protect is off
[    4.086105] sd 6:0:0:0: [sdd] Mode Sense: 00 3a 00 00
[    4.086127] sd 6:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    4.086158] sd 6:0:0:0: [sdd] Preferred minimum I/O size 4096 bytes
[    4.109767] sd 6:0:0:0: [sdd] Attached SCSI disk
[    4.557539] ata8: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    4.558536] ata8.00: ATA-10: INTEL SSDSC2KW512G8,  LHF004C, max UDMA/133
[    4.558571] ata8.00: 1000215216 sectors, multi 16: LBA48 NCQ (depth 32), AA
[    4.559355] ata8.00: Features: Dev-Sleep
[    4.560033] ata8.00: configured for UDMA/133
[    4.560306] scsi 7:0:0:0: Direct-Access     ATA      INTEL SSDSC2KW51 004C PQ: 0 ANSI: 5
[    4.560756] sd 7:0:0:0: Attached scsi generic sg4 type 0
[    4.560851] ata8.00: Enabling discard_zeroes_data
[    4.560871] sd 7:0:0:0: [sde] 1000215216 512-byte logical blocks: (512 GB/477 GiB)
[    4.560889] sd 7:0:0:0: [sde] Write Protect is off
[    4.560897] sd 7:0:0:0: [sde] Mode Sense: 00 3a 00 00
[    4.560923] sd 7:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    4.560952] sd 7:0:0:0: [sde] Preferred minimum I/O size 512 bytes
[    4.561604] ata8.00: Enabling discard_zeroes_data
[    4.562787]  sde: sde1 sde2 sde3 sde4
[    4.563079] sd 7:0:0:0: [sde] Attached SCSI disk
[    4.566418] igb 0000:04:00.0 enp4s0: renamed from eth0
[    4.570732] usb-storage 2-4:1.0: USB Mass Storage device detected
[    4.570854] scsi host8: usb-storage 2-4:1.0
[    4.570968] usbcore: registered new interface driver usb-storage
[    4.571898] usbcore: registered new interface driver uas
[    4.572548] hid: raw HID events driver (C) Jiri Kosina
[    4.604322] usbcore: registered new interface driver usbhid
[    4.604325] usbhid: USB HID core driver
[    4.842234] raid6: avx2x4   gen() 44644 MB/s
[    4.859234] raid6: avx2x2   gen() 37227 MB/s
[    4.876234] raid6: avx2x1   gen() 33473 MB/s
[    4.876235] raid6: using algorithm avx2x4 gen() 44644 MB/s
[    4.893234] raid6: .... xor() 6968 MB/s, rmw enabled
[    4.893235] raid6: using avx2x2 recovery algorithm
[    4.893842] xor: automatically using best checksumming function   avx      
[    4.894352] async_tx: api initialized (async)
[    5.964311] scsi 8:0:0:0: Direct-Access     JetFlash Transcend 8GB    1100 PQ: 0 ANSI: 6
[    5.964620] sd 8:0:0:0: Attached scsi generic sg5 type 0
[    5.965877] sd 8:0:0:0: [sdf] 15425536 512-byte logical blocks: (7.90 GB/7.36 GiB)
[    5.966280] sd 8:0:0:0: [sdf] Write Protect is off
[    5.966283] sd 8:0:0:0: [sdf] Mode Sense: 43 00 00 00
[    5.966666] sd 8:0:0:0: [sdf] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    5.969788]  sdf: sdf1
[    5.969858] sd 8:0:0:0: [sdf] Attached SCSI removable disk
[    6.346388] loop0: detected capacity change from 0 to 4798088
[    6.378020] overlayfs: null uuid detected in lower fs '/', falling back to xino=off,index=off,nfs_export=off.
[    6.464673] evm: overlay not supported
[   10.405511] systemd[1]: Inserted module 'autofs4'
[   10.452018] systemd[1]: systemd 255.4-1ubuntu8.2 running in system mode (+PAM +AUDIT +SELINUX +APPARMOR +IMA +SMACK +SECCOMP +GCRYPT -GNUTLS +OPENSSL +ACL +BLKID +CURL +ELFUTILS +FIDO2 +IDN2 -IDN +IPTC +KMOD +LIBCRYPTSETUP +LIBFDISK +PCRE2 -PWQUALITY +P11KIT +QRENCODE +TPM2 +BZIP2 +LZ4 +XZ +ZLIB +ZSTD -BPF_FRAMEWORK -XKBCOMMON +UTMP +SYSVINIT default-hierarchy=unified)
[   28.660287] mt76x2u: probe of 1-14:1.0 failed with error -110
[   28.660332] usbcore: registered new interface driver mt76x2u
[   28.693662] spl: loading out-of-tree module taints kernel.
[   28.757150] zfs: module license 'CDDL' taints kernel.
[   28.757153] Disabling lock debugging due to kernel taint
[   28.757169] zfs: module license taints kernel.
[   30.205318] ZFS: Loaded module v2.2.2-0ubuntu9, ZFS pool version 5000, ZFS filesystem version 5
[   34.704629] audit: type=1400 audit(1733937272.382:2): apparmor="STATUS" operation="profile_load" profile="unconfined" name="rsyslogd" pid=2114 comm="apparmor_parser"
[   34.789512] Bluetooth: BNEP (Ethernet Emulation) ver 1.3
[   34.789515] Bluetooth: BNEP filters: protocol multicast
[   34.789518] Bluetooth: BNEP socket layer initialized
[   34.790332] Bluetooth: MGMT ver 1.22
[   35.280906] NET: Registered PF_QIPCRTR protocol family
[   39.175083] igb 0000:04:00.0 enp4s0: igb: enp4s0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   49.455777] Bluetooth: RFCOMM TTY layer initialized
[   49.455784] Bluetooth: RFCOMM socket layer initialized
[   49.455788] Bluetooth: RFCOMM ver 1.11
[   60.588620] systemd-journald[1211]: Time jumped backwards, rotating.
[   75.302489] ntfs3: Max link count 4000
[   75.302493] ntfs3: Enabled Linux POSIX ACLs support
[   75.302494] ntfs3: Read-only LZX/Xpress compression included
[   75.693403] ntfs3: sde3: ino=59, Correct links count -> 1.
[   75.787583] ntfs3: sde3: ino=ea, Correct links count -> 1.
[   75.787939] ntfs3: sde3: ino=2e3, Correct links count -> 1.
[   75.788106] ntfs3: sde3: ino=575, Correct links count -> 1.
[   75.788265] ntfs3: sde3: ino=604, Correct links count -> 1.
[   75.788695] ntfs3: sde3: ino=98aa, Correct links count -> 1.
[   75.789425] ntfs3: sde3: ino=19130, Correct links count -> 1.
[   75.789634] ntfs3: sde3: ino=1914f, Correct links count -> 1.
[   75.790553] ntfs3: sde3: ino=1e705, Correct links count -> 1.
[   75.790945] ntfs3: sde3: ino=2833b, Correct links count -> 1.
[  134.006058] Btrfs loaded, zoned=yes, fsverity=yes
[  134.072254] JFS: nTxBlock = 8192, nTxLock = 65536
[  134.247017] SGI XFS with ACLs, security attributes, realtime, quota, no debug enabled
[ 1763.130117] md/raid10:md127: not enough operational mirrors.
[ 1763.137892] md: pers->run() failed ...

Ich bin ein Freund von ausführlicher Analyse und ich hoffe, dass mit den o.g. Informationen jemand etwas anstellen geschweige mir vielleicht den richtigen Ansatz / Weg zeigen kann, da die Daten ja offensichtlich schon noch da sind.
Bei Rückfragen stehe ich gerne zur Verfügung und danke schon mal für eure Mithilfe.

Grüße
Facy
 

Anhänge

  • 1734124071975.png
    1734124071975.png
    366,4 KB · Aufrufe: 30
Zuletzt bearbeitet:
Code:
mdadm --examine /dev/sd[abcd]

und falls vorhanden deine /etc/mdadm.conf oder /etc/mdadm/mdadm.coinf
 
  • Gefällt mir
Reaktionen: Evil E-Lex, redjack1000, BFF und eine weitere Person
kieleich schrieb:
Code:
mdadm --examine /dev/sd[abcd]

und falls vorhanden deine /etc/mdadm.conf oder /etc/mdadm/mdadm.coinf

Danke!
Die Configs sind nicht vorhanden, da es nur der Boot vom Stick ist bei Linux Mint, hier der Auszug vom ersten Befehl:

Code:
mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)


K-551 schrieb:
Kann dir nicht direkt helfen, wenns nicht mit Linux Boadmitteln klappt,
hab aber gute Erfahrungen mit "Recovery Explorer RAID" oder das Schwesterprogramm "UFS Explorer RAID Recovery" gemacht. Aber auch "R-Studio" hat mir schon geholfen.

Sind allerdings allesamt Kaufprogramme. Aber zumindest von den ersten beiden gibts ne Testversion...
Danke, werde ich mir auch mal anschauen und die Testversion ist ja genau dafür da um zu sehen obs überhaupt klappt!
 
  • Gefällt mir
Reaktionen: K-551
normal hat im Linux RAID, jedes Laufwerk für sich alleine, seine eigene Device uuid und Device role.

Bei dir haben sda, sdb die gleiche device uuid, und gleiche device role. und nach deiner blkid ausgabe weiter oben sdc, sdd die gleiche geschichte (examine für sdc sdd fehlt)

Da wird mdadm, von vier Laufwerken nur zwei sehen und die dann auch noch nach Zufall prinzip auswählen weil die nicht unterscheidbar sind mit doppelten IDs.

Also da blicke ich selber nicht durch, sorry. Es sieht einfach so aus, als hätte da jemand dran rum gepfuscht mit dd oder sonst wie. Irgendwas hat die Daten zumindest den mdadm Header auf den Platten gespiegelt md von sich alleine macht das so normal nicht!

Beispiel wie es normal ausschaut

Code:
# Test RAID10 auf ZRAM Devices
modprobe zram,, 4x zramctl --find --size=1G,, mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/zram[0123],,
# mdadm --examine /dev/zram[0123] | grep 'Device UUID'
    Device UUID : d63b7c47:b82b8883:ee37b353:fe97799a
    Device UUID : 4df0ab3e:a8b2191b:c6503a35:a2981c4e
    Device UUID : 51b9381b:ce377dd3:d1a17c0e:a2e6aae8
    Device UUID : 17dd2fcc:4c6cac17:66d0b0cd:082d60e1
# mdadm --examine /dev/zram[0123] | grep 'Device Role'
   Device Role : Active device 0
   Device Role : Active device 1
   Device Role : Active device 2
   Device Role : Active device 3

So ist das normalerweise bei RAID 10 mit Vier HDDs: viermal Device UUID und vier Device Role.

Bei dir Device Role zweimal doppelt und Device UUID zweimal gleich. Das ist nich normal und bevor man hier die ursache kennt ist es gefährlich da einfach blind weiter zu machen

Was ich da vielleicht machen würde ist, ausprobieren ob man das RAID manuell mit zwei Laufwerken zum starten bringt, im read only modus! Dann Daten prüfen ob korrekt, und wenn das alles passt einfach die fehlenden Laufwerke ganz neu hinzufügen (die werden dann überschrieben). Bzw. alle Daten sichern und den RAID komplett neu erstellen

Wenn die Daten nich korrekt sind dann mit einem anderen Laufwerkpaar probieren.
 
@kieleich

Das ist in der Tat sehr seltsam, erklären kann ich es mir leider nicht
In Linux hatte ich damit nix rumgepfuscht, in Windows ebenso wenig... nunja

Ich hab jetzt mal alle Kombis durchprobiert und hier sind die Ergebnisse davon.
Wenn ich das richtig sehe, haben Pärchen 1+2, 1+4 sowie 2+3 jeweils unterschiedliche Device UUIDs... deute ich daraus, dass das die richtigen Pärchen sind? Ich hätte ja gedacht, dass es nur zwei Pärchen sein können, was mich jetzt doch etwas wundert. Die Array UUID ist wahrscheinlich immer gleich, da es ja ein und das gleiche Raid Array ist, richtig?

Code:
<< 1 und 2 >>

mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$

Code:
<< 1 und 3 >>

mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$

Code:
<< 1 und 4 >>


mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$

Code:
<< 2 und 3 >>

mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$

Code:
<< 2 und 4 >>


mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$

Code:
<< 3 und 4 >>

mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)
/dev/sdd:
   MBR Magic : aa55
Partition[0] :     15423464 sectors at         2048 (type 0c)
mint@mint:~$
 
Zuletzt bearbeitet:
Facy schrieb:
deute ich daraus, dass das die richtigen Pärchen sind?

Device 1 ist der Mirror vom Device 0

Du bräuchtest Device 0 und 2, oder 1 und 3.

Du hast aber 0 und 0 und 1 und 1 das gibt überhaupt garkein Sinn deswegen, ich verstehs nicht.

Schau mal direkt in die Daten rein zB 100 Gigabytes offset

Code:
hexdump -C -s 100G -n 32 /dev/sda
1900000000  24 eb b1 33 e5 c0 1a f2  37 f4 5d 01 9a 4e bf 12  |$..3....7.]..N..|
1900000010  2e ba 2c a1 cd fc ae ef  bd 18 0a 1a 24 b1 cb b5  |..,.........$...|
1900000020

und das einzeln für sda sdb sdc sdd

Wenn du nur 00 00 00 00 bekommst ändere das offset auf irgendein anderes, wo du Zufall Daten oder eine sonstige signifikante Stelle findet

Bei dem Mirror drive (raid 1) sollten die Daten identisch sein! Aber bei dem Stripe drive (raid0) unterschiedlich

Es hilft dir nicht wenn du nur eine Seite vom Raid 0 in zweifacher ausführung hast.

und wenn du da unterschiedliche daten findest , mache das offset mal kleiner auf 129M 130M 131M ... ( ab dem Data Offset : 264192 sectors ) ob denn nur die raid metadaten falsch sind oder noch mehr. ansonsten auch mal noch viel weiter hinten schauen auf 1T 2T 3T

bestenfall sind die Daten in Ordnung und nur die Raid header irgendwie banane ananas geworden, dann könnte ein re-create mit assume clean und dem richtigen offset, und der richtigen reihenfolge helfen. aber nooormallerweise ist das halt schon ziemlicher komischer Mist den man so nicht macht
 
Zuletzt bearbeitet:
@Facy
Kann es sein, dass du den Sinn des Befehls sudo mdadm --examine /dev/sd[abcd]nicht verstanden hast? Ich kann mir nämlich deine geposteten Angaben 1 und 2, 3 und 4, etc. sonst nicht erklären. Damit der Befehl ausgibt, was er soll, müssen alle vier Platten im System sein. Ich sehe immer nur zwei. Ich habe irgendwie das Gefühl, du steckst da wild die Platten hin und her. Und ist das eventuell noch irgendwo ein Hardware-RAID mit im Spiel?
 
@kieleich
Danke, ich werde mal gleich wieder alle Platten dran machen und in den jeweiligen Offsets mal an unterschiedlichen Stellen reinschauen

@Evil E-Lex
Klar hab ich den verstanden, deshalb ja die Ausgabe davon in Post #4
kieleich hatte dann in #5 vorgeschlagen, dass man dann ggf. zwei Platten mal dran hängt und schaut was die UUIDs so von sich geben, das hab ich dann mit allen möglichen Pärchen dann gemacht
Wie kommst du auf HW-Raid? Der Microserver hat nur ein SW-Raid eingebaut
 
Facy schrieb:
@Evil E-Lex
Klar hab ich den verstanden, deshalb ja die Ausgabe davon in Post #4
Die ist unvollständig. Dort fehlen /dev/sdc und /dev/sdd.
Facy schrieb:
kieleich hatte dann in #5 vorgeschlagen, dass man dann ggf. zwei Platten mal dran hängt und schaut was die UUIDs so von sich geben, das hab ich dann mit allen möglichen Pärchen dann gemacht
Wenn du nur zwei Platten anschließt, ergibt der Befehl sudo mdadm --examine /dev/sd[abcd] keinen Sinn, dann genügt sudo mdadm --examine /dev/sd[ab].
Facy schrieb:
Wie kommst du auf HW-Raid? Der Microserver hat nur ein SW-Raid eingebaut
Weil das perfekt erklären würde, warum man einerseits zwei komplett gespiegelte Platten sieht und andererseits immer nur zwei Platten in der Ausgabe auftauchen.
 
Komisch, das hat er irgendwie unterdrueckt, danke fuer den Hinweis!
Bin gerade in Mint und daher reiche ich das noch mal nach
Code:
mint@mint:~$ sudo mdadm --examine /dev/sd[abcd]
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : dc1ae7a4 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : d34bfde8:1cf2570c:0d034da0:e754dc22
           Name : openmediavault.fritz.box:0
  Creation Time : Wed May 19 15:43:39 2021
     Raid Level : raid10
   Raid Devices : 4

 Avail Dev Size : 15627788976 sectors (7.28 TiB 8.00 TB)
     Array Size : 15627788288 KiB (14.55 TiB 16.00 TB)
  Used Dev Size : 15627788288 sectors (7.28 TiB 8.00 TB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264104 sectors, after=688 sectors
          State : clean
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec  2 18:16:36 2024
  Bad Block Log : 512 entries available at offset 72 sectors
       Checksum : 87c3e1e7 - correct
         Events : 18169

         Layout : near=2
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
mint@mint:~$

Code:
mint@mint:~$ sudo mdadm --examine /dev/sd[abcd] | grep 'Device UUID'
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854
    Device UUID : b711cce1:dec457ef:6d2e999f:ed7d7854
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8
    Device UUID : d162e540:9e8bbf83:2e0292c3:948ca7e8
mint@mint:~$ sudo mdadm --examine /dev/sd[abcd] | grep 'Device Role'
   Device Role : Active device 0
   Device Role : Active device 0
   Device Role : Active device 1
   Device Role : Active device 1
mint@mint:~$

Das urspruengliche Problem bleibt dennoch bestehen mit den doppelten UUIDs, wie von kieleich beschrieben.
Ergänzung ()

@kieleich
Hier die Ergebnisse des Offsets mit unterschiedlichen Werten

100G
Code:
mint@mint:~$ sudo hexdump -C -s 100G -n 32 /dev/sda
1900000000  ad af 12 12 21 39 32 e8  27 e0 0f 05 6b 0d 9d 58  |....!92.'...k..X|
1900000010  09 0f 87 10 0e b8 11 0a  fa 4d 16 7f 5c bb 91 b0  |.........M..\...|
1900000020
mint@mint:~$ sudo hexdump -C -s 100G -n 32 /dev/sdb
1900000000  cf 1c 06 e3 86 5f de 2d  e8 cf f3 7a c1 17 a1 27  |....._.-...z...'|
1900000010  3f 58 64 5a aa a7 ec 4c  57 04 f5 39 4f c2 ca 32  |?XdZ...LW..9O..2|
1900000020
mint@mint:~$ sudo hexdump -C -s 100G -n 32 /dev/sdc
1900000000  cf 1c 06 e3 86 5f de 2d  e8 cf f3 7a c1 17 a1 27  |....._.-...z...'|
1900000010  3f 58 64 5a aa a7 ec 4c  57 04 f5 39 4f c2 ca 32  |?XdZ...LW..9O..2|
1900000020
mint@mint:~$ sudo hexdump -C -s 100G -n 32 /dev/sdd
1900000000  ad af 12 12 21 39 32 e8  27 e0 0f 05 6b 0d 9d 58  |....!92.'...k..X|
1900000010  09 0f 87 10 0e b8 11 0a  fa 4d 16 7f 5c bb 91 b0  |.........M..\...|
1900000020
mint@mint:~$

1T
Code:
mint@mint:~$ sudo hexdump -C -s 1T -n 32 /dev/sda
10000000000  96 dc 8c 6c e4 74 68 9a  6e 64 53 74 02 86 46 61  |...l.th.ndSt..Fa|
10000000010  61 d1 dd fb 01 a3 11 6a  f4 28 e8 d6 b7 dd a8 52  |a......j.(.....R|
10000000020
mint@mint:~$ sudo hexdump -C -s 1T -n 32 /dev/sdb
10000000000  07 93 f8 41 f6 6f 49 57  f4 ec 45 c6 eb 50 04 f1  |...A.oIW..E..P..|
10000000010  87 08 f0 e8 00 05 31 4b  8c 0a 22 6e 61 58 ff e1  |......1K.."naX..|
10000000020
mint@mint:~$ sudo hexdump -C -s 1T -n 32 /dev/sdc
10000000000  07 93 f8 41 f6 6f 49 57  f4 ec 45 c6 eb 50 04 f1  |...A.oIW..E..P..|
10000000010  87 08 f0 e8 00 05 31 4b  8c 0a 22 6e 61 58 ff e1  |......1K.."naX..|
10000000020
mint@mint:~$ sudo hexdump -C -s 1T -n 32 /dev/sdd
10000000000  96 dc 8c 6c e4 74 68 9a  6e 64 53 74 02 86 46 61  |...l.th.ndSt..Fa|
10000000010  61 d1 dd fb 01 a3 11 6a  f4 28 e8 d6 b7 dd a8 52  |a......j.(.....R|
10000000020
mint@mint:~$

4T
Code:
mint@mint:~$ sudo hexdump -C -s 4T -n 32 /dev/sda
40000000000  71 f5 e0 43 f3 fd 4c 27  aa d2 91 1a 52 ac 57 91  |q..C..L'....R.W.|
40000000010  0e 90 a1 fd 3d d4 d0 77  80 87 ca ac 44 d1 16 23  |....=..w....D..#|
40000000020
mint@mint:~$ sudo hexdump -C -s 4T -n 32 /dev/sdb
40000000000  e4 2d 60 29 00 11 7b 2d  f7 a3 89 88 30 1b b1 ed  |.-`)..{-....0...|
40000000010  2a 2c 62 26 12 9f 27 2c  00 14 a6 1a 5f b8 9c 2e  |*,b&..',...._...|
40000000020
mint@mint:~$ sudo hexdump -C -s 4T -n 32 /dev/sdc
40000000000  e4 2d 60 29 00 11 7b 2d  f7 a3 89 88 30 1b b1 ed  |.-`)..{-....0...|
40000000010  2a 2c 62 26 12 9f 27 2c  00 14 a6 1a 5f b8 9c 2e  |*,b&..',...._...|
40000000020
mint@mint:~$ sudo hexdump -C -s 4T -n 32 /dev/sdd
40000000000  71 f5 e0 43 f3 fd 4c 27  aa d2 91 1a 52 ac 57 91  |q..C..L'....R.W.|
40000000010  0e 90 a1 fd 3d d4 d0 77  80 87 ca ac 44 d1 16 23  |....=..w....D..#|
40000000020


500M
Code:
mint@mint:~$ sudo hexdump -C -s 500M -n 32 /dev/sda
1f400000  73 15 80 39 57 f0 bf 12  7a f6 db 58 08 f4 72 d9  |s..9W...z..X..r.|
1f400010  48 5d c1 b4 a8 95 21 8a  6b a8 f8 03 35 6a 4e 22  |H]....!.k...5jN"|
1f400020
mint@mint:~$ sudo hexdump -C -s 500M -n 32 /dev/sdb
1f400000  73 15 80 39 57 f0 bf 12  7a f6 db 58 08 f4 72 d9  |s..9W...z..X..r.|
1f400010  48 5d c1 b4 a8 95 21 8a  6b a8 f8 03 35 6a 4e 22  |H]....!.k...5jN"|
1f400020
mint@mint:~$ sudo hexdump -C -s 500M -n 32 /dev/sdc
1f400000  73 15 80 39 57 f0 bf 12  7a f6 db 58 08 f4 72 d9  |s..9W...z..X..r.|
1f400010  48 5d c1 b4 a8 95 21 8a  6b a8 f8 03 35 6a 4e 22  |H]....!.k...5jN"|
1f400020
mint@mint:~$ sudo hexdump -C -s 500M -n 32 /dev/sdd
1f400000  73 15 80 39 57 f0 bf 12  7a f6 db 58 08 f4 72 d9  |s..9W...z..X..r.|
1f400010  48 5d c1 b4 a8 95 21 8a  6b a8 f8 03 35 6a 4e 22  |H]....!.k...5jN"|
1f400020

501M
Code:
mint@mint:~$ sudo hexdump -C -s 501M -n 32 /dev/sda
1f500000  0c 88 66 9f 17 07 8c 07  93 f9 57 ff 2f b8 60 0d  |..f.......W./.`.|
1f500010  c2 35 fe 4b 00 14 0a 1e  20 06 3f 9d f5 c1 58 13  |.5.K.... .?...X.|
1f500020
mint@mint:~$ sudo hexdump -C -s 501M -n 32 /dev/sdb
1f500000  0c 88 66 9f 17 07 8c 07  93 f9 57 ff 2f b8 60 0d  |..f.......W./.`.|
1f500010  c2 35 fe 4b 00 14 0a 1e  20 06 3f 9d f5 c1 58 13  |.5.K.... .?...X.|
1f500020
mint@mint:~$ sudo hexdump -C -s 501M -n 32 /dev/sdc
1f500000  0c 88 66 9f 17 07 8c 07  93 f9 57 ff 2f b8 60 0d  |..f.......W./.`.|
1f500010  c2 35 fe 4b 00 14 0a 1e  20 06 3f 9d f5 c1 58 13  |.5.K.... .?...X.|
1f500020
mint@mint:~$ sudo hexdump -C -s 501M -n 32 /dev/sdd
1f500000  0c 88 66 9f 17 07 8c 07  93 f9 57 ff 2f b8 60 0d  |..f.......W./.`.|
1f500010  c2 35 fe 4b 00 14 0a 1e  20 06 3f 9d f5 c1 58 13  |.5.K.... .?...X.|
1f500020

2G / 3G

Code:
mint@mint:~$ sudo hexdump -C -s 2G -n 32 /dev/sda
80000000  d8 d3 30 98 f7 04 c4 16  46 2e 0a 94 90 9b bf 52  |..0.....F......R|
80000010  c3 e5 06 73 d6 9a f6 b9  b0 ae b3 7a 67 e5 5f d6  |...s.......zg._.|
80000020
mint@mint:~$ sudo hexdump -C -s 2G -n 32 /dev/sdb
80000000  d8 d3 30 98 f7 04 c4 16  46 2e 0a 94 90 9b bf 52  |..0.....F......R|
80000010  c3 e5 06 73 d6 9a f6 b9  b0 ae b3 7a 67 e5 5f d6  |...s.......zg._.|
80000020
mint@mint:~$ sudo hexdump -C -s 2G -n 32 /dev/sdc
80000000  d8 d3 30 98 f7 04 c4 16  46 2e 0a 94 90 9b bf 52  |..0.....F......R|
80000010  c3 e5 06 73 d6 9a f6 b9  b0 ae b3 7a 67 e5 5f d6  |...s.......zg._.|
80000020
mint@mint:~$ sudo hexdump -C -s 2G -n 32 /dev/sdd
80000000  d8 d3 30 98 f7 04 c4 16  46 2e 0a 94 90 9b bf 52  |..0.....F......R|
80000010  c3 e5 06 73 d6 9a f6 b9  b0 ae b3 7a 67 e5 5f d6  |...s.......zg._.|
80000020
mint@mint:~$ sudo hexdump -C -s 3G -n 32 /dev/sda
c0000000  ec d6 2f 82 47 12 c5 f3  c7 7a 2a 12 4b 10 37 a6  |../.G....z*.K.7.|
c0000010  22 b8 ac f6 ca 0c 1b 08  05 68 4c c5 1a b8 dc 6c  |"........hL....l|
c0000020
mint@mint:~$ sudo hexdump -C -s 3G -n 32 /dev/sdb
c0000000  32 56 14 dd 42 da 56 fc  c0 d4 52 c3 f9 ae 3b f0  |2V..B.V...R...;.|
c0000010  4b 55 28 c9 9b e1 5e db  10 16 91 0c c1 0d 79 67  |KU(...^.......yg|
c0000020
mint@mint:~$ sudo hexdump -C -s 3G -n 32 /dev/sdc
c0000000  32 56 14 dd 42 da 56 fc  c0 d4 52 c3 f9 ae 3b f0  |2V..B.V...R...;.|
c0000010  4b 55 28 c9 9b e1 5e db  10 16 91 0c c1 0d 79 67  |KU(...^.......yg|
c0000020
mint@mint:~$ sudo hexdump -C -s 3G -n 32 /dev/sdd
c0000000  ec d6 2f 82 47 12 c5 f3  c7 7a 2a 12 4b 10 37 a6  |../.G....z*.K.7.|
c0000010  22 b8 ac f6 ca 0c 1b 08  05 68 4c c5 1a b8 dc 6c  |"........hL....l|
c0000020

Mit 2G ist die Ausgabe identisch (siehe 500/501), ab 3G schaut das Konstrukt dann wie mit 100G oder 1T aus
 
Zuletzt bearbeitet:
Also die späteren Offset sehen nach RAID 10 aus

Aber irgend etwas hat dir die ersten 2-3G überschrieben, gespiegelt, gepfuscht, geschrottet. durch RAID 0 fehlen am Anfang dann 6GB an Daten (bzw. du hast jeden 2. Chunk von einer Seite des RAID0, fast nutzlos)

War da direkt ein Dateissytem drauf oder verschlüsselung im Spiel? Bei LUKS könnte der Header hinüber sein

So oder so wird es schwierig ein Dateisystem zu reparieren bei dem der Anfang Schrott ist

einmal augen zu und ins kalte wasser springen

Code:
mdadm --stop /dev/md*
mdadm --zero-superblock /dev/sdc
mdadm --zero-superblock /dev/sdd
mdadm --create /dev/md0 --assume-clean --level=10 --raid-devices=4 --data-offset=129M --chunk=512K /dev/sdc missing /dev/sdd missing

sdc sdd müsse hierbei platten sein die unterschiedliche daten haben

kann aber dann auch die reihenfolge falsch sein (ganzen Vorgang wiederholen aber sdc sdd vertauschen im create befehl). Durch deine kaputten header kann ich das nicht fest stellen

wenn du auf dem array, dann mit photorec dateien findest, die größer als 1M und intakt sind, dann ist es richtig nur die ersten 4-5-6GB sind trotzdem balla balla

weiter kann ich dir leider nicht helfen!! es ist einfach so kaputt so wie es ist!!

vielglück
 
  • Gefällt mir
Reaktionen: BFF und Evil E-Lex
hast du eventuell, doch noch ein fake bios raid am laufen in dem System und das jemals, auch in der vergangenheit, aktiviert gehabt?

mdadm hat seine metadaten am platten anfange und die bios fake raid am platten ende

bedeutet, man kann beides gleichzeitig haben. wenn der plattenanfang raid dann die reihenfolge a b c d hatte und der plattenende raid b c a d (oder vergleichbare), und das initialisiert auf einmal so, und fängt so an den raid 1 teil zu spiegeln, dann passiert genau das was du hast. mdadm ist kaputt und deine mdadm metadaten plötzlich gespiegelt auf 2 platten

das hört dann aber nicht nach 2-3 gb auf es sei denn du startest neu / beendest den prozess

wenn man Platten verwendet die vorher in anderes RAID waren, oder wenn man auch nur mal aus Versehen, RAID im BIOS aktiviert und dabei irgendwelche RAID header, ans Platten Ende geschrieben werden dann muss man die quasi von Hand wieder löschen (letzte paar MB der Platte mit Nullen)

nur eine Theorie wie das passiert sein könnte

normal passiert es nicht selbst wenn man solche Header hat da keiner neben mdadm noch dmraid o.ä laufen lassen wird und mdadm sollte, sein eigenes Format, ja zuerst erkennen und andere RAD header ignoriern

aber so ein falscher RAID header auf einer Platte, kann im falschen System, dann zu ungewollten Resync führen
 
  • Gefällt mir
Reaktionen: Evil E-Lex
@kieleich
Dateisystem war ext4 und wurde, wie gesagt, unter openmediavault erstellt

Tatsaechlich kann deine Theorie stimmen, denn ich war im Raid Manager des Controllers dann das eine Mal, wo endlich alle Platten wieder erkannt wurden und dort hatte ich, warum auch immer, dann das Array (was auch immer mich dazu geritten hat, da es ja eigentlich in OMV erstellt wurde) neu erstellt/initialisiert whatever, weil ich nicht mehr im Wizzard daraus kam (ich wollte nicht einfach neustarten, da nicht wusste was es fuer Folgen haette)
 
@kieleich
Bin jetzt nicht ganz sicher ob meine vorherige Antwort noch etwas an der Situation ändert.... ansonsten würde ich es mal riskieren... ?
 
ich kann da nicht mehr machen als das vorher vorgeschlagene

morgen kommt besuch mit kind u kegel und ich bin dann über weihnachten neue jahr voll im stress sorry
 
@kieleich
Kein Problem und vielen Dank für deine bisherige Hilfe, wird bei mir nicht anders mit meinen Kids!

Ich hab jetzt mal das ganze wie von dir oben beschrieben eingerichtet und tatsächlich funktioniert es ziemlich gut und ich konnte mal testweise einen 20GB Ordner mit unterschiedlichen Dateien (PDF, MP4, ZIP, DOC etc.) erfolgreich recovern! :)
Dummerweise hats aber den Ordner meiner Musiksammlung zerhauen, wie auch ein paar andere (unwichtige), interessanterweise ist in all diesen Ordnern stets die gleiche fehlerhafte Struktur

Sehe ich das richtig, dass ich

a) somit bereits die richtige Platten-Kombi hab und
b) mit dem Tausch von sdc und sdd nichts bewirke bzw. dann nur Müll kriege?

Viele Grüße
 
Zurück
Oben