[OMV 5.6.10-1] BTRFS Error im RAID-5 Verbund

[Konfekt]

Hallo zusammen,

mein NAS im Eigenbau mit OMV bereitet mit Sorgen, denn auf CLI Ebene meldet es seit gestern mehrere "BTFRS error" inklusive "corrupt" Meldung. Ich habe bereits online gesucht und es kann wieder von-bis alles mögliche sein, aber man sollte es ernst nehmen, da das Dateisystem betroffen ist und OMV die Fehler nicht korrigieren kann. Bevor ich also nachher Datenverluste hinnehmen muss, versuche ich mich daran, etwas zu tun. Hoffentlich kann mir jemand helfen. Backup der Daten liegt vor, aber ich weiß natürlich nicht, ob dieses womöglich schon von der Korruption betroffen ist, wenn womöglich diverse Unterverzeichnisse mit Fotos und Heimvideos nun kaputt sind :-/.

Kurz zum System:

Rechner (auf diesem läuft OMV):
HP KleinPC intel i5, 3.6 GHz
8 GB RAM
SSD 512 GB System-Platte

Angeschlossen ist ein Disk-Array mit 4x6TB HDD Festplatten
RAID-5, wird als "clean" in der GUI angezeigt
SMART zeigt bei keiner HDD etwas Verdächtiges an

OMV Version:
Release: 5.6.10-1
Codename: Usul
Wird von mir regelmäßig auf CLI-Ebene aktualisiert

Auf Kommando-Ebene sehe ich seit gestern folgende Fehlermeldungen:

[46840.590107] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 5, gen 0
[46840.591787] BTRFS error (device md127): unable to fixup (regular) error at logical 691162554368 on dev /dev/md127
[46840.594397] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 6, gen 0
[46840.596083] BTRFS error (device md127): unable to fixup (regular) error at logical 691162558464 on dev /dev/md127
[46840.601380] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 7, gen 0
[46840.603086] BTRFS error (device md127): unable to fixup (regular) error at logical 691162562560 on dev /dev/md127
[46840.608215] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 8, gen 0
[46840.609961] BTRFS error (device md127): unable to fixup (regular) error at logical 691162566656 on dev /dev/md127
[46840.612635] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 9, gen 0
[46840.614415] BTRFS error (device md127): unable to fixup (regular) error at logical 691162570752 on dev /dev/md127
[46840.618900] BTRFS error (device md127): bdev /dev/md127 errs: wr 0, rd 0, flush 0, corrupt 10, gen 0
[46840.620738] BTRFS error (device md127): unable to fixup (regular) error at logical 691162574848 on dev /dev/md127

md127 ist leider die ID meines RAID, nicht die Systemplatte, bzw. eine Erweiterungsplatte, die ich als Zwischenspeicher noch eingebunden hatte.

Dazu hätte ich folgende Fragen:

• Was kann die Ursache sein? Ich hatte nichts geändert, das System wurde immer aktualisiert. Letztes Jahr war die Systemplatte nach einem Stromausfall beschädigt und ausgetauscht worden. Vor Kurzem hatte es eine Art Spannungsabfall gegeben, d.h. die Lichter im Haus waren für 1 Skunde schwächer geworden, aber alle Geräte blieben eingeschaltet. Möglicherweise war das die Ursache
• Ich habe einen Scrub gestartet, der diese Fehler bisher ausgeworfen hat, ggf. kommen noch mehr. Sind diese bereits Zeichen für schwerwiegende Schäden im Dateisystem, oder kann das alles und nichts bedeuten?
• Kann man betroffene Dateien gezielt identifizieren?
• Ganz zentral: Was kann ich tun? Wie behebe ich das? Bin nicht gerade CLI-erfahren... Hilfe mitsamt den Kommandos wäre echt toll...

Generell, da ich mit OMV schon mehrmals Probleme hatte und einfach jedesmal wie der Ochs vorm Berg stehe: Gibt es NAS-Alternativen, die sich gerade bei Störungen einfacher administrieren lassen? Mit Kommandozeilen können manche tolles zaubern, keine Frage, aber die Bedienung ist einfach mal komplett 1983. Ich komme da auch nach etlichen Jahren und unzähligen Versuchen mit Linux nicht rein und bin jedesmal auf Hilfe angewiesen. OMV hatte mich durch die übersichtliche GUI überzeugt, aber nachdem selbst kleinere Problemchen nur mit CLI, bzw. Shell und mühsamer Foren-Hilfe behebbar wurden, hoffte ich jedesmal, dass einfach nix mehr passiert.

Kann man ein bestehendes RAID-5 in ein anderes System einbinden? Zum Bleistift in eins von Synology? Der Aufwand für die Fehlersuche bei OMV ist für meine Zwecke inzwischen einfach zu groß und für die CLI/ Shell bin ich vermutlich zu blond. Als typisches Windows-Kind kriege ich nicht die gefühlten 150 Befehle mit ihren endlosen Parametern gelernt. Schon bei grep, Editor und alledem muss ich mir alles mühsam zusammenfriemeln.

Für jeglichen Tipp bin ich dankbar!

Grüße
Courtyard

 

[0x8100]

btrfs und raid5 war keine gute idee, das ist immer noch als "unstable" markiert:
https://btrfs.wiki.kernel.org/index.php/Status#Overview
https://www.phoronix.com/scan.php?page=news_item&px=Btrfs-Warning-RAID5-RAID6

also entweder raid5 mit dmraid und darüber ein einfaches btrfs oder zfs. wenn omv das nicht kann, dann z.b. freenas nehmen.

edit: da in deinem log "/dev/md127" auftaucht, ist das wohl schon variante 1.

 

[snaxilian]

da ich mit OMV schon mehrmals Probleme hatte und einfach jedesmal wie der Ochs vorm Berg stehe: Gibt es NAS-Alternativen, die sich gerade bei Störungen einfacher administrieren lassen?

Du hast da genau zwei Optionen: Entweder fertige Lösungen ohne CLI Zugriff nehmen wie z.B. Synology oder QNAP oder ähnliches oder entsprechendes Wissen aneignen.
OMV deckt einige wenige mehr oder weniger simple Anwendungsfälle ab und alles was davon abweicht und nicht per WebGUI vorgesehen ist, erfordert halt CLI.

Mit Kommandozeilen können manche tolles zaubern, keine Frage, aber die Bedienung ist einfach mal komplett 1983

Komisch, du hast irgendwie 202x falsch geschrieben. Wenn Klickibunti so toll wäre und CLI so vergangenheitsmäßig, dann halte dir vor Augen, dass selbst viele Servereinstellungen bei Microsoft nur noch per CLI erreichbar sind und guck dir parallel den Aktienkurs von MS an, nur um dich da mal kurz auf den Boden der Tatsachen zurück zu holen

Kann man ein bestehendes RAID-5 in ein anderes System einbinden?

Ja.

Zum Bleistift in eins von Synology?

Nein.

@0x8100 So wie ich es lese, hat er ganz normal wie unter Linux üblich per mdadm ein Raid 5 erstellt (also versteckt und Anwenderfreundlich per WebGUI) und hat darauf ein (oder mehrere) BTRFS Volumes angelegt und nicht die Raid 5/6 Funktionalität von BTRFS verwendet.
Die Doku von OMV sagt ja auch, dass man gefühlt keine der Vorteile von BTRFS nutzen kann.
Des Weiteren ist deine "Freenas" Empfehlung natürlich ziemlich sinnfreier Quark.
1. Freenas gibt es nicht mehr bzw. nur noch als veraltete Lösung. Den Nachfolger Truenas Core gibt's seit ~8 Monaten.
2. Die allermeisten Laien verstehen ZFS nicht weil Sie sich nicht damit beschäftigen wollen und ignorieren die Nachteile von ZFS sofern diese überhaupt bekannt sind. Spätestens wenn der Laie seinen ZFS Pool vergrößern will, tauchen die häufigsten Fehler auf.
3. Das Berechtigungskonzept für Freigaben bei Truenas (Core) ist recht umfangreich und detailliert und man kann alles wunderbar fein granular einstellen wie man es möchte. Simpel würde ich es jetzt gerade nicht nennen.
ZFS (und Truenas) ist toll und hat viele Vorteile aber eben auch Nachteile, gerade wenn man nur ein kleines einfaches simples NAS möchte, das man bei Gelegenheit vielleicht erweitern will.

@Courtyard Die Fehlermeldung sagt halt, dass da etwas defekt ist aber weil BTRFS denkt, dass es auf einem einzelnen Laufwerk läuft kann es da nix wirklich machen. Das kann darauf hin deuten, dass eine der HDDs im Raid 5 Fehler hat. Ich würde hier an deiner Stelle zuerst für aktuelle Backups sorgen und dann jeder beteiligten HDD einen langen SMART Test gönnen und (danach) ein Scrub des Raids anstoßen. Dazu ggf. als root bzw. mit sudo: echo check > /sys/block/md127/md/sync_action, den Fortschritt bzw. das Ergebnis siehst du mit cat /proc/mdstat.

nachdem selbst kleinere Problemchen nur mit CLI, bzw. Shell und mühsamer Foren-Hilfe behebbar wurden, hoffte ich jedesmal, dass einfach nix mehr passiert.

Ich könnte deinen Beitrag nehmen und die Worte NAS, OMV, Raid, CLI, usw. durch irgendwelche Auto-Begriffe ersetzen und wenn ich damit in ein Autoforum gehen würde, wären die Reaktionen:

• Basteleien erfordern Fachkenntnis oder den Willen sich diese anzueignen
• Geh halt in die Werkstatt

Dann frage ich mich immer warum dies jeder bei IT und Computern anders sieht und sich für einen Fachmann hält. Was hast du denn erwartet? Irgendwelche Dinge selbst betreiben bedeutet halt Verantwortung und Aufwand.
Komplett oder größtenteils wartungsfrei selbst etwas betreiben, funktioniert bei sehr simplen Dingen. PCs bzw. Serveranwendungen sind inzwischen deutlich komplexer unter der Haube weil mehr Funktionen und Anwendungsfälle vorhanden sind. Bei einem Tesla oder ID.3 kommt doch auch kein normaler Autofahrer auf die Idee am Motor selbst herum zu frickeln obwohl das beim alten Golf o.ä. doch noch alles problemlos ging.

Long story short: Festplatten und auch SSDs werden immer ausfallen, die Frage lautet immer nur 'wann' und nie 'ob'. Aus dem Grund hat man Backups und weil man von Backups alleine nix hat, sollte man mindestens einmal nach Einrichtung die Wiederherstellung erfolgreich testen. Ebenso sollte man mehrere Versionen im Backup haben für den Fall, den du hast: Fehler treten auf und jetzt weißt du nicht ob auch schon die Daten im letzten oder vorletzten Backup fehlerhaft sind.
Wie du heraus findest welche Daten betroffen sind, steht z.B. hier: https://wiki.archlinux.org/title/Identify_damaged_files#Find_damaged_files

 

[Konfekt]

Moin zusammen,

und danke für Eure Antworten.

@0x8100
FreeNAS hatte ich früher mal, aber das lief irgendwann aus und da stieg ich auf OMV um. OMV wurde damals in NAS-Foren empfohlen.

@snaxilian
Dass es auf der Profiebene noch sehr viel mit CLI gibt, das bezweifle ich gar nicht . Auch dass man damit gut arbeiten kann. Aber Server administrieren oder eine Farm betreiben wollte ich nicht . Ich hatte das OMV damals aufgesetzt mit Ziel mich darin etwas tiefer einzulesen, muss aber einfach zugeben, dass ich darin gescheitert bin. Ist halt so, kann ich jetzt im Nachgang auch nicht mehr ändern. Als Fachmann habe ich mich in diesen Dingen auch nie gesehen, aber als bedingt lernfähig.

Ja, Du hast mit Deinen Kritikpunkten sicherlich Recht. Dass man TrueNAS granular einstellen kann finde ich einerseits schon sehr charmant, da ich ein Freund von detaillierten Anpassungen bin und so was auch gern selbst einstelle. Andererseits kenne ich mich und weiß, dass ich dazu neige, mich irgendwann zu verzetteln.

Daher wäre es in meinem Fall vermutlich schon das Sinnvollste, auf eine "easy" Lösung zu setzen und eine technisch tiefergehende Lösung wie OMV denen zu überlassen, die Lust auf CLI und Co haben.

Was die Backups angeht, ja ich habe dies natürlich und es ist aktuell. Ich lasse den Scrub bereits laufen, warte das Ganze ab (kann Tage dauern) und versuche dann, die betroffenen Files zu identifizieren. Wenn ich Glück habe, sind es nur irgendwelche weniger wichtigen Dinge. Ich sehe zu, dass ich noch die SMART Tests hinbekomme und arbeite dann Deine Kommandos mal ab. Auch der Artikel, den Du verlinkst hast hilft mir, das werde ich noch hinbekommen.

Was QNAP und Synology angeht, die finde ich beide recht teuer bei vergleichsweise schwacher Rechner-Leistung. Da bietet ja selbst mein MiniPC mehr. Gibt es eine Lösung, bei der ich meine vorhandene Hardware (Mini PC, Disk-Array mit den 4x6 TB HDD Platten, ext. HDD) noch optimal nutzen kann? Auf eine komplette Neueinrichtung des RAID plus Einspielen aller Daten habe ich mich schon eingestellt.

Kann ich bei QNAP, Synology & Co. auch Netzlaufwerke nach eigenem Belieben anlegen, also z.B. Laufwerk X: für Familie, Y: für Steam, Z: für Fotos oder so?

Danke für Eure Geduld und Unterstützung!

 

[snaxilian]

Aber Server administrieren

Ein NAS ist ein Server denn der Begriff Server kommt vom englischen 'to serve', es werden also Dienste oder Leistungen bedient und angeboten.

Auch ein Freenas läuft nicht irgendwann aus aber wenn man sich halt 0 um Wartung kümmert ist man halt irgendwann in einer Sackgasse und hat keinen Rückwärtsgang.
Gleiches wird dir mit einem Synology oder QNAP passieren. Du kaufst so etwas mit Version X.Y und es gibt Updates und wenn man dies immer ignoriert hat der Hersteller so viele neue Versionen heraus gebracht, dass ein Update von gekaufter/installierter Version auf die aktuelle Version nicht mehr möglich ist, z.B. wenn der Hersteller die Zwischenschritte nicht mehr anbietet. Bei geschlossenen Lösungen wie QNAP, Synology, usw. ist das nicht so dramatisch bzw. die Versorgungszeiträume sind recht lang.

Bei Selbstbau-Lösungen wie freenas/truenas, omv oder die drölfzig anderen Angebote, ist dies etwas anders. Diese kommen idR ja nur zum Einsatz wenn man sehr spezielle Anforderungen hat und/oder einen die Einschränkungen bzw. Leitplanken der fertigen Lösungen stören. Bei beiden Situationen kann davon ausgegangen werden, dass die Betreiber entsprechende Kenntnisse haben oder sich aneignen und größtenteils wissen, was da getan werden muss.
Dieser Irrglaube man könne von "ich benutze einen PC und damit Endgerät" problemlos auf "ich betreibe für mich und ggf. andere Personen langfristig und sicher irgendwelche Serverdienste" wechseln ist halt genau das: Ein Irrglaube.
Wer lange/viel/gut Auto fährt, damit umgehen und es betreiben kann fängt auch nicht plötzlich an eine Werkstatt zu betrieben oder Autos selbst bauen zu wollen.

Was QNAP und Synology angeht, die finde ich beide recht teuer bei vergleichsweise schwacher Rechner-Leistung.

Das ist halt auch eine ziemliche Milchmädchenrechnung. Im Preis inbegriffen ist ja nicht nur die Hardware an sich sondern auch die Entwicklungskosten der Software bzw. die gute Integration und Verzahnung der ganzen Komponenten, du bekommst Updates mit Fehlerverbesserungen und neuen Funktionen, in der Regel ist das auf allen kompatiblen Modellen getestet, es wird eine Doku geschrieben und aktuell gehalten und es gibt Support per Telefon & Chat.
Außerdem neigen PC Anwender massiv dazu, die Anforderungen an Hardware zu überschätzen weil als Referenz der Windows PC herhalten muss. Windows und ein Linux/BSD auf einem NAS haben ganz andere Anforderungen und da laufen ja auch ganz andere Anwendungen.

So als Realitätsabgleich: Was würdest du schätzen benötigten man um folgende Dienste für ein ~halbes Dutzend Leute zu betreiben:

• Nextcloud mit diversen genutzten Apps
• Mailserver mit Spamfilter, Virenscanner, Webmailer und ein Fetchservice um Mails von anderen Mailservern abzuholen
• VPN Server für nicht vertrauenswürdige Netze wie Hotspots, etc

Also wie viele CPU Kerne, wie viel RAM und HDDs oder SSDs um das stabil und ohne Ruckler zu betreiben?

Gibt es eine Lösung, bei der ich meine vorhandene Hardware (Mini PC, Disk-Array mit den 4x6 TB HDD Platten, ext. HDD) noch optimal nutzen kann?

Sagt dir die Redensart "Wasch mich aber mach mich nicht nass" etwas?
Die bekanntesten Lösungen sind truenas, omv, xpenology (viel Gefrickel bei Installation und Updates sofern es überhaupt klappt) oder ggf. Unraid aber das ist schon fast übertrieben für ein einfaches NAS...

Kann ich bei QNAP, Synology & Co. auch Netzlaufwerke nach eigenem Belieben anlegen

Ja, du kannst Freigaben mit unterschiedlichsten Namen und Berechtigungen anlegen. Unter welchem Laufwerksbuchstaben du dies dann am PC einbindest ist dem NAS ziemlich egal.
Beide Anbieter bieten Online-Demos an zum ausprobieren: https://www.tutonaut.de/synology-und-qnap-nas-funktionen-im-browser-testen/

 

[Konfekt]

@snaxilian

Nochmals danke für Deine ausführlichen Beschreibungen. Ja, ein NAS ist ein Server, ich schaffe es auch nach vielen Jahrzehnten Rechner-Erfahrungen immer noch, mich begrifflich etwas schusselig anzustellen. Aber mir ist der Unterschied nun auch klar. Was Natzwerken angeht war ich tatsächlich immer etwas im Hintertreffen trotz meiner Begeisterung für die IT.

Danke auch für die Infos zu den Fertiglösungen. Dann werde ich mich dahingehend mal beraten lassen und mir eine solche in der nächsten Zeit zulegen. Etwas schade um den MiniPC, für den ich dann zumindest aktuell keine große Verwendung mehr habe, aber ggf. fällt mir noch etwas dafür ein. Die Demo schaue ich mir mal an.

Danke an alle für die Hilfe!

 

[snaxilian]

Bei den Fertiglösungen wirst bzw. kannst aber die gleichen technischen Probleme bekommen. Auch da gehen Laufwerke irgendwann kaputt oder Dateisysteme können korrupte Dateien bekommen.
Ja, manche der Reparaturversuche lassen sich per Webinterface lösen aber auch dann heißt es irgendwann im Handbuch oder vom Support: Ausflug auf die CLI oder "Disks tauschen und Backup einspielen".

Die Fertiglösungen kochen auch alle nur mit Wasser und haben das Rad nicht neu erfunden. Deren Vorteile sind die energiesparsame Hardware, kompakte Bauweise und vergleichsweise hoher Komfort bei der Bedienung und die umfangreiche Dokumentation.

 

[Konfekt]

Dann stellt sich ja fast schon die Frage, ob es sich lohnt mit QNAP und Co... Oder ob ich nicht schlichtweg regelmäßig Sicherungen anlege, das NAS aktuell halte und mich zumindest in die Thematik der Fehlersuche einlese. Eine weitere ext Platte als zusätzliche Sicherung kostet zumindest deutlich weniger und würde selbst beim Totalausfall und Neuaufsetzen genau das liefern was ich brauche: meine Daten.
Denn wenn ich da auch unterm Strich irgendwann vor dem nahezu identischen Problem stehe und dafür dann viel Geld ausgegeben habe, macht das auch wenig Sinn.

Aktuell hat der Scrub keine weiteren Fehler ausgegeben. Gut, der kann noch ein paar Tage brauchen. Anschließend möchte ich erst mal wissen, was betroffen ist und dann sehe ich weiter.

 

[Konfekt]

So, der Scrub ist durch und ich habe den journalctl Befehl aus dem Artikel ausgeführt , um die betroffenen Dateien zu identifizieren:

# journalctl --output=cat --grep='BTRFS .* i/o error' | sort | uniq | less

Hier bekomme ich folgende Meldung:

Compiled without pattern matching support

Im Artikel finde ich zum Thema CSUM Fehler nichts weiteres. In anderen Artikeln wird meist direkt eine ID mitgeliefert, in meinem Fall leider nur, dass 6 csum Fehler bestehen. Da ich nun den journalctl Befehl nach einem vor Wut aus dem Fenster geworfenem Monitor halbwegs bedienen kann (der Besitzer des KFZ, das ich getroffen habe sucht immer noch nach dem Inhaber des Monitors), kann ich ja vielleicht zu den CSUM noch etwas herauslesen...

 

[snaxilian]

Dann stellt sich ja fast schon die Frage, ob es sich lohnt mit QNAP und Co... Oder ob ich nicht schlichtweg regelmäßig Sicherungen anlege

Das eine hat doch mit dem anderen nix zu tun.

Ein NAS stellt halt Speicherplatz an zentraler Stelle bereit, wenn man von mehr als einem Gerät auf die Daten zugreifen will oder muss anstatt einer dezentralen Datenhaltung. Ein NAS entbindet aber niemals von der Notwendigkeit für Backups. Das gilt für Selbstbau genauso wie für Fertiglösungen.

Anstatt irgendwas aus dem Fenster zu werfen könnte man die Fehlermeldung auch in eine Suchmaschine tippen... Um dann zu lernen, dass bei Distributionen auf Basis von Debian, dazu gehört OMV, das Feature --grep= aus Gründen nicht dabei ist.
Dann musst mit Zwischenschritten arbeiten und die Ausgabe von journalctl in eine Textdatei werfen und darauf dann kannst dann mit grep arbeiten.
Wenn dich Fehlermeldungen und die Suche mit einer Suchmaschine überfordern dann greife zum Fertigprodukt, da bekommst das nicht angezeigt sondern den Hinweis das eine oder mehrere HDDs bald aussteigen und du diese ersetzen sollst und das Backup einspielen.

 

[Konfekt]

Moin,

sorry für die lange Auszeit, ich war etwas länger erkrankt und dann kam beruflicher Stress dazu.

Ich weiß gerade nicht wirklich weiter. Einerseits fühle ich mich mit OMV, Ubutntu und der gesamten Linux-Welt ein wenig überfordert. Ich habe einiges gelesen, in Foren rumgesucht, etc., aber jedesmal, wenn ich etwas ausprobiere, stoße ich wieder nur auf neue Probleme.
Andererseits hieß es ja, dass die Fertiglösung auch ihre Probleme hat.

Zuletzt hatte ich versucht, zumindest mal die betroffenen Dateien ausfindig zu machen, war aber irgendwo gescheitert. Wenn man etliche Abende investieren muss, um unterm Strich 3 oder 4 kaputte JPG Dateien zu idenifizieren, dann steht zumindest für mich der Aufwand einfach nicht in Relation zum Ertrag. Ja, die Experten werden jetzt wieder schimpfen. Aber ganz so blöd bin ich ja nun auch nicht was IT an sich angeht.

Aktuell lebe ich damit, im Prinzip immer alles extern zu sichern für den Fall, dass im NAS etwas beschädigt sein wird.

Vermutlich wird in der nächsten Zeit eine Fertiglösung die beste für mich sein.

Danke Euch allen!!