NAS und Heimserver

[Banned]

Vereinfacht gesagt: ZFS benötigt ECC RAM,

Nein.

denn durch die Prüfung im Dateisystem kann es vorkommen, dass bei einem Bitfehler im RAM ggf. Auch gute/fehlerfreie Datein beschädigt werden können.

Wie soll das gehen? Solange die Datei fehlerfrei ist, gibt es überhaupt keinen Grund, etwas an ihr zu ändern. Was passieren kann, ist, dass sich die Prüfsumme im RAM (welche dort bei der Überprüfung hinterlegt wird) durch Bitfehler verändert. Dann kommt es zu einem Mismatch und der Block wird über die Parität wiederhergestellt. Theoretisch wäre es nun möglich, dass nach dem Mismatch durch Bitfehler nun auch noch beim Schreiben der neuen Daten einer auftritt (das ist aber extrem unwahrscheinlich).
Wie genau ZFS arbeitet, kann ich dir leider nicht sagen; also wie bestimme Prozesse genau arbeiten (theoretisch kann es zu falsch negativ oder sogar positiv bewerten Prüfergebnissen kommen). Dass ZFS ECC-RAM benötigt, ist aber einfach Quatsch, denn es entsteht kein besonderes Risiko dadurch und ZFS ohne ECC-RAM ist immer noch besser als NTFS etc. mit.

NTFS speichert die Datei und beim späteren öffnen heißt es einfach "datei beschädigt".
Bei ZFS kann es eventuell passieren dass das ganze Verzeichnis dann nicht mehr funktioniert.

Hä? Das macht keinen Sinn. Ein Verzeichnis ist eine Datei, welche auf die Inodes der enthaltenen Dateien verweist. Dadurch, dass eine Datei beschädigt wird, kann nicht das Verzeichnis (bzw. die Verzeichnis-Datei) beschädigt werden, die darauf verweist.

 

[Piktogramm]

Ausfallende Datenträger sind ein Problem, aber Raid10 ist Unsinnig. Die zusätzliche sequentielle Geschwindigkeit bei HDDs ist in den meisten Fällen nicht relevant. Die gesteigerte Komplexität, Energiebedarf, Geräuschemission aber schon. Zudem ausfallende Platten nicht dein alleiniges Problem sind. Sonstige Hardwarefehler, Softwarefehler und am wahrscheinlichsten Nutzerfehler sind die größte Gefahr.

Knall dir ein Raid1,5,6 hin entsprechend deiner Wünsche an Kapazität. Selbst wenn du unbedingt sequentielle Geschwindigkeit willst, Raid5 schreibt 1xParaität und N-1 Nutzdaten. Daher mit drei Platten hast du grob die doppelte Schreibrate einer einzelnen Platte.

@Piktogramm okay, verstehe nun was du meinst.

Das System ist overkill für meinen Einsatzzweck. Bezüglich truenas: Ich rede davon, mal alles was ich nun auf verschiedenen externen HDDs angesammelt habe mal halbwegs redundant zu sichern. Fällt mir jetzt so ne HDD runtee sind teilweise wichtige dokumente/bilder weg und ich benötige eine Datenrettung.

Willst du ein NAS mit aktivem Zugriff und/oder eine Gegenstelle fürs Backup?
Alles was im aktivem Zugriff befindlich ist, ist durch Nutzerfehler und simpelste Schadsoftware gefährdet und stellt kein Backup dar.

Da sind dann noch 2 HDDs mit angeschlossen über USB welche als NAS dienen und über einen einfachen Share freigegeben sind.

Bitte keine USB-Laufwerke für irgendwelche NAS/Linuxsysteme nutzen. Es gab und wird auch in Zukunft allerhand üble Bugfixes für USB zu NVMe/Sata Bridges geben und Diskussionen auf den Kernelmailinglisten. USB-Laufwerke als Coldbackup geht in Ordnung, für anhaltenden Betrieb würde ich davon aber abraten.

---

Dass ZFS ECC-RAM benötigt, ist aber einfach Quatsch, denn es entsteht kein besonderes Risiko dadurch und ZFS ohne ECC-RAM ist immer noch besser als NTFS etc. mit.

Mit OnChip ECC ist bei DDR5 mittlerweile die größte Fehlerquelle sowieso abgefangen. Ansonsten ist vollständige Speicherkorrektur nicht verkehrt und je nach Preisschwankungen der PRO APUs bei AMD gegen kleinen Aufpreis verfügbar.

Und an sich ist der Horror den die "ZFS/BTRFS braucht ECC"-Leute schieben, dass der Arbeitsspeicher beim Berechnen der Checksummen/Paritäten etc. Bits flipt. Dann schlägt der nächste Check beim Scrubbing oder Lesen fehl und dann wird es wirklich haarig.
Für Fat32/NTFS gibt es die Fehlererkennung so nicht. Aber viele Nutzdaten vertragen einzelne Bitflips halbwegs, viele Hobbyadmins vertragen aber keinen ZFS/BTRFS-Modul welches austickt

Hä? Das macht keinen Sinn. Ein Verzeichnis ist eine Datei, welche auf die Inodes der enthaltenen Dateien verweist. Dadurch, dass eine Datei beschädigt wird, kann nicht das Verzeichnis (bzw. die Verzeichnis-Datei) beschädigt werden, die darauf verweist.

Kommt arg darauf an wo die Bitflips auf den Datenträgern stattgefunden haben. Ob in den Blöcken vom BTree/Metadaten oder den Datenblöcken.

 

[Dangerzone94]

Ich beziehe mich auf

https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/
https://ianhowson.com/zfs/ecc-ram/
https://www.truenas.com/community/threads/ntfs-vs-zfs-and-ecc-dilemma.43467/ + links in dem theard.


Für mich ist hyper-v mit ntfs auch eine option. Und habe dort mal sehr vereinfacht gegenüberstellen wollen, was den im worst case passieren kann.

Und bei ZFS wird eben ECC empfohlen. Und das ZFS eben etwas empfindlicher reagieren kann im worst case (theoretosches Konstrukt). Bei anderen Dateisystemen bleibt ein defektes bit einfach defekt. Datei verloren. Und ZFS kann eventuell einen ganzen pool (theoretisch) duech kettenreaktion zerschießen.

 

[Banned]

In dem ersten von dir verlinkten Artikel wird die Annahme des "scrub of death" doch gerade wiederlegt bzw. gezeigt, wie fast utopisch das ist (man muss das Zeug halt auch selbst mal lesen ). Bei einem RAM, der nicht defekt ist, treten einzelne Bitfehler (die Betonung liegt auf "einzelne") nur sehr, sehr selten auf (und Multi-Bit-Fehler, welche noch mal erheblich seltener sind, kann auch ECC-RAM nicht korrigieren, sondern eben nur Single-Bit-Fehler).
Hast du einen RAM, der ständig und in großer Zahl Bitfehler produziert, ist der einfach defekt und zerschießt dir jedes Dateisystem.

PS: Sogar der ZFS-Entwickler Matthew Ahrens sagt, dass ECC-RAM nicht notwendig ist für ZFS: https://www.truenas.com/community/threads/freenas-without-ecc-ram.73669/

 

[Piktogramm]

Eine rote Linie ist bei dir nicht erkennbar. Groß Raid1 bzw. 10 ins Auge fassen, sich um Datenrettung Gedanken machen aber NTFS als Dateisystem ins Auge fassen.. (Mit welcher Raidlösung dann eigentlich?!).

Zudem der Ansatz witzig ist, wenn das Bedrohungsszenario Bitflips im Speicher sind. Egal wie man ein Raid aufsetzt, da sollte so oder so immer mal wieder ein kompletter Check laufen, ob Integrität gegeben ist. Mit "lustigen" Bits die im Arbeitsspeicher flippen wird die (Software-)Raidlösung auch ausflippen.

Ansonsten würde ich es mit Ian aus dem zweiten Link halten:

Do you really need ECC RAM with ZFS?​

In short, not really. But your life will be better if you do.

Schön isses, muss nicht. Naja und 4x Zen3 gibt es für 120€ als Pro APU, für 6x Zen3 140€. Erst darüber wird es teurer, aber Geld auf CPU-Kerne mit Dauerlangeweile zu werfen ist Imho nicht sinnvoll.

 

[Dangerzone94]

@Banned genau, und ich wollte fragen, ob och das zumindest theoretisch auftretende Phänomen verstanden habe, und das Resultat daraus.

 

[Piktogramm]

Da @Banned zwischendurch gepostet hat:
Naja ein gekipptes Bit sollte ECC korrigieren, zwei gekippte Bits sicher erkennen können. Darüber hinaus noch mehr Bitflips zu haben wäre wirklich absurd und sollte beim initialem Memtest auffallen (Also die ersten 24 Memtest die gewissenhafte Bastler laufen lassen).

Ergänzung (9. März 2025)

@Dangerzone94
Naja "verstanden" würde ich dir attestieren, wenn du mir erklärst, was Bitflips auf der Datenstruktur von ZFS bewirken und wieso das besser/schlechter ist als bei anderen Raid-/Dateisystemlösungen.

Weil selbst das Onboardraid bei AMD und Intel ist Softwareraids, sind von Speicherfehlern ähnlich betroffen.

 

[Banned]

@Dangerzone94 Hier mal ein Beispiel für ein "günstiges" Selbstbau-NAS mit ECC-RAM: https://www.computerbase.de/forum/threads/nas-1x1.1986978/page-2#post-29127972

 

[Dangerzone94]

@Banned Den Post hatte ich tatsächlich auch schon gelesen. Das mit den Intel NICs war ein toller Hinweis den ich mir schon notiert hatte.

Ergänzung (9. März 2025)

@Dangerzone94
Naja "verstanden" würde ich dir attestieren, wenn du mir erklärst, was Bitflips auf der Datenstruktur von ZFS bewirken und wieso das besser/schlechter ist als bei anderen Raid-/Dateisystemlösungen.

Zumindest so viel um zu verstehen das ZFS ein gutes System ist und man ECC nicht überbewerten sollte.


Und mit dem roten Faden: kann ich teilweise nachvollziehen, da ich den Post eröffnet hatte und danach noch ganz viele andere Infos auf mich eingeprasselt sind. Dies dann zur Folge hatte das mit jeder Antwort 3 weitere fragen nach "wie funktioniert das" hinzu gekommenen ist. Und manche Forumsposts dann einen größeren Elefanten aus manchen dingen gemacht haben als diese eig. sind.

 

[andy_m4]

Ich beziehe mich auf

Man kann auch einfach mal gucken, was die OpenZFS-Entwickler selber sagen :-)
-> https://openzfs.github.io/openzfs-d.../FAQ.html#do-i-have-to-use-ecc-memory-for-zfs

btw.: Gibts noch viele andere Möglichkeiten außer Bitfehler, die Dir Dateisysteme kaputt machen kann. Reicht ja schon ein defektes Kabel, defekter Controler oder weiß der Geier was.
Wenn Du ein Backup machen würdest, hättest Du auch diese Szenarien abgedeckt.
Von daher verstehe ich auch nicht, weshalb Du da so "Wirbel" wegen ECC machst.

 

[Dangerzone94]

Von daher verstehe ich auch nicht, weshalb Du da so "Wirbel" wegen ECC machst.

@andy_m4 das frage ich mich auch wie das so auf dieses Thema fokusiert wurde. Ich gehe mal davon aus, meine sehr leihenhafte interpretation sowie vielleicht verwirrende Aussage im #20 Post hat das Thema so aufgebauscht.

Für mich war das ECC-RAM Thema eh nicht so groß. Ich wollte nur die funktionsweise wissen, und auch wieso immer ECC-RAM empfohlen wird.

Ich muss nur meine Daten halbwegs redundant speichern können. Wenn mal eine HDD kaputt geht, dass dann nicht alle Daten gleich verloren sind. Manche sehr wichtige Daten wie z.B. Finanzdokumente speichere ich nochmal extra auf eine externe HDD, und als Papierform sind die auch immer noch da. Eventuell hole ich mir zu dem NAS/Homeserver Setup auch noch irgendwann mal einen Mini-PC der dann nur für Backup automatisiert zuständig ist.

 

[andy_m4]

Ich wollte nur die funktionsweise wissen, und auch wieso immer ECC-RAM empfohlen wird.

Ja. Das verstehe ich.
Diese ZFS/ECC-Geschichte geistert nun auch schon seit Jahren durchs Internet. Irgendwie ist das gefühlt auch jede Woche Diskussionsthema. Wer auch immer das in Umlauf gebracht hat, hat damit ein ne Never-Ending-Story losgetreten.
Wie Du ja auch richtig gesagt hast, das ist ein eher theoretisches "Problem" was in der Praxis quasi nie auftritt. Im Gegenteil. Bei den meisten Problemen profitiert man von ZFS. Und unter dem Gesichtspunkt muss man das es dann auch sehen.

Manche sehr wichtige Daten wie z.B. Finanzdokumente speichere ich nochmal extra auf eine externe HDD

Ja. Das ist generell keine verkehrte Taktik. Also beim Backup die Daten nach Wichtigkeit zu priorisieren. Und die, wo es weh tun würde wenn die weg, wären sichert man da halt mehr ab, als zum Beispiel die Filmchen-Sammlung (wenn die weg wäre, wärs zwar auch irgendwie doof halt kein Weltuntergang).

auch noch irgendwann mal einen Mini-PC der dann nur für Backup automatisiert zuständig ist.

Im Prinzip kann man ja auch auf ein Online-Drive sichern. Natürlich mit Crypto-Layer drüber, damit es kein Privacy-Problem gibt. Mit sowas wie restic lassen sich beispielsweise effiziente crypted Backups anlegen.

Wenn Du eh ZFS nutzt, kannst Du Datasets auch direkt sichern (siehe zfs-send(8) / zfs-recv(8)).
Der Clou: Man kann die von vornherein verschlüsselt anlegen und dann fürs Backup "raw" wegsichern. Das ist dann auch sehr effizient/schnell, weil dann fürs Backup eine dedizierte Enryption wegfällt. Funktioniert natürlich am besten, wenn das Backup-Medium auch ZFS ist, muss es aber nicht zwangsläufig sein.

 

[kIrK]

@kIrK für mich kommt leider so ein fertig NAS (egal ob QNAP, Synology,...) nicht in frage.

Hab mich schon gewundert...
Hatte doch gar nichts zu dem Thema geschrieben!

 

[Dangerzone94]

Sorry, auf dem Handy ist das zitieren oftmals fummelig

 

[Dangerzone94]

Ich habe mir mal ein Gerät was etwas meinen Wünschen entspricht Zusammengestellt:

https://geizhals.de/wishlists/4366173

 

[Piktogramm]

Die BX500 sind Sata-Laufwerke ohne Dram-Cache. Wo NVMe-Laufwerke ohne eigenen Dram mittlerweile schnell genug sind wird das bei Sata mitunter wirklich problematisch. Ein paar komplexere Zugriffsmuster und die Dinger können langsamer werden als HDDs. Die komplexeren Zugriffsmuster sind quasi sicher bei Dateisystemen wie BTRFS/ZFS, Raid und dann noch 1..3VMs als Last und es wird frustrierend.
Als Systemlaufwerk geht die BX500, ohne VM und ohne all zu fordernde Anwendungen (TrueNAS, HomeAssistent, ne Nextcloud mit <10Nutzern, kein Raid, kein COW[1]).

Im Vergleich, zwei Koixia G2 mit 500GB kosten 29€ und sind locker eine Größenordnung schneller.

[1]Die Selfchecks vom Raid dauert mit den Laufwerken Ewigkeiten und COW (Copy on Write) ist das, was man mit ZFS/BTRFS haben will, fragmentiert aber die Daten auf dem Laufwerk.

##############

Beim Mainboard würde ich eher das Asrock B760-H2/M.2 empfehlen.
https://geizhals.de/?cmp=2872254&cmp=3046168&active=1

Die Platine hat weniger Spannungswandler, weniger Zusatzkram und damit tendenziell weniger Energiebedarf im Idle. Die 4 Sata Ports reichen, wenn du dich nicht selbst mit Sata SSD geiselst sondern für weniger Geld zu NVMe-Lauwerken greifst..
Und wenn du mal aufrüsten willst, PCIe zu Sata Controller mit Asmedia-Chip gibt es billig.

Ergänzung (13. März 2025)

Und beim Netzteil, beim BQ Netzteil im TFX Format gibt BQ die Effizienz bei 10% (30W) an aber auch nicht darunter. Wenn dein NAS dauerhaft laufen soll und du auf Sparsamkeit optimieren willst gibt es Hausaufgaben:
https://geizhals.de/?cat=gehps&xf=3...=de&plz=&dist=&fcols=18423&sort=p&bl1_id=1000

Cybernetics testet die Effizienz bei 20W und Geizhals verlinkt auf die Tests. An sich sollte dein Selbstbau mit angehaltenen HDDs 20W oder weniger benötigen. Eine kleine Rechnung dazu, bei angenommenen 20W Last bedeuten je 5% Effizienzunterschied 1W mehr an der Steckdose. Jedes Watt übers Jahr entspricht 8,76kWh und bei angenommenen 0,30€/kWh folglich 2,6€.

Beim kurzem selber schauen. Die CoolerMaster NWE NTs unter 55€ sind alle knapp unter 80% Effizient bei 20W Last und über Amazon beziehbar.

Ergänzung (13. März 2025)

Und die Wahl der HDDs verstehe ich nicht. Fängst mit Raid für Geschwindigkeit an, wählst dann aber HDDs, die mit 5400U/min eher auf der langsamen Seite sind. Tendenziell schnellere Laufwerke mit der selben Kapazität gäbe es günstiger.

 

[Dangerzone94]

Vielen dank für den imput.

Spielst du bei den HDDs auf 5400rpm vs 7200rpm an?

 

[Piktogramm]

Ja, die Rotationsgeschwindigkeit ist der Punkt.

 

[Banned]

Die 4 Sata Ports reichen, wenn du dich nicht selbst mit Sata SSD geiselst sondern für weniger Geld zu NVMe-Lauwerken greifst..

Dann ist aber Bitfurcation-Unterstützung das Problem. Hat das Board doch sicherlich nicht. Ich persönlich würde bei nem Mainboard für ein NAS nicht unter sechs SATA-Ports nativ kaufen. Klar, Adapterkarten gehen, verbrauchen aber auch wieder etwas zusätzlich Strom. (Wenn das Teil natürlich eher selten läuft, ist das ziemlich egal.)

Und beim Netzteil, beim BQ Netzteil im TFX Format gibt BQ die Effizienz bei 10% (30W) an aber auch nicht darunter.

SFX kann man m.W. alle in die Tonne kloppen bzgl. Effizienz im Niedriglastbereich. Das sind idR ganz alte Designs. Bei Netzteilen ab ATX3.0 + >= Gold hingegen bekommt man eigentlich immer ne ganz gute Effizienz in diesem Bereich.

EDIT: Ich dacht, du meintest SFX. TFX ist mir als Formfaktor tatsächlich neu.

@Dangerzone94 Das BQ PP11 kannst du nehmen. Dieses hier wäre sicherlich noch etwas effizienter im Idle und ist modular: https://geizhals.de/be-quiet-pure-power-12-m-550w-atx-3-0-bn341-a2884050.html

Aber knapp 30€ Unterschied gleicht man zumindest mit der Ersparnis beim Strom so bald nicht wieder aus.

PS: Das DeepCool auf keinen Fall.

Tendenziell schnellere Laufwerke mit der selben Kapazität gäbe es günstiger.

Dafür hat man dann natürlich ne höhere Lautstärke. Stromverbrauch unterscheidet sich auch idR, wobei es auch 7200rpm-HDDs gibt, die im Idle ganz genügsam sind.

 

[Piktogramm]

@Banned
Was willst du mit Bitfurcation auf einem Board, welches zwei M.2 Slots hat? Einmal direkt von der CPU und einmal vom Chipsatz?
Boards die nativ 6Sata haben sind alles Featurecreeps. Es sind eben nicht nur 6-Sata Ports sondern es sind zusätzlich immer dickere Soundlösungen, mehr und größer dimensionierte Spannungswandler, Thunderbolt Controller, Wifi, ... Tendenziell benötigen die Boards damit mehr Saft als eine zusätzliche HBA-Karte (den Mehrverbrauch meiner mit ASM1166 kann ich nichtmal an der Steckdose messen).
Ganz abgesehen davon, dass 4xSata sehr lange reicht. Derzeit ist das breste Preis/Leistungs-Verhältnis bei HDDs bei ~20TB für "non SMR"-Platten. Mit Raid5 sind das 60TB nutzbarer Stauraum.

Und ja, die schneller drehenden HDDs brauchen mehr Energie. Grundlegend würde ich aber empfehlen die HDDs auch immer mit sinnvollen Zeiten anzuhalten.

Wobei die Lautstärke, da würde ich beim DeepCool Cipher empfehlen, dass @Dangerzone94 einplant Dämmmatten zu kleben. Das Gehäuse scheppert ganzschön (mein Serverchen steckt in so einem Gehäuse).