Einsteiger-NAS ausreichend für mich? Wofür viel RAM benötigt?

[whats4]

zurück zur fragestellung:
es gibt diverse ...ich sag mal basteleien... die mit sehr wenig hardware auskommen. sind halt eher auf einem recht fudimentären level. aber um dokumente/bilder oder videos abzulegen, wird´s reichen.

ein richtiges nas besteht natürlich auch aus richtiger hardware.
ob jetzt properitär, synology, qnap etc..., oder mit standardbauteilen wie flex-atx, microAtx, oder itx ändert daran ned viel.

aber es ist wie beim pc, weil das nas ja nix anderes ist: klar reflektiert das budget das, was geht, oder eben ned.

 

[foo_1337]

Weil das Dateisystem keinen Zugriff auf die Prüfsummen der Sektoren der HDD auf Firmware-Ebene hat und selbst keine anlegt?

Du würfelst hier 2 Dinge zusammen. Das was der HW Raid Controller hier macht, macht das mdraid auch. Im Zweifel sogar besser. Lässt sich schwer beurteilen, da der Code der HW Raid Karten nicht offen liegt. Für die Integrität hilft dir das aber alles nicht wirklich etwas, denn wenn der Controller oder der Kernel hier etwas merkt, ist es in der Regel zu spät.
Was du eigentlich meinst ist copy on write. Und das bieten weder mdraid noch irgendwelche HW Raid Karten. Dafür halt ZFS, BTRFS oder Enterprise Storages wie Netapp.

 

[andy_m4]

Weil das Dateisystem keinen Zugriff auf die Prüfsummen der Sektoren der HDD auf Firmware-Ebene hat und selbst keine anlegt?

Das müssen sie ja auch nicht haben. Die Platte gibt dann einfach einen Lesefehler zurück. Das reicht ja auch, um zu wissen das es dort ein Problem gibt.

Was meinst du mit "dementsprechend reagieren"?

Na ganz einfach. Wenn ich einen Sektor auslese und dann gibts einen Lesefehler aber bei der anderen Platte nicht, dann gebe ich als SoftRAID nicht "Lesefehler" zurück, sondern den Sektor der Platte wo ich ihn auslesen konnte.
Natürlich sollte das SoftRAID noch zusätzlich darauf hinweisen das es mit der Platte ein Problem gibt. Aber funktionieren tut es erst mal.

automatischen Datenfehlerkorrektur bei ZFS

Die Prüfsumme von ZFS ist noch mal etwas anderes. Erstens wird die auf Blockebene gemacht (die nicht notwendigerweise so groß sein muss wie ein Festplattensektor). Zweitens ist die Prüfsumme besser (aber auch rechnerisch aufwendiger) als der einfache CRC-Check den die Festplatte selbst macht. Es können also mehr Fehler erkannt werden.

 

[Banned]

Na ganz einfach. Wenn ich einen Sektor auslese und dann gibts einen Lesefehler aber bei der anderen Platte nicht, dann gebe ich als SoftRAID nicht "Lesefehler" zurück, sondern den Sektor der Platte wo ich ihn auslesen konnte.
Natürlich sollte das SoftRAID noch zusätzlich darauf hinweisen das es mit der Platte ein Problem gibt. Aber funktionieren tut es erst mal.

Klar, aber der defekte Sektor wird meinem Verständnis nach eben nicht mit den Daten des korrekten, redundanten Sektors überschrieben, sondern bleibt defekt, wenn er von der Festplatte selbst nicht wiederhergestellt werden kann.
Dass der korrekte Sektor ausgegeben wird, steht außer Frage. Wir widersprechen uns da also gar nicht, soweit ich das sehe.

Was du eigentlich meinst ist copy on write.

Nein.

Ich rede generell erst einmal von dem CRC-Check, den die HDD selbst macht und wie bzw. ob dieser auf einer höhergelagerten Ebene verwendet werden kann.
Mein Verständnis ist, dass von der Software- bzw. Kernel-Ebene kein direkter Zugriff darauf erfolgen kann, da es sich eben um eine rein Hardware-seitige Kommunikation handelt (aus welchen Gründen das so ist - ob Sicherheit oder Performance - sei mal dahin gestellt).

Falls ich mich damit irre, dann beantworte man mir bitte (am besten mit Beleg) folgende Fragen:

- Kann ein SoftwareRAID auf die Prüfsummen des CRC-Checks der HDD zugreifen? Wenn ja, legt er diese irgendwo ab oder werden sie on-the-fly verarbeitet?

- Legt ein SoftwareRAID irgendwo (muss ja dann bei nicht-ZFS/BTRFS außerhalb des Dateisystems geschehen) Prüfsummen für die Sektoren an? Wenn ja, wo?

 

[andy_m4]

Klar, aber der defekte Sektor wird meinem Verständnis nach eben nicht mit den Daten des korrekten, redundanten Sektors überschrieben, sondern bleibt defekt, wenn er von der Festplatte selbst nicht wiederhergestellt werden kann.
Dass der korrekte Sektor ausgegeben wird, steht außer Frage.

Dann verstehe ich Dein Problem nicht.
Klar bringt eine zusätzliche Prüfsumme wie z.B. von ZFS angelegt ein mehr an Sicherheit. Aber ist jetzt auch nicht so, das RAID1 wie ein Kartenhaus zusammenklappt wenn da mal ein einzelner Sektor nicht gelesen werden kann.

Kann ein SoftwareRAID auf die Prüfsummen des CRC-Checks der HDD zugreifen?

Nein. Ist i.d.R. auch gar nicht nötig. Wichtig ist ja nur zu wissen, das da keine korrekten Daten kommen. Ob die nun deshalb nicht kommen weil der Sektor nicht gelesen werden kann oder weil die CRC-Summe nicht stimmt ist für die Bewertung völlig irrelevant.

Legt ein SoftwareRAID irgendwo Prüfsummen für die Sektoren an?

Nein.

 

[foo_1337]

Ich rede generell erst einmal von dem CRC-Check, den die HDD selbst macht und wie bzw. ob dieser auf einer höhergelagerten Ebene verwendet werden kann.

Ja, kann er. Sonst wäre es sinnlos

Mein Verständnis ist, dass von der Software- bzw. Kernel-Ebene kein direkter Zugriff darauf erfolgen kann, da es sich eben um eine rein Hardware-seitige Kommunikation handelt (aus welchen Gründen das so ist - ob Sicherheit oder Performance - sei mal dahin gestellt).

Auf dem Raid Controller läuft eine Firmware. Die kommt über die gleichen Mechanismen da ran wie der (in diesem Fall) Linuxkernel.

- Kann ein SoftwareRAID auf die Prüfsummen des CRC-Checks der HDD zugreifen? Wenn ja, legt er diese irgendwo ab oder werden sie on-the-fly verarbeitet?

Ja, kann er. Die Platte sendet die ECCs und ggf. auch ein URE. Wenn ein URE gesendet wird, dann sorgt das dmraid dafür, dass der Block aus der Parity neu gebildet wird. Dazu wird das ganze periodisch geprüft (scrub), du kannst das aber auch manuell triggern: echo check > /sys/block/md0/md/sync_action
Den Status kannst du via cat /proc/mdstat verfolgen

- Legt ein SoftwareRAID irgendwo (muss ja dann bei nicht-ZFS/BTRFS außerhalb des Dateisystems geschehen) Prüfsummen für die Sektoren an? Wenn ja, wo?

Es kommt darauf an. Wenn du dmraid standlone nimmst, verhält es sich wie ein HW Raidcontroller und nutzt ausschließlich die Daten der Plattenfirmware. Wenn du dmraid jedoch mit dm-integrity kombinierst, hast du das von dir gewünschte. Ähnlich wie es eben ZFS auch macht. Das ist auch das einzige auf das ich mich verlassen würde, wenn es wirklich wichtige Daten sind.

 

[Banned]

Danke für die ausführliche Antwort.

Ergänzung (29. Dezember 2021)

Im Widerspruch stünde dann im Hinblick auf den Zugriff auf die CRCs der HDD:

Nein. Ist i.d.R. auch gar nicht nötig. Wichtig ist ja nur zu wissen, das da keine korrekten Daten kommen.

Ja, kann er. Die Platte sendet die ECCs und ggf. auch ein URE. Wenn ein URE gesendet wird, dann sorgt das dmraid dafür, dass der Block aus der Parity neu gebildet wird. D

andy_m4, möchtest du da noch was zu sagen? Ansonsten würde ich einfach mal davon ausgehen, dass foo_1337 recht hat. Oder wie seht ihr das?


@foo_1337

Hast du da irgendwelche Literatur bzw. Quellen zu? Ich frage nur, weil ich bisher nichts wirklich Eindeutiges finden konnte, aber bin sicher auch nicht so tief in der Materie drinnen wie du.

 

[andy_m4]

andy_m4, möchtest du da noch was zu sagen? Ansonsten würde ich einfach mal davon ausgehen, dass foo_1337 recht hat. Oder wie seht ihr das?

Natürlich hat er recht.

 

[foo_1337]

Leider ist das Linuxtypisch alles schlecht dokumentiert. Wir mussten vor einiger Zeit von ZFS als Backup Backendstorage weg, da Synthetic Fulls bei Veeam nur mit einem Filesystem mit reflink Support performant funktioniert. Also ReFS oder xfs. Da Windows bei uns nur dann in Frage kommt, wenn es unbedingt sein muss, war also xfs erstmal die Lösung. Daraufhin stand eben auch das Thema Bitrot weit oben, insbesondere weil xfs ziemlich pienzig ist. Ein Kollege hat sich dann durch die Kernelsourcen gehangelt und geschaut, wie das Handling funktioniert. Da wir uns aber nicht darauf verlassen wollten und dm-integrity damals noch sehr experimentell war, fiel die Entscheidung, nicht das klassische Linux Softraid zu nehmen, sondern zfs und kein Dateisystem, sondern zvols bereitszustellen. Auf diesen zvols kam dann das xfs. Theoretisch hat das ganze auch weitere Vorteile wie zfs send/receive, dedup/compression, aber praktisch für uns nicht von nutzen, da Veeam als Usecase.
Wichtig ist aber: Egal ob mdraid oder zfs: Regelmäßige Scrubs sind pflicht.

 

[Skywalker27]

Ich glaube ihr redet etwas am Thema vorbei. Bei 2x im raid1 im privat Umfeld spielt es doch keine Rolle ob jetzt btfs, Ntfs,ext3/4/5, soft Oder Hardware raid … das sind alles Detail Fragen die irrelevant sind für den Themenschwerpunkt.

Zusammengefasst:
ja eine ds220j oder jeder anderen ab der ds214 Serie reicht für deine Anforderungen aus.

 

[foo_1337]

Na dann kann er ja auch in den nächsten Media Markt latschen und sich einfach irgendwas aus dem Regal nehmen. Ist ja eh alles egal
Seine Frage hast du ihm trotzdem nicht beantwortet. Die Postings von uns sind ggf. dann halt doch für den einen oder anderen interessant. Deins wohl eher nicht.

Zum TE: Der Synology Kram kommt ganz gut mit 512MB Ram zurecht. Caching ist bei dem Einsatzzweck nicht so der Rede Wert. Aber: Die CPU ist ein riesen Bottleneck, was das ganze Ding sehr träge macht. Insbesondere die bloat UI und diverse Dienste, sofern man sie nutzen will. Ich habe ein 215j hier für commodity Kram im Einsatz, weil es recht stromsparend ist. Würde es aber definitiv nicht nochmal kaufen. Backups davon in die Klaut laufen davon jede Nacht und alleine das zieht die Kiste schon ziemlich runter. Hier mal paar Graphen:

2016 angeschafft für diverse nfs und cifs shares zuhause. Ich hatte was Strom- und Platzsparendes gebraucht und genug andere Projekte gehabt, die fertig werden mussten, weshalb ich mich dummerweise gegen DYI entschieden habe. Naja, wie schon geschrieben.. es ist ok, mehr aber auch nicht. Ein größeres Synology und damit noch mehr Geld ausgeben, würde ich auf gar keinen Fall. Dafür ist die Softwarequalität einfach zu schlecht.
Ich benutze keines von dem Syno Software Kram. Sorry für die Wortwahl, aber das ist alles crap. Ich habe mittlerweile nen Debian Mac Mini daneben stehen, der sich ein paar Shares gemounted hat und nahezu alles, was das NAS machen sollte, macht. Eigentlich bin ich nur zu geizig für ein TB Case für 2 Platten, sonst wäre das Syno schon deprovisioniert.

 

[Skywalker27]

Ja das stimmt, die CPUs sind nicht die schnellsten. Habe auch noch eine ds215j für Backups rum stehen. Zum Glück laufen die Backups unabhängig und es kann einem egal sein ob es jetzt 20 Minuten oder 3 Stunden in der Nacht laufen .

 

[BFF]

Und nun einfach Finger still halten bis der TE @Homy90 sich eventuell wieder meldet.

 

[Homy90]

oha da habe ich ja was angestoßen! Bin mir nicht sicher ob ich die Diskussion in den letzten Beiträgen richtig verstanden habe, aber für andere ist sie sicherlich interessant/hilfreich.

So, wie es hier wohl gemeint ist (also zur Generierung von zusätzlichen Prüfsummen zur Erkennung von Bitrot) hat es halt den Nachteil, dass Du Speicherplatz für diese Prüfsummen benötigst (0,1%, 4 Byte für jeden 4KB Sektor) und diese auch berechnet werden müssen (sollte bei Dir aber kein Problem sein).

Außerdem wird das NAS gelegentlich ein Scrubbing durchführen um zu prüfen, ob die Daten noch zu den Prüfsummen passen. Das dauert u.U. sehr lange und während der Zeit wird auch die Datenrate in den Keller gehen.

Weitere Möglichkeiten wie Snapshots und Kompression dürfte das NAS vermutlich nicht nutzen oder Du musst es zumindest manuell aktivieren. Deduplikatrion unterstützt die DS220+ laut Synology nicht.

Danke für die Zusammenfassung, das klingt in der Tat für meinen UseCase nach nicht besonders relevanten Nachteilen.

Vielleicht nochmal eine dumme Frage: Man kann mit btfrs auf den NAS-Festplatten aber schon noch Backups per USB auf eine externe HDD machen die mit einem Standard-Windows-Dateisystem (z.B. NTFS) formatiert ist? Oder muss diese externe USB Platte dann auch btfrs formatiert sein? Die externe Backup-Platte hätte ich eigentlich schon gerne direkt lesbar in Windows.

 

[Banned]

Nein, das Dateiformat muss nicht einheitlich sein. Es kann sein, dass ein bestimmtes Dateistem keine Datenträger mit einem bestimmten Dateisystem akzeptiert, aber zur Not kann man einfach die HDD am PC anschließen und die Daten vom NAS über das Netzwerk da drauf ziehen. Also letztendlich kein Problem.

 

[Pac0]

Wenn Du Geld sparen willst, schau Dich auf dem Gebrauchtmarkt nach Synology DS-214 um, dort geht das aktuelle Betriebssystem DSM-7.0.1 drauf. Nicht 214+ und auch nicht 214j! Eine 213j würde auch für ein FW-Upgrade gehen. Man kann davon ausgehen, dass es je älter das Gerät ist umso günstiger vom Preis her wird.

Wäre ein gebrauchter DS-214SE auch empfehlenswert für private Anwendung, der ist auch in dieser Liste drinnen?