Erfahrung Full Flash NAS - Selbstbau gesucht

[mojomojo]

Hi,

mich nervte meine alte QNAP bzw. Synology Combo seit einiger Zeit - so bin ich auf Selbstbau mit Unraid gewechselt in Dell Optiplex 7040, völlig überdimensioniert für meine Ansprüche was CPU Leistung / RAM angeht - aber auch was den Platzbedarf der NAS selbst angeht. 7040 da ich eigentlich per CuDa altes videomaterial codieren wollte, was ich auch gemacht habe - aber im nach hinein hätte das wohl auch mein PC gemacht - so war es automatisiert, erledigt. Ich habe 2 NVME bereits als Raid1 Pool in der NAS und arbeite primär nur darauf, viele kleine Dateien, viele Zugriffe, Backups - bin zufrieden.

Mein Gedanke nun: Wechsel auf Full Flash. Nicht weil es muss, eher weil ich will, wie das nun so mal ist.
Zudem hab ich wieder ein kleines Projekt zum bauen. Ziel ist 1HE.

Hardware ist eher keine Problem für mich.
Software bin ich etwas unentschlossen.

Würde gerne die NVMEs schonen, bzw. auch beim Strom. Daher würde ich mich aus dem Bauch heraus gegen ein ZFS Raid entscheiden und eher eine Paritätslösung sehen ala Unraid oder OMV mit MergeFS und Snapraid.

Alle Daten sind doppelt vorhanden, da altes NAS ja aktiv ist im Moment und wahrscheinlich wandern die HDDs dann später in ein Backup NAS - so das Full Flash das "lautlose" Arbeitstier wird für Daily. Arbeitstier = 2.5G und paar hundert MB Lesen / Schreiben, es sind eher die kleinen Daten die mich in der Vergangenheit genervt haben. 10G und PCIE 4.0 NVME Speed wird nicht benötigt, bzw. werd ich so nicht umsetzten, max out Lese/Schreibleistung hat keine Relevanz.

Unraid läuft, sehe mich aber die Software nicht aktualisieren, jedes mal wenn ich wieder es neu starte, würde ich also 100EUR zahlen. Wenn ich Docker und viele Addons nutzen würde ok, so aber aus meiner Sicht zu teuer.
TrueNAS, ZFS mit den Pools, nett aber die Datensicherheit brauch ich nicht und durch die ZFS Pools fühlt es sich unflexibel an.
OMV klingt gut, glaub wenn es funktioniert wie gelesen, wäre es meine präferierte Option.

Hat jemand so etwas in Nutzung, bzw. Langzeiterfahrung was die Software angeht?
Unterscheidet sich Full Flash hier irgendwie zu Mix? Außer das kein Cache nötig sein wird.
Was sind eure Erfahrungen bzw. Empfehlungen?

Ich weiß das ist vielleicht eine Glaubensfrage, aber vielleicht hat der eine oder andere ja schon mehrmals gewechselt oder hat mehrere Systeme in Benutzung.

 

[0x8100]

homeserver (proxmox + nas-vm mit ubuntu server) hat 4x nvme + 3x sata ssd mit jeweils btrfs zusammengeschaltet mit mergerfs. backup dann regelmässig auf hdd am letzten sata-port. schnell & leise, hdd ist bis aufs backup immer im standby.

 

[JustOne]

Da gäbs viel zu schreiben...

Unraid und OMV sind ziemlich rock solid. Habe beide mehrere Jahre im Einsatz. Bei Unraid kannst du eigentlich seit 7 kein Flash im Array betreiben, da kein trim mehr möglich. Dafür kannst du ab 7 das "Array" auch nur mit pool devices starten.
Als reines Nas ist OMV schön einfach gehalten und bietet sich für Flash only mehr an. Ich finde es zwar aufwändiger einzurichten im Vergleich zu Unraid, aber logisch vom Ablauf und es bleibt nichts unkonfiguriert - anders als vll. In Unraid.

Ansonsten geht's natürlich über die eigenen Bedürfnisse. Ich habe mittlerweile Unraid als Docker und VM Umgebung, wegen der Einfachheit der Einrichtung und OMV als reines NAS, ohne viel Extras.

 

[Blutomen]

Würde gerne die NVMEs schonen

Dann wär in unraid auch praktisch.
Dann können die NVMEs, die nicht gebraucht werden, einfach pennen oder im Idle sein.

Unraid läuft, sehe mich aber die Software nicht aktualisieren, jedes mal wenn ich wieder es neu starte, würde ich also 100EUR zahlen.

Naja die Frage ist, was du machen willst.
Wenn das Teil als Beispiel keinen Internetzugriff hat, würde ich da keine Skrupel haben ^^
Einfach dem NAS den Zugriff entziehen und gut ist.

ABER du bezahlst auch keine 100€ pro Jahr ... bei Starter und Unleashed kosten weitere Update Jahre 36$ (aktuell knapp 32€). Wobei es auch regelmäßig Aktionen gibt.

 

[Asghan]

Ich hab mir nen Aoostar Gem10 mit AMD 6800H geholt, 3 M2 Slots, und Unraid mit NVMe Pool aus 3x4TB drauf laufen

 

[mojomojo]

Ich gehe mal einfach von mehr als 6 devices aus bei Unraid - ohne Internetzugriff - eine Option.
War ich mir nicht bewusst.


Reines NAS reicht denke ich aus, daher OMV, einmal aufsetzten und vergessen ... bzw. ab und an mal updaten und aufräumen.

Proxmox, weiß nicht ob ich das will, noch einen Layer, den ich eigentlich nicht benötige. Seh für mich hier keinen gravierenden Vorteil, oder?

Paritätslösung, da ich lesend hoffe nur die NVME aufzuwecken, welche ich benötige.
Unraid, läuft im Augenblick immer die dicke HDD mit + 2x NVME Cache - im schlimmsten Fall sind die Daten verteielt auf mehrere HDDs, und dann fängt das "Elend" an ... Schreiben in der Nacht dann nochmal, wenn der Cache weggeschrieben wird.

Ich hab mir nen Aoostar Gem10 mit AMD 6800H geholt, 3 M2 Slots, und Unraid mit NVMe Pool aus 3x4TB drauf laufen

Hab ich mir auch schon angesehen, aber zu wenig NVME Steckplatze.
N100 / N150 mit 4x NVME auch eine Option, aber nicht erweiterbar ohne "gefrickel".
CM5833 - 4x NMVE, nett - OMV wäre ok, aber keine Erweiterbarkeit.
UGREEN Flash NAS - zu teuer - da ich das Leistungsplus plus nicht abrufen würde.
ASUSTOR 6x NVME NAS - sieht aus wie ein pseudo game Konsole, schreckt mich einfach ab. Kann auch nur 500MB/s. mit 2.5Gbit.
Lincstation N2 schau ich gerade an.
Beelink, gibt kein release von dem 6xNVME "Würfel"

Denke aber mit "Standard" Komponenten kommt man preiswerter, vor allem im Falle eines Defekts.
Daher auch lieber Paritätslösung statt ZFS Pools zum Beispiel, wenn man erstmal wieder was anschaffen muss um den Pool überhaupt einzuhängen.

 

[Banned]

Warum sollten die SSDs durch ZFS mehr belastet/abgenutzt werden? SSDs nutzen sich nur durch Schreibvorgänge ab, alles andere ist egal.

Ergänzung (Freitag um 22:01)

Daher auch lieber Paritätslösung statt ZFS Pools

Parität hat nichts mit ZFS oder Nicht-ZFS zu tun. (RAIDZ1 und RAIDZ2 z.B. nutzen natürlich auch Parität, analog zu RAID5 und RAID6). Der Unterschied zwischen ZFS-RAID und UnRAID ist, dass die Daten bei UnRAID anders verteilt werden (sodass auch Laufwerke schlafen gehen können, was bei SSDs völlig irrelevant ist) und man ein minderwertiges Dateisystem hat.

 

[mojomojo]

ZFS, ist nur Symbolisch für jegliches "Raid 5/6" unter TrueNAS. Paritätslösung ist für mich Unraid / Snapraid.
Wenn 10 HDDS / SSDs am laufen hälst um eine einzlne Videodatei abzuspielen, kann man machen, muss man aber nicht. Ich brauch auch nicht 10 HDDS/SSDs am laufen zu haben um eine Bilddatei zu speichern. Wie gesagt brauch bzw will ich auch kein Cache (was bei full flash auch irgendwie blöd ist), demzufolge müssten alle SSD laufen. RAM Cache, keine Ahnung ob das funktioniert. Unraid kann es nicht zufriedenstellend, soweit ich weiß. TrueNAS weiß ich es nicht?

Vorteile von ZFS sehe ich in meiner Anwendung keine. Nur schlechtere Erweiterbarkeit und höheren Stromverbrauch, als auch höhere Hardwareanforderungen. Privat ziehe ich hier aus meiner Sicht erstmal keinen nutzen, denke ich zumindest. Mein Ansatz, im Falle eines Mainboard defekts zum Beispiel, nehm ich die NVME im Zweifel raus, Pack sie ins externe Gehäuse rein und kann auf alles zugreifen. Ereitern, einfach SSD dazu, Paritöt neu berechnen, fertig.

Was ist an ZFS so viel höherwertiger bzw. and einem SnapRaid mit BTRF mit scrubbing minderwertiger?
Ich sehe den Mehrwert noch nicht irgendwie... lass mich aber gern überzeugen.

Warum sollten die SSDs durch ZFS mehr belastet/abgenutzt werden? SSDs nutzen sich nur durch Schreibvorgänge ab, alles andere ist egal.

Weil jeder Schreibvorang bei einem Raid5/6 auf alle Laufwerke verteilt wird, dementsprechend laufen alle, immer. Beim Lesen dann das selbe. Oder macht das ZFS anders?

Ich bin sicherlich kein Stromsparfetischist, aber man merkt einen Unterschied wenn man 10h am Tag auf einer NAS arbeitet. Der Umstieg von meiner QNAP zu Unraid sind ca. 20-25EUR im Jahr. Genervt hat mich aber primär die Wärmeentwicklung und Vibration der QNAP

 

[Banned]

Was ist an ZFS so viel höherwertiger bzw. and einem SnapRaid mit BTRF mit scrubbing minderwertiger?

Ich bezog mich da eher auf das Dateisystem im Array-Modus bei UnRAID.

BTRFS ist ja ähnlich wie ZFS. Der Nachteil bei SnapRAID ist nur, dass du m.W. eben manuell anstoßen musst, dass die Parität gebildet wird. Die Daten, die geschrieben werden, sind also nicht zu jedem Zeitpunkt auf diese Weise abgesichert.

Da du aber meintest, dass Datensicherheit bei dir nicht so Priorität hat, wäre das sicher ein guter Kompromiss.

Weil jeder Schreibvorang bei einem Raid5/6 auf alle Laufwerke verteilt wird, dementsprechend laufen alle, immer. Beim Lesen dann das selbe.

Ja, das stimmt. Aber ich finde, der Stromverbrauch bei SSDs ist schon extrem gering. Diese werden ja auch eher selten voll ausgelastet; höchstens beim Scrub, ansonsten gibt deine Netzwerkanbindung das doch bei weitem nicht her.

Ich bin sicherlich kein Stromsparfetischist, aber man merkt einen Unterschied wenn man 10h am Tag auf einer NAS arbeitet.

Okay, 10h am Tag aktiv arbeiten mit dem NAS ist natürlich schon eher ein Extremfall. Am Ende musst du entscheiden, was dir wichtig ist.

 

[mojomojo]

Okay, werd ich mich wohl in Richtung OMV mit SnapRaid und MergeFS erstmal orientieren.

Danke fürs Feedback. Manchmal ist man ja Betriebsblind.

 

[Banned]

Was mir noch eingefallen ist: Schau mal, ob man in OMV den BTRFS-Pool einfach wiederherstellen kann. Ich habe irgendwie in Erinnerung, dass das bei BTRFS kompliziert oder unmöglich ist.

Bei ZFS kannst du einen Pool ganz einfach wieder importieren. Wenn z.B. das Laufwerk mit dem OS nen Abgang macht, kannst du das OS auf nem neuen Datenträger installieren und den Pool importieren.

Würde ich an deiner Stelle mal in Erfahrung bringen. Weil wäre halt blöd, wenn sowas passiert und das RAID verloren wäre.

 

[mojomojo]

Sollte ja kein Raid sein, für mein Verständnis, Daten bleiben pro Platte lesbar, bei defekt kann die Platte über den Snapraid Pool wiederherstellen, geht die Paritätsplatte kaputt, wird nur die Ersetzt und Parität neu errechnet. Wenn ich Richtig gelesen habe ginge sogar Ext4 anstatt BRTFS als Dateisystem für die Platten.

Aber guter Punkt, les da nochmal nach.
Bzw. werds definitiv testen bevor es live Betrieb geht.

 

[Banned]

Sollte ja kein Raid sein, für mein Verständnis, Daten bleiben pro Platte lesbar, bei defekt kann die Platte über den Snapraid Pool wiederherstellen, geht die Paritätsplatte kaputt, wird nur die Ersetzt und Parität neu errechnet.

Ja, lesbar sind sie bei SnapRAID auf jeden Fall. Ich hatte mich nur gefragt, ob man sie dann auch einfach so unter OVM wieder einbinden kann, ohne sie neu zu formatieren.

Wenn ich Richtig gelesen habe ginge sogar Ext4 anstatt BRTFS als Dateisystem für die Platten.

Würde aber bei BTRFS bleiben. So kannst du in gewissem Abstand mal einen Scrub auf Dateisystemeben durchführen, mit Ext4 nur über das RAID auf Firmware-Ebene (wo du dann z.B. nicht sehen kannst, welche Datei defekt ist, wenn beim Scrub ein Mismatch festgestellt werden sollte). BTRFS ist wie ZFS ein Copy-on-Write Dateisystem, das m.W. ebenfalls bis Root alles mit Prüfsummen absichert. Also für die Datenintegrität - besonders wenn du damit arbeitest - sehr zu empfehlen.

 

[mojomojo]

Ja, lesbar sind sie bei SnapRAID auf jeden Fall. Ich hatte mich nur gefragt, ob man sie dann auch einfach so unter OVM wieder einbinden kann, ohne sie neu zu formatieren.

Ich denke schon, da man Snapraid auch mit gefüllten Platten starten kann. Also auch im Nachhinein einzelne Paritätsplatte hinzufügen. Snapraid "starten" Parität berechnen fertig.

BTRFS vs. Ext4, werd auch auf BTRFS gehen mit Scrub, denke hat man Privat so das "einfachste" System was aber zu trotzdem Datenintegrität und Erweiterbarkeit vereint ohne kompliziert zu werden.

Warte noch auf Hardware, bin gespannt