Unraid vs. TrueNAS Core / Scale

[SeppoE]

Für mich war damals das gewichtigste Argument gegen ZFS unter Linux (bin von FreeBSD und ZFS auf Debian gewechselt), dass der Linux Kernel Btrfs nativ mitbringt und OpenZFS nur ein Zusatzmodul ist. ZFS kam mir unter Linux nicht "fertig" vor. Wenn ich jetzt lese, "wird demnächst eingeführt", stellen sich bei mir ein bisschen die Nackenhaare auf. Als Testkaninchen würd ich mich in dem Fall nicht benutzen lassen. Kann natürlich auch anders sein. Bin weit davon entfernt ein Experte auf dem Gebiet zu sein.

 

[snaxilian]

ZFS unter *BSD und Linux nutzen inzwischen die gleiche Codebasis und Unraid macht auch nix anderes als diese Basis zu nehmen. Vermutlich werden Sie aber nicht direkt von Beginn an alle Features und Funktionen per GUI anbieten sondern nur erst einmal die einfachsten bzw. die am häufigsten verwendeten Features.

der Linux Kernel Btrfs nativ mitbringt und OpenZFS nur ein Zusatzmodul ist. ZFS kam mir unter Linux nicht "fertig" vor.

Die Ursache dafür ist aber nicht technisch begründet sondern in der verwendeten Lizenz von openZFS. Canonical hat es mal bei Ubuntu implementiert und hat damit einen Lizenzstreit in Kauf genommen aber dafür muss halt erst einmal jemand klagen, was bisher nicht geschehen ist. Inzwischen wird ZFS bei Canonical auch nur noch stiefmütterlich behandelt.

BTRFS hat halt viele echt gute Features aber gerade das Thema Raidfunktionalität ist immer noch sehr wackelig: https://btrfs.readthedocs.io/en/latest/Status.html
Du müsstest somit mdadm für die Verwaltung des Raids nehmen und kannst dann oben drauf btrfs als Volume Manager und Dateisystem nutzen aber dann kannst auch direkt wieder ZFS verwenden^^

 

[SeppoE]

mdadm für die Verwaltung des Raids nehmen und kannst dann oben drauf btrfs als Volume Manager und Dateisystem nutzen

...das würde ich als saubere Trennung verbuchen😅. Nutze aber in meinem NAS kein RAID, daher bin ich da vielleicht nicht ganz neutral.

 

[snaxilian]

Ist halt ne Krücke weil btrfs nach wie vor kein stabiles und performantes Raid kann aber hey sie funktioniert und ist flexibel sonst hätte sich Synology nicht darauf eingelassen^^
Ich würde es privat auch nicht nutzen wollen in der Konstellation aber gibt halt Anwendungsfälle und warum sollte man es dann nicht so nutzen und anbieten?

 

[SeppoE]

Ich wollt jetzt keinen Glaubenskrieg lostreten und auch dir nicht auf die Füße stehen. Mit ZFS hatte ich unter FreeBSD (Xigmanas) jahrelang nen stabilen Betrieb. Und da wirkte es auch gut ins System integriert. Wenn ich das richtig verstanden hab, ist das mit den Jails da auch ziemlich mit ZFS verzahnt. Dagegen wirkte mein ZFS Pool in Debian wie ein Fremdkörper. Für mich als Laie war es außerdem nicht intuitiv, dass ich den pool erst mal aus meinem alten System abmelden musste, bevor ich ihn ohne Warnungen im neuen System einbinden durfte. Gerade wenn mein System (Hardware) abkackt, möchte ich doch die Daten in nem anderen System einbinden können. Für Professionelle Anwendungen spielt das sicher keine Rolle, weil niemand seine 20 Festplatten aus einem Server in den nächsten umbaut.
Ich plädier nur dafür, mal die Anforderungen klar zu definieren und dann die Lösungen abzuwägen, bevor man blind die "professionellste" Lösung wählt. Unraid selbst hab ich noch nicht ausprobiert und weiß auch nicht welchen Entwicklungsstatus was haben muss, um da als "unterstützt" zu gelten. Aber bei meiner Backupkette würde ich lieber auf Nr. Sicher gehen und da wirkt auf mich der Status deutlich zu unausgereift und weit weg von "stabil".

 

[[AlphaRC]Eraser]

Für mich als Laie war es außerdem nicht intuitiv, dass ich den pool erst mal aus meinem alten System abmelden musste, bevor ich ihn ohne Warnungen im neuen System einbinden durfte. Gerade wenn mein System (Hardware) abkackt, möchte ich doch die Daten in nem anderen System einbinden können.

Ich hatte das Szenario (Hardware Tausch) durch und es lief total problemlos.

Wenn BTRFS kein “raid 5” unterstützt ist es raus. Ich muss aber auch gestehen, dass ich mit der gerade erst eingeführten Unterstützung auch nicht glücklich bin. Das fühlt sich in der Tat etwas zu frisch an. Obwohl die ZFS Unterstützung ja scheinbar bereits vorher via Plugin o. Ä. Möglich war?!

Aber was wäre denn die nächste Alternative wenn BTFRS nicht die gewünschte paritaet ermöglicht und ZFS zu frisch ist?

PS: Finde die Diskussion hier echt klasse und freue mich über den regen Austausch

 

[snaxilian]

Wenn BTRFS kein “raid 5” unterstützt ist es raus.

Unterstützt es schon nur halt weder stabil noch performant. Steht auch so in meinem Link in #22, muss man halt auch anklicken und lesen.

Das fühlt sich in der Tat etwas zu frisch an.

Du willst eine technische Diskussion mit GEFÜHLEN führen? Was glaubst nein besser fühlst du denn was die Leute bei Unraid mit ZFS gemacht haben? Das Rad neu erfunden und dabei lieber viele kleine Ecken genutzt haben statt einer Rundung?
Da wurde ja auch "nur" die Bedienung in die webgui integriert damit man das System gewohnt per Browser verwalten kann und vermutlich dabei ein paar eigene Skripte geschrieben für die Integration und da werden die meisten Fehler passieren und das diese Integrationen nicht jeden Usecase abdeckt. Im Zweifel kannst ja die Bugreports und Release Notes lesen und verfolgen bzgl. Unraid 6.12 und ZFS wenn es dich ernsthaft interessiert.

Aber was wäre denn die nächste Alternative wenn BTFRS nicht die gewünschte paritaet ermöglicht und ZFS zu frisch ist?

Das kommt drauf an was DU willst und was deine Anforderungen sind. Bevor du diese nicht klar formulieren kannst, ist das hier alles raten mit der Glaskugel. Also Klartext: Welche konkreten Features brauchst/willst du? Oder anders gefragt: Warum willst du ZFS bzw. welche konkreten Features davon nutzt du oder gefällt es dir nur wie du in #1 schreibst?

Bis dahin kann man dir alles und nix empfehlen. Proxmox mit ZFS und einer eigenen VM für Docker Container und eine eigene VM für Shares wenn du das möchtest oder Unraid 6.11 mit dem ZFS Plugin oder Truenas/Core für ZFS und eine eigene VM für Docker Container oder eine fertige und passende Synology mit btrfs wo auch Container laufen können oder eine fertige und passende Qnap mit ZFS wo auch Container laufen können oder auch openmediavault/omv mit ZFS Plugin.
Genau so gut könntest du dir auch ein Linux deiner Wahl nehmen, ZFS installieren, containerd/podman/whatever und docker-compose installieren, smbd installieren und dann so deine Freigaben einrichten und Container laufen lassen.

Du wirst nie die eierlegende Wollmilchsau finden bei solchen vorgefertigten Distributionen denn diese haben immer einen Schwerpunkt und eine Hauptzielgruppe an Anwendern und bieten nebenbei nach und nach immer mehr Zusatzfeatures die dann aber idR gewissen Einschränkungen unterliegen. Entweder damit Anwender nix am System unten drunter (versehentlich) kaputt machen oder weil gewisse Dinge bereits von diesen Distris intern genutzt werden und daher dem Endnutzer nicht mehr zur Verfügung stehen.

 

[[AlphaRC]Eraser]

Nach dem lesen der Unraid Doku habe ich das Gefühl wieder am Anfang zu stehen :/

Anyway, bevor wir hier noch mehr ins esoterische abdriften und über Gefühle sprechen will ich meinen amfangspost nochmal präzisieren:

Die Liste der Anwendungen steht noch, hier die Anforderungen:

• Dateisystem/OS dass mir erlaubt meine 3-4 HDDs zu einem voll verschlüsselten Array/Pool zusammenzufassen (1 parity drive , ähnlich raid 5)
• Lesegeschwindigkeit grob >250MB/s; Schreibgeschwindigkeit knapp in der Nähe einer einzelnen Platte (was ja das theoretisch. Maximum darstellen sollte)
• Benutzerfreundlichkeit, nicht unnötig komplexe Lösungen und gute Doku des OS/file Systems
• Side note: ich will das NAS einmal gescheit aufsetzen und plane nicht ständig etwas zu ändern (Hardware & Array). Pool Erweiterungen zur Vergrößerung des Speicherplatzes brauche ich nicht. Das heißt im Idealfall muss ich die Hardware die nächsten 5 Jahre nicht anfassen (Hardware Defekte und Spieltrieb mal ausgeschlossen ). Klar werde ich auf der Anwendung Seite mit der Kiste neue Plugins/Applikationen etc Ausprobieren aber eben nicht die Kiste neu aufsetzen wollen.

Das hätte ich gerne ohne groß zu frickeln bzw. Mit dem Einsatz von offiziell unterstützten Lösungen.

ZFS hatte ich im Eingangspost erwähnt, weil ich es im Einsatz hatte und dort eben schon einiges gelesen/erfahren hatte. Bin aber loesungsneutral :-)


Je mehr ich allerdings in der Unraid Doku und auf Reddit Lese desto mehr habe ich den Eindruck, dass es evtl. nicht das richtige OS für mich ist. Was stört mich?
Performance: Die Schreibgeschw. Liegt scheinbar deutlich unter dem single drive speed (abseits vom Cache) und das generelle handling vom Cache finde ich fragwürdig bzw. Ineffizient. Praktisch braucht man ja dann auf jeden Fall min. 2 SSDs für nen Cache pool wenn man kein Risiko eingehen möchte dass ne SSD bis zum nächsten move in der Nacht die Grätsche macht?!

 

[smuggler]

Nachdem die letzten Jahre mit Synology DS216play und Qnap TS 453D verbracht habe und mir das nicht so wirklich gefallen hat, stand ich vor der gleichen Wahl.
Hatte noch 2 Pi4 für Pihole und Nextcloud, welche ich auch zusammenfassen wollte.

Unraid war bei mir schnell raus wegen dem USB in RAM geschoben und dort ausgeführt wird. Lizenz kaufen wollte ich auch nicht.

Am Ende ist es TrueNAS Scale geworden. Scale deswegen weil Debian als Unterbau vorhanden ist. (ansich völlig schnuppe). Einrichtung war einfach, bis auf die Berechtigungen der Apps. Die meiste Dokumentation war für alte Scale Versionen oder für Core.

Anfangs noch mit Nextcloud für den schnellen Zugriff von unterwegs, oder einfaches Ablegen von Daten für Frau und Tochter per Smartphone.
PiHole, Emby Media Server und Homarr (Dashboard). Bis auf den Emby Media Server aber alles wieder abgeschafft.

Endkonfiguration der ganzen Aktion:
NAS mit TrueNAS Scale und Emby Media Server:
Intel i5-11400
MSI MAG B560M Mortar 2.5GBit
16 GB RAM
1xSSD für TrueNAS System, 1xNVMe für Apps, 4xHDD in 2 Pools kein Raid, reines Datengrab
Fractal Design Node804
LAN Speed mit WD RED NAS HDDs ~280MB/s
Stromverbrauch im Idle 25-30W

Ein alten i3 Intel NUC mit 8 GB RAM / 512 GB mSATA für Dauerbetrieb:
OS: Proxmox VE
Für jeden Dienst einen eigenen LXC Container.
PiHole
NextCloud
Homepage (Dashboard)
Whoogle
Eingerichtet wird gerade:
Ngenx ProxyManager
Vaultwarden
VPN
Stromverbrauch 5-6W

Falls der alte Nuc mal spinnt ist als Alternative noch der Pi4 mit PiHole in der Reserve.
NAS ist nur bei Bedarf an. Kind in der Schule, Frau und ich auf Arbeit, muss die Kiste nicht permanent laufen.

Das Ganze zu trennen funktioniert für mich wunderbar. So kann das NAS einfach NAS sein und Medien bereitstellen für Streaming oder SMB Shares usw. Die dauerhaften Dienste auf einem dafür ausgelegten System. Hier finde ich Proxmox deutlich besser geeignet als TrueNAS.

 

[[AlphaRC]Eraser]

Danke fuer den Erfahrungsbericht! Der Stromverbrauch des NUC ist natuerlich mal ne Ansage - Respekt! Interessant es so zu trennen. Macht natuerlich auch Sinn wenn die Meiste Zeit keiner das NAS in Anspruch nimmt.

Das Hardware setup des NAS ist auch sehr nah an meiner Vorstellung. Der Chipsatz bringt ja fast alles mit was ich brauche. Hattest du mal Probleme mit der NIC? Habe gelesen dass die Intel deutlich besser unterstuetzt werden und beim Einsatz ohne Switch gerne mal Probleme machen. Wie ist deine Erfharung dazu? Hast du nen 2.5GB Switch im Einsatz oder Punkt zu Punkt?

Ist der Stromverbrauch beim NAS mit spin down der HDDs?

Rein Interessehalber: Warum kein Raid setup?

Wie zufrieden bist du mit dem Gehaeuse? Wie wahrnehmbar sind denn die HDDs und wo steht es bei dir?

 

[smuggler]

Der alte NUC hat schon einiges hinter sich (HTPC mit USB Platten, Linuxtests, GamingPC für Tochter ) und jetzt als Proxmox Server. Damit hat er seine Bestimmung gefunden.

Zu den Fragen.

• Hardwaretechnisch hab ich beim ganzen NAS noch keine Probleme hat, läuft sehr stabil.
• Herzstück des Netzwerks ist der Zyxel XGS1250-12 - 8x1GBit 3x10GBit 1x offener Slot für Selbstbestückung
• Stromverbrauch NAS ist mit Spin Down der HDDs, C-State an und powertop optimiert. Mit dem halbwegs performanten System mit insgesamt 6 Storage und 4 Lüftern ist das ok.
• Steht in einem separaten Zimmer das wenig genutzt wird. Hatte es anfangs bei mir stehen, leichtes säuseln war zu hören, HDD durch die Gummipufferung vom Gehäuse fast nichts. Hab es ausgelagert weil die Lüfter derart gekühlt haben und einen Luftflow hatte dass mir an den Füßen kalt wurde .
• Warum kein Raid - verschiedene große Platten und hat sich bei mir im allgemeinen nie im Denken festgesetzt. Denke ich würde Raid erst ab Stufe 5 nutzen wollen. Zumal schon geschrieben, das NAS ist ein Datengrab. Die wichtigen Daten sind woanders.

Durch mein Nutzungsverhalten dass nur bei Gebrauch hochgefahren wird gab es keine Probleme. Hier und da wird ja gern geblubbert dass ein NAS immer laufen sollte.
Das Ganze ist schnell hochgefahren, nach ca. 1-2 Minuten steht alles zur Verfügung. Hier war das QNAP der letzte Rotz... Bootzeit dauert ewig.

Eckdaten.
CPU Lüfter ist der Noctua NH-L9i Low Profile.
Gehäuse würde bis zu 10x3,5" fassen, wobei ich mit den 2 am Boden befestigen Platten dann schon sehr fummelig vorstelle.

 

[[AlphaRC]Eraser]

Klasse! Danke für die ausführliche Antwort! Die wirft aber dann doch noch 2 Fragen auf 😂

1) verstehe ich richtig, dass du das NAS an nem 10GB Port am Switch hast? Mir war nicht bewusst dass das kompatibel mit nem 2,5GB link ist.

2) Warum hast du die HDDs I’m linken Käfig? Würde es rechts nicht dem COU Lüfter mehr Luft zum Atmen geben? Wieviel Abstand war denn zum Lüfter?
Ich vermute der boxed hätte nicht gepasst bzw war dir zu laut?

 

[smuggler]

1. 10Gbit ist nur die maximale Geschwindigkeit. Ports sind immer abwärtskompatibel, sprich es geht 10/5/2.5/1Gbit und langsamer
2. Schlichtweg Kabelmanagement, rechter Käfig wird halt zum Gefummel wegen Netzteil.

btw. das Case ist zweigeteilt, eine Hälfte nur HDDs/Netzteil, die andere Mainboard CPU usw.
https://www.fractal-design.com/de/products/cases/node/node-804/Black/

Nehme seit 30 Jahren keine Boxed Lüfter
Kann zwar einen Handel damit aufmachen, weil Boxed meistens günstiger ist als der Chip alleine.

 

[Paddy0293]

Probleme/Fehler über die Laien regelmäßig stolpern sind z.B. die Erweiterbarkeit von Pools, z.B. wenn durch Unwissen oder Ignoranz einzelne Laufwerke zu einem Pool hinzugefügt werden.

Kannst du das eventuell nochmal genauer erläutern ?
Hab letztens für meine "Plugin" SSD eine zweite nachträglich eingebaut also von Stripe auf Mirror -> wollte einfach eine höhere Bequemlichkeit haben -> ich weiß das dies kein Backup ist.
SSD wurde erkannt -> resilver + scrub -> beide SSDs werden zusammen als Mirror erkannt.

 

[Joshinator]

Wenn du ein Vdev mit 3 HDDs in Raidz5 hast kannst du nicht einfach eine 4te Platte dazu stecken um den Pool zu erweitern.

Der "richtige" Weg in ZFS ist es 3 neue HDDs in ein neues Vdev zu Stecken um den Pool zu erweitern.
Das neue Vdev muss vom Layout her wie die anderen Vdevs aufgebaut sein, aber die Größe der Platten kann unterschiedlich sein.
Wenn man ein 3x 4TB Raidz5 Vdev hat kann man also auch 3x 1TB dazu packen, aber es muss eben Raidz5 bleiben.

Nachteil ist, da die Vdevs im Pool gestriped werden, wenn du ein Vdev verlierst, geht der ganze Pool flöten.
Beim Raidz5 mit 3 Platten kann man ja je Vdev eine Platte verlieren ohne das man Daten verliert, aber wenn in einem Vdev 2 Platten sterben ist der gesamte Pool weg.

Zumindest ist das der letzte Stand den ich im Kopf habe, aber ZFS Vdev Expansion ist schon seit ein paar Jahren soon™. Wer weiß wann es letztendlich in TrueNAS ankommt.

 

[Paddy0293]

Wenn du ein Vdev mit 3 HDDs in Raidz5 hast kannst du nicht einfach eine 4te Platte dazu stecken um den Pool zu erweitern.

Das hat doch aber nichts mit der Stripe to Mirror Variante zu tun ?
Zumindest kann man die Aussage nicht pauschalisieren, habe ich nichts gegenteiliges über Stripe to Mirror gefunden.

Das man den Speicher nicht so einfach erweitern kann (also mehr TB) ist mir bewusst, so funktioniert ja ZFS auch nicht.

 

[Joshinator]

Das hat doch aber nichts mit der Stripe to Mirror Variante zu tun ?

Das Zitat von snaxilian bezog sich ja eher auf die generellen Vor/Nachteile von ZFS (bzw. (fehlenden) Komfortfunktionen).
Für so manchen ist eine Raid-Erweiterung selbstverständlich, in ZFS ist das eben nicht immer so simpel.

In TEs aktuellem Setup ist das wirklich irrelevant.
Wenn man sich aber jetzt mit TrueNAS an ZFS kettet sollte man wissen wie ZFS funktioniert.
Nicht das TE seine Entscheidung in ein paar Jahren bereut wenn doch Raid5/6 gebraucht wird.

 

[Paddy0293]

@Joshinator und ich hatte es so verstanden, das es sich auf alle möglichen Speicherweiterungen bezieht

 

[snaxilian]

Ports sind immer abwärtskompatibel

Gewagte Aussage... Immer nicht aber meistens da 2,5/5 GBit/s erst nachträglich kam und alte oder ggf. manch billige 10G Switche diese Zwischenschritte nicht unbedingt unterstützen. Wer auf Nummer sicher gehen will sollte halt nur etwas kaufen, dass IEEE Std 802.3bz-2016 untrestützt bzw. 2,5/5 GBit/s explizit angibt.

Liste der Anwendungen

Naja wenn Betrieb von 2 Systemen für dich auch in Frage kommt, ist das die deutlich bessere Option. Dann kannst ein System nehmen mit Vorteilen fürs Thema NAS und ein System mit Vorteilen für das Thema Virtualisierung/Containerisierung. Dann hast halt nicht das Problem, dass du irgendwo Kompromisse eingehen musst aber dafür hättest halt vorher deine Anforderungen definieren müssen OHNE Limitierungen wie "nur ein System". Wenn am Ende bei der Lösungsfindung der Anforderungen heraus kommt, dass man das auch gut mit einem System lösen kann, dann supi aber wenn nicht dann halt nicht.

hatte es so verstanden

Herzlichen Glückwunsch du hast den einen kleinen Spezialfall gefunden der von meinem Text nicht abgedeckt ist. Single Device in einem Pool. Ja bei einem gleich großen zweiten Device kannst du da aus dem Single Device ein mirrored vdev machen.
Wenn du jetzt eine dritte HDD nimmst kannst du entweder einen dreifach gespiegelten Mirror daraus machen oder dein Pool besteht dann aus einem mirrored vdev und einem single device. Dann hast du die Speicherkapazität erhöht. Fällt dir dann anschließend dein single device aus dann sind die Daten deines gesamten Pools weg sofern du kein Backup hast.

 

[[AlphaRC]Eraser]

Naja wenn Betrieb von 2 Systemen für dich auch in Frage kommt, ist das die deutlich bessere Option.

Sorry wenn’s in dem Ausgangspost nicht klar rüberkam. Aber ja ich suche EIN NAS / System. Hätte gerne alles in einer Kiste, da es sonst vom Platz leider nicht geht.

Aber ich muss meine anfängliche Skepsis ggü. Unraid etwas abmildern. Nachdem ich mehr in den Foren und auf Reddit gelesen habe, denke ich dass es für mich passen könnte. Ist halt bzgl Cache Management erstmal ungewohnt bzw. Etwas was noch Feintuning benötigt aber es sollte passen.

Es sollte dann einfach nix mit dem final release und ZFS schiefgehen. Aber da ich mein altes NAS ja komplett ersetze kann ich ja erstmal das alte System im Schrank lassen bis alles 100% stabil läuft.
Wenn’s mit Unraid nicht passt dann teste ich eben noch trueNas im Anschluss 😝