TrueNAS Scale installieren

[Skysnake]

Hi Leute,

Ich hatte mich für TrueNAS Scale für mein NAS entschieden, habe jetzt aber einige Fragen bezüglich der Installation.

Geplant war ursprünglich 2x M2 NVMe mit 1TB und dazu zwei HDD mit 14TB bzw 5 HDD mit 4TB, wobei die Variante mit 14TB eigentlich gesetzt war.

In diesem Fall wollte ich die 1TB NVME für das OS, als write Cache also l2arc und ZIL dort ablegen. Den Rest von den Platzen wollte ich als Volume Storage für die Container nehmen, damit die Platten möglichst oft aus sein können.

Jetzt hat sich aber durch eine glückliche Fügung ergeben, das ich 8x900GB Sata SSDs habe. Die wollte ich als Z2 laufen lassen, da die schon recht alt sind und ich schon davon ausgehe das da mal eine aussteigt.

An sich würde ich die NVMe schon so konfigurieren wie mit 2 HDD, denn über kurz oder lang werde ich die SSDs durch HDD ersetzen müssen...

Jetzt kommt aber das Problem. Der TrueNAS scale installieren ist scheinbar recht starr. Wie würde man das denn aufsetzen???

Mir ist bis jetzt nur klar das ich die Sata SSDs erst dann anschließe wenn die Installation durch ist.

Aber wie partitioniere ich denn die NVMe richtig?

Vielleicht ist ja hier nen TrueNAS Profi unterwegs und fasst sich wegen so ner trivialen Frage an den Kopf

Danke schon mal. Euer Sky

 

[Nordwind2000]

Warum kein UnRaid?

 

[Skysnake]

Weil ich diverse Container, own/nextcloud darauf betreiben will und zudem auch gerne etwas mehr mit ZFS tun möchte.

Beruflich komme ich hin und wieder mit ZFS in Kontakt, mir ist es am Ende aber zu stressig alles aufnehme RedHat selbst zu machen. Da ist es für mich am Ende dann doch zu viel Aufwand...

 

[Nordwind2000]

Die Docker laufen auf UnRaid auch und es schon einfacher gegenüber TrueNAS. Auch mit Debian als Unterbau ist TrueNAS jetzt nicht so der Bringer.

Für ein NAS / Homeserver mit wenig AUfwand und vielen Möglichkeiten, UnRaid...

Ergänzung (22. Januar 2022)

Setz ein UnRaid auf und verfrachte True NAS in eine VM... Dann kannst testen wie du lustig bist...

 

[Nilson]

Wobei UnRaid das Problem des TE auch nur indirekt löst. Da UnRaid zwingend von einem USB-Stick starten muss (wegen der UUID für die Lizenz), werden die SSDs automatisch frei für Cache und co.

Bei TrueNAS wird explizit bei der Installation darauf hingewiwsen, dass die Platte für nichts anderes mehr zu Verfügung steht:

Man könnte das OS auf die eine, den Cache auf die andere SSD packen. Oder es muss eben noch ein weites Laufwerk her. Da da ein Linux unten drunter ist, lässt sich bestimmt auch was händisch verbiegen, aber eben nicht über das UI oder beim Setup.

 

[Skysnake]

Btw. ich habe diesen Guide gefunden, den ich wohl gleich mal ausprobieren werde.

Das scheint mir auch robuster sicherer als dieses Vorgehen, oder was meint ihr?

Aber irgendwie schon traurig, dass die bei TrueNAS nicht an so was denken. Ich meine es ist ja schon schwer genug MBs mit 2 M2 Slots zu bekommen. Also gerade wenn es energiesparend sein soll. Da will ich nicht die beiden Slots nur für das OS verschwenden. Denn genau das ist es in meinen Augen. Verschwendung.

Klar könnte man jetzt sagen, dass das ja auch über die SATA ports laufen könnte, aber auch da fehlen einem dann halt gleich wieder zwei Ports...

Zum Glück ist es am Ende auch "nur" ein Linux. Da kann man sich dann wie es aussieht doch am Ende wieder selbst helfen

Die Creation des BootSticks läuft leider noch. Da es nen älterer Stick ist wollte ich ihn erst mal testen... Mal schauen ob ich heute vielleicht doch nocht das Ding installiert bekomme...

 

[Nordwind2000]

Das mit dem USB-Stick ist bei UnRaid nicht das Problem, weil es nur zum STart den Stick braucht.

Diese Bastelei würde ich bei einem System, welches Daten vorhält nicht machen. Dann lieber ein festes Host-System, was schlank und sehr anpassbar ist und den Rest aus der VM zum Probieren und Testen.

 

[Skysnake]

Und dann mit qemu und Platten durchreichen anfangen?

Klar geht das, aber habe ich jetzt nicht wirklich bock drauf um ehrlich zu sein. Dann muss ich das Host OS updaten, qemu updaten und auch noch TrueNAS...

Ich hab schon so eigentlich nicht sehr viel Lust, Owncloud etc ständig nachrennen zu müssen und will es daher eher lokal halten und maximal per VPN erreichbar machen.

Gut, pro Argument wäre, das ich BigBlueButton auch in ne VM stecken könnte und das dann extra von außen erreichbar machen könnte.

Aber will ich mir das wirklich antun? hm.... schwere Frage. Hat denn jemand Erfahrung mit TrueNAS in der VM mit durchgereichten Blockdevies?

Vor allem, warum dann TrueNAS Scale und nicht TrueNAS Core, was abgehangener ist und OwnCloud in der VM laufen lassen?....

Und gleich wieder das nächste Fass...


An sich finde ich das jetzt auch nicht wirklich nicht bösen Hack, sondern ziemliches Standardvorgehen unter Linux.

Die Sache ist aber natürlich, das mir nicht klar ist, was bei Updates passiert. Ich gehe jetzt mal davon aus, dass die Updates die Struktur unangetastet lassen. Gibt ja keinen Grund da was zu machen. Oder verhält sich da TrueNAS (Scale) anders?

 

[Skysnake]

Ich habe mir die Sache jetzt noch öfters durch den Kopf gehen lassen und bin zu dem Schluss gekommen, das ich doch den Aufriss mit der Installation in die VM betreiben werde...

Als Host OS werde ich RedHat8 mit der Developer Subscription nehmen. Das kenne ich von der Arbeit und die Updates sind schnell und zuverlässig da.

Die Installation würde dann mit einem mdraid auf die beiden NVME erfolgen.

Die Virtualisierung würde ich dann wohl über QEMU machen, oder gibt es da Gegenstimmen? Ich bin da offen, da ich bisher noch nie selbst VMs unter Linux aufgesetzt habe. Da wir auf der Arbeit aber eben meist QEMU nutzen, tendiere ich dazu. Da habe ich dann im Job auch was von

Ich habe mich auch einige Gedanken dazu gemacht, ob ich eine 32GB Partition auf den NVMes erstellen und in die VM durchreichen soll, damit das TrueNAS Scale seinen eigenen raid macht für das OS, oder ob ich einfach ein MD Raid über die ganzen NVMes machen soll und dann mit virtual disks arbeiten soll.

Aktuell tendiere ich dazu, dem HostOS einfach die gesamten NVMEs als mdraid zu geben und dann mit der virtual disk fürs TrueNAS Scale zu arbeiten. Ich denke das ist so ok. Da kann ich dann auch mal ein backup der VM machen, wenn ich mir bezüglich irgendwelchen Settings unsicher bin.

Wo ich nur ABSOLUT keine Ahnung habe ist, worauf ich da dann bei der Erstellung der VM achten muss, damit es z.B. bei einem Absturz/Stromausfall nicht zu einem Datenverlust beim TrueNAS Scale kommt.... Wenn ich das richtig in Erinnerung habe sind die virtual disks ja im Allgemeinen eher etwas nachlässig was die Konsistenz anbelangt. Sprich es wird nicht gewartet, bis es wirklich auf der Disk ist, bevor der VM gesagt wird es wäre geschrieben... Kann mich hier aber auch täuschen, hab wie gesagt wenig Erfahrung mit VMs...

Was mir auch noch nicht so ganz klar ist, ist wie ich das mit dem Netzwerk am geschicktesten machen soll.

Ich würde an sich ja gern ein bond über die zwei 1G Interfaces laufen lassen. Wie reiche ich denn das am geschicktesten in die VM(s) durch? Ich würde ja an sich auch gerne bei Bedarf ne VM mit Jitsi oder BBB hoch ziehen wenn ich Sie brauch. Am Ende wird/soll/muss das dann ja auch noch in unterschiedlichen VLANs landen...

Oh man, das artet echt alles wieder in Arbeit aus.... Vielleicht wäre ne Synology doch stressfreier, auch wenn ich dann für die HDDs einiges an Geld ausgeben hätte müssen...

 

[foo_1337]

Was spricht/sprach eigentlich dagegen, TrueNAS Scale auf 2 mirrored USB Sticks zu installieren?
Bei der virtualisierten Variante würde ich zu ESXi greifen. Ich betrieb in der Vergangenheit mehrere solche Setups (Damals mit Disk passthru zu FreeNAS VMs) ohne Probleme. Liegt aber sicher auch daran, dass ich ESXi in und auswendig kenne Die Disks aus den FreeNAS VMs waren dann zum Teil auch der Datastore für die anderem VMs (via NFS zum ESXi).
Wird auch im großen Stil z.B. von Nutanix so gemacht. Nur halt nicht mit zfs sondern mit ndfs.

 

[Skysnake]

Hatte ich auch schon drüber nachgedacht, denn SATA und NVME Ports sind ja alle belegt...

Allerdings wird von USB Sticks bei TrueNAS Scale explizit abgeraten.... Gut, man könnte noch USB SSDs nehmen, aber warum eigentlich wenn ich doch an sich dafür die NVMEs eingeplant hatte?

Ich bin inzwischen auch über Berichte bezüglich schlechter Performance von TrueNAS in der VM gestolpert...

Problem ist halt auch, ich habe "nur" 16GB RAM und 4 Cores...

Wenn ich dran denke RHEL8 als Host und dann noch folgende VMs:
1. TrueNAS Sclae 4 Cores 12GB
2. Jitsi/BBB 2 Cores 2GB
3 UBI Controller 1 Cores 2GB

bah... Also bei der CPU wird es ja schon overprovisioned, aber dann auch noch beim RAM? Puh...

Klar, das Ding ist vermutlich eh die meiste Zeit im Idle, aber irgendwie habe ich nicht sooo ein gutes Gefühl dabei. Auch was den Stromverbrauch anbelangt....

Ich bin mir allerdings nicht sicher, ob es nicht doch Sinn ergibt, weil Jitsi/BBB und auch der UBI Controller eigentlich nicht beim NAS sein sollten. Klar, mit der VM ist das schon sehr abgesteckt, aber mir fehlt gerade so ein bischen das Gefühl dafür, ob es da an sich einen relavanten Unterschied gibt, ob 2 und 3. in TrueNAS als VM laufen, oder neben TrueNAS auf der RHEL8 als VM.

Wobei für den UBI Controller wohl auch nen Container ok wäre...

Die ganzen VMs ziehen ja am Ende doch einiges an Leistung von der CPU, vor allem aber aus der Steckdose, weil halt immerwas zu tun ist...

Ahhhhhhh.......... -_-

Ich müsste jetzt nochmals den USB Stick neu machen für RHEL8. Vielleicht probiere ich dann doch erst mal TrueNAS Scale auf baremetal aus. Wird schon schief gehen.... Zur Not habe ich dann ja noch das Backup auf der USB HDD rumliegen. Vielleicht sollte ich mir von der aber mal noch ne zweite zulegen....