Heimserver mit TrueNAS SCALE

elchmartin

Ensign
Registriert
Feb. 2021
Beiträge
188
Guten Abend!

Ich möchte hier ein wenig über meine Erfahrungen bezüglich meines "neuen" Heimservers berichten.
Vielleicht stellt sich auch heraus, dass nicht alles so glatt läuft wie gedacht ... die ersten negativen Erfahrungen habe ich bereits, dazu aber später mehr ;-)

Vorweg noch, dass ich bisher recht gut mit (gebrauchten) NAS-Geräten von QNAP gefahren bin.
Das derzeitige x86-64-NAS mit Celeron J1800 und 8GB RAM läuft recht gut, jedoch reicht mir hauptsächlich die Performance für VMs nicht mehr. Auch wird der Platz langsam knapp (2x4TB im RAID1), daher ist sicherlich der Zeitpunkt jetzt ganz günstig.

Ich möchte keine Diskussion über Sinnhaftigkeit des Selbstbaus, Stromkosten oder so anstoßen. Auch das Auslagern in die Cloud ist möglich, aber für meinen Einsatzzweck nicht gewollt.
Das ganze muss (zwingend!) in einem Metall-Unterschrank stehen, damit es "nicht stört" (Frau) und nahe genug am Router steht.
Damit bin ich recht eingeschränkt, was Platz betrifft.
Keller o.ä. haben wir leider nicht bzw zu weit weg, naß, kein Strom und nicht vernetzt.

Bisher angeschafft sind:
  • SuperMicro H8SCM-F (mit IPMI-Steuerung, µATX)
  • 4*4GB EEC-RAM
  • Opteron 4365EE (40W TDP)
  • Adapterkarte PCIe x4 für eine m.2-NVMe-SSD und eine m.2-SATA-SSD
  • 240GB m.2-SATA-SSD (Kingston A400) für das Betriebsystem
  • 1TB m.2-NVMe-SSD (Crucial P2)
Als Gehäuse vorhanden ist noch das BitFenix Phenom, da ist die Hardware erst mal reingewandert.
Netzteil ist ein Tagan 650W, etwas betagt aber tut erst mal was es soll. Sicherlich werde ich dieses gegen Ende des Projektes wechseln.
Die Daten werden auf 4*6TB Seagate IronWolf-Platten lagern, das reicht erst mal zum spielen und ausprobieren von Konfigurationsmöglichkeiten mit TrueNAS.

Nach dem ersten Zusammenbau ging erst mal garnix. Habe dann alles nochmal zerlegt und durfte feststellen, dass zwei Feder-Pins der CPU-Fassung verbogen waren. Mit Taschenlampe, Lupe und Geduld habe ich das dann wider hinbekommen, der Server bootet.
Irgendwie ging dann per IPMI nix ... long story short: habe nun die IPMI-Firmware neu aufgebügelt, was auch nicht mit dem gelieferten Hersteller-Tool geht, sondern nur mit einer neueren Version für ein neueres Board. Naja.

Das Bitfenix Phenom nimmt leider nicht mal so eben 4*3,5"-HDDs auf, weshalb ich mich entschieden habe, das Inter-Tech IM-1 Pocket anzuschaffen. Wir werden sehen, ob das dann groß genug ist für Board, ATX-Netzteil und 4 HDDs.


Die Installation von TrueNAS SCALE ging sehr easy von der Hand: Image auf USB, dann installieren - fertig.
Danach geht es recht easy über das Web-GUI weiter.
Ich habe mich für eine 240GB-SSD für das OS entschieden. Weniger würde ausreichen, aber kleinere SSDs sind kaum günstiger und somit habe ich gut Platz für die Zukunft.
Die 1TB-SSD werde ich für VMs nutzen - Platzhungrige VMs bekommen Speicher auf den klassischen HDDs, sind aber von der SSD recht performant. Das Ausfall-Risiko ist mir bekannt, jedoch werden die Nutzerdaten sicher auf HDDs liegen.

Womit wir bei den HDDs sind, hier plane ich mit einem RAID1, aber genau um dies zu ergründen wird das system ja erst mal im Test-Betrieb laufen.

Der Opteron 4365EE (energy efficient) scheint mir für das Abarbeiten vieler kleiner Aufgaben mit 8 Kernen gut gerüstet, natürlich nicht so fix wie ein aktueller Rechner. Die 16GB RAM werde ich vermutlich noch auf 64GB aufrüsten, damit das mit dem VMs auch schön wird :-)

Aktuelle Baustelle ist nun erst mal die Lüftersteuerung - derzeit laufen die immer voll durch.... im BIOS gibt es da keine großartige Auswahl, TrueNAS kümmert sich da glaube ich erst mal recht wenig drum. Aber der Debian-Unterbau sollte ja recht brreite Möglichkeiten eröffnen.

Hier sehe ich auch ganz klar den Vorteil von TrueNAS SCALE.

Was denkt Ihr?
Habt Ihr Ideen oder Vorschläge? Bin offen, natürlich soll das ganze Kostentechnisch nicht aus dem Ruder laufen.
 
  • Gefällt mir
Reaktionen: Zerstoerer
Darf ich fragen warum scale und nicht core?
Ich nutze zwar noch jede Menge ZFS, aber set freeNAS 11.4 kein FreeNAS mehr
 
  • Gefällt mir
Reaktionen: elchmartin
Als Hypervisor in Truenas Core ist bhyve im Einsatz. Damit zu arbeiten ist, hmm wie drücke ich das neutral aus..., nicht immer ganz einfach, sagen wir es einfach so^^ Es läuft aber wirklich genial ist was anderes, zumindest in meinem Fall.

Bei Scale bekommt man hingegen ein Debian mit KVM unter der Haube. Daher eher geeignet für nen Homeserver mit Schwerpunkt auf VMs und ggf. Container und/oder wenn man HCI machen will.
Ich sehe Scale eher als Alternative Proxmox oder als Nischenkonkurrenz zu Nutanix oder so wenn auch deutlich kleiner und steckt ja noch in der Beta.
 
  • Gefällt mir
Reaktionen: elchmartin
madmax2010 schrieb:
Darf ich fragen warum scale und nicht core?
Ich nutze zwar noch jede Menge ZFS, aber set freeNAS 11.4 kein FreeNAS mehr
Zum einen die KVM vs bhyve, wie @snaxilian schon schrieb.
Und dann hab ich schon diverse bastel-Erfahrung mit debian, keine mit FreeBSD (wenn man MacOS mal außen vor lässt).

Ich traue der Firma hinter TrueNAS zu, dass auch SCALE was wird und nicht nach 2 Versionen komplett Sande verläuft.
 
Mutig so viel Vertrauen, Corral wurde ja zurecht wieder fallen gelassen^^ Aber ich denke man hat aus den Fehlern gelernt und muss mit der Zeit gehen. Freenas/Truenas Core/Enterprise allein als klassischer scale-up Storage ist eine aussterbende Nische daher machen die geplanten Features von Scale schon Sinn.
 
  • Gefällt mir
Reaktionen: elchmartin
snaxilian schrieb:
Mutig so viel Vertrauen, Corral wurde ja zurecht wieder fallen gelassen^^ Aber ich denke man hat aus den Fehlern gelernt und muss mit der Zeit gehen. Freenas/Truenas Core/Enterprise allein als klassischer scale-up Storage ist eine aussterbende Nische daher machen die geplanten Features von Scale schon Sinn.
ich habe auch schon überlegt, alles selbst mit debian oder ubuntu server zu machen ... aber TrueNAS fühlt sich schon nett an ...auch die Möglichkeit easy VMs oder Apps (in jails) zu nutzen finde ich gut.
Wie schon erwähnt, es ist ein Projekt, vielleicht krieche ich auch später wieder unter des QNAP oder Synology-Dach ....
 
Alternativ Proxmox ansehen. KVM unten drunter, Container per LXC, Storage per ZFS.
Freigaben dann per VM selbst machen oder OMV, easyNAS oder ähnliches verwalten.
 
Hm, proxmox klingt auch interessant, werde ich mir mal ansehen. Danke dafür!
 
Unraid wird auch noch gern genannt wobei das vor allem seine Stärken ausspielt wenn man auch viele HDDs hat, die als NAS zusammen laufen sollen ohne alle gleichzeitig laufen zu müssen.
 
bereits heute kam das IM-1 -- kurze Werbung für Alternate: Samstag bestellt, Montag da. Top!

leider passt das bezüglich HDDs doch nicht so, wie ich mir das inkl ATX-Netzteil vorstelle... es passen 2, maximal 3 HDDs. Ich denke bei Verwendung eines SFX-Netzteiles wären dann auch derer 4 drin. Also für den Tausch des Netzteiles schon mal bedenken.
Nun bleibt es erst mal bei 2 HDDs und dafür einem 90er Lüfter.

Abseits dessen ist das IM-1 ziemilch durchdacht und macht einen grundsoliden Eindruck. Der Lack ist recht dick, es gibt KEINE scharfen Kanten. Sicherlich ist ein Netzteil mit kurzen Kabel und Kabelmanagement von Vorteil.
Wichtig für mich: es passt hervorragend in den Schrank :D

bin mal gespannt, wie morgen früh die Temperatur aussieht, bisher (ohne große Last) unter 30°C...

heute konnte ich auch 64GB passenden RAM schießen, mal sehen ob der dann wirklich funktioniert, ebay ist und bleibt ja eine Lotteriebude :-)
 
so. RAM ist da, es werden auch alle 64GB erkannt :)
Die Temperatur im Schrank macht dann doch etwas Probleme ... nach einer Nacht dann doch ziemlich warm.
Da werde ich mir doch noch was überlegen müssen.
Überlege gerade an mehr, dafür recht langsam laufenden Lüftern. Und das gante dann doch außerhalb/hinter dem Schrank.
Nu, mal sehen. Ich schaue mir nun mal ProxMox genauer an ... vielleicht ist es ja doch ganz nett, je einen vServer pro Anwendung laufen zu lassen ... Es bleibt noch was zu tun!
Derzeit siehts leider so aus, als käme ich die nächste Zeit wenig zum basteln. Das Projekt kann sich also etwas ziehen :D
 
elchmartin schrieb:
Ich schaue mir nun mal ProxMox genauer an
Was genau erhoffst du dir davon?

Beide Projekte verwenden unter der Haube ein Debian, beide verwenden für VMs QEMU/KVM, beide bieten für den VM/Data Storage ZFS an. Beim Thema Container setzt Scale direkt auf Docker o.ä. wohingegen Proxmox noch an LXC hängt.
Der Unterschied sind die gesetzten thematischen Schwerpunkte (NAS/HCI vs. Hypervisor) und die GUI zur Bedienung...

Wenn du eher SaaS haben willst würde ich bei Truenas Scale bleiben und hoffen, dass der integrierte "Apps" Katalog noch wächst. Wenn du eher IaaS haben willst wäre Proxmox geeigneter meiner Meinung nach.
 
snaxilian schrieb:
Was genau erhoffst du dir davon?

Beide Projekte verwenden unter der Haube ein Debian, beide verwenden für VMs QEMU/KVM, beide bieten für den VM/Data Storage ZFS an. Beim Thema Container setzt Scale direkt auf Docker o.ä. wohingegen Proxmox noch an LXC hängt.
Der Unterschied sind die gesetzten thematischen Schwerpunkte (NAS/HCI vs. Hypervisor) und die GUI zur Bedienung...

Wenn du eher SaaS haben willst würde ich bei Truenas Scale bleiben und hoffen, dass der integrierte "Apps" Katalog noch wächst. Wenn du eher IaaS haben willst wäre Proxmox geeigneter meiner Meinung nach.
naja zuerst mal Wissen - ich bin gespannt, in welcher Umgebung ich mich wohler fühle.
SCALE ist schicker anzuschauen, Proxmox erscheint mir nach meinen ersten Gehversuchen etwas fertiger, dafür fummeliger in der Einrichtung.
Generell gefällt mir die Idee mit einzelnen VMs für jeden Zweck besser. Allerdings werde ich mir das sicher nochmal überlegen, wenn ich Proxmox gecheckt habe.
 
@elchmartin: Ich glaube, das was Du da vorhast, habe ich schon hinter mir... ;)

Durchgängiges Ziel während meiner Odyssee: Ein leiser, wohnzimmertauglicher Server mit geringem Energieverbauch (Fileserver, Plex, PiHole und OCR-Verarbeitung von Scans) und die Möglichkeit, eigene Dienste im Internet erreichbar zu machen (...man beachte die Formulierung...). Bisher im verlauf von ca. 10 Jahren probiert (generell alles mit Erfolg, aber immer irgendwie unbefriedigend):

1. Raspi3 (Nextcloud, Fileserver, Wordpress auf dem Hauptsystem)
2. das Selbe auf 7gen HP Miniserver
3. irgend ein Server-ITX-Board mit kleinem Xeon (weiss nicht mehr welcher) und vier 3,5"-HDD mit Proxmox (Nextcloud, Fileserver, Wordpress, Mailserver als VMs erst unter Debian, dann unter Proxmox)
4. Supermicro A2SDi-8C+-HLN4F mit 6x 2,5" HDDs (in einem vertikal orientierten Mini-ITX-Gehäuse) unter Proxmox, später unter FreeNAS
5. wieder zurück zu einem Standard-ITX-Board mit Athlon und Debian. Nextcloud und Wordpress laufen jetzt nicht mehr als VM, sondern in einem angemieteten Root-Server bei Netcup in Docker-Containern
6. Aktueller Stand: Wie oben, nur daß der Selbstbau-Server durch eine Synology DS620slim mit 4x 4TB Micron 5210 ION SSDs ersetzt wurde. Auf der Synology läuft aktuell SMB, das TimeMachine-Backup für die lokalen Macs, Plex und PiHole in Docker-Containern und die OCR-Verarbeitung in einer Debian-VM. Nextcloud und Worpress laufen in Containern auf einem virtuellen Root-Server bei einem Hosting-Provider, bei dem sich über eine Web-GUI Snapshots sichern und ggf. wiederherstellen lassen.

Long story short: Wohnzimmertaugliche Server mit größerer Kapazität sind vor allem eines: Teuer. Es könnte alles sehr viel billiger sein, wenn ich auf Plex und das 4 TB-Medienarchiv in redundanter Plattenkonfiguration verzichten wollte. Es hat sich bewährt, Dienste, die aus dem Internet mit leidlich guter Bandbreite erreichbar sein sollen, mit Docker Compose und einem (ebenfalls im Container laufenden) Nginx-Reverse-Proxy auf einem angemieteten virtuellen Root-Server zu betreiben (habe gute Erfahrungen mit Netcup gemacht).
 
  • Gefällt mir
Reaktionen: snaxilian und elchmartin
Danke für Deinen Input!

Wie immer geht es mir allerdings auch darum, zu lernen, "weil ich es kann" und so ;-)
Bzw noch nicht kann...
Bin mal gespannt, wie das fertige Dingen bzgl Stromverbrauch ausschaut.
Kosten Wind bisher m.E. Im Rahmen, habe jetz €150 für Board, CPU, Kühler und 16gb RAM, dann €90 für 64gb RAM, ~€140 für SSDs. HDDs zähle ich erst mal nicht, die bräuchte ich ja egal für welches System... Achja und €50 für das IM-1.
Das teuerste ist meine Zeit :-p
 
Zuletzt bearbeitet:
Kleines Update:
bin jetzt erst mal auf CentOS 8 Stream gewechselt - hauptsächlich, da ich parallel mit einem ProLiant MicroServer Gen10 experimentiere und alles was Debian heißt die HDDs partout nicht ohne Hardware-RAID erkennen will ... CentOS dann out of the box :-/

Habe mich dort nun soweit zurecht gefunden, dass ich 2 VMs (1xPiHole, 1xOMV) laufen habe.
Also eventuell bye bye TrueNAS. Aber mal sehen, das ist alles noch im Werden.

Zur Hardware:
Habe mich einen Adapter/RetentionModule für Sockel-C32 auf AM2/3 beschafft, damit ist die Auswahl an CPU-Kühler etwas größer ;-)
 
Zurück
Oben