[ZFS][NAS] Fragen zu Snapshots, FreeNAS und Backup großer Datenmengen

[scooter010]

System steht und läuft. Nach und nach konfiguriere ich es. Derzeit habe ich "nur" den SMB-Dienst und einen ClamAV laufen. Derzeit struggle ich etwas mit dem automatischen Spin-Down der HDD. System-Dataset liegt auf den SSD, alle VM/Jails mit Mountpoint von der HDD sind offline, keine Zugriffe via SMB und trotzdem kein Spindown. Den SMART-Kram habe ich auch entsprechend der Anleitungen im Netz konfigurioert (-n standby und -d atacam).

Meine USV gibt mit drehenden Platten 30-31 W im Idle aus, mit forciertem Spin-Down sind es nur 12 Watt. Würde ich also 2- Lüfter abhängen käme ich an die <=10 Watt. Schon ganz gut eigentlich?! Vor allem, da die zwei SATA-SSD und die zwei NVME-SSD (Boot) keine Power-states einnehmen. Die Frag eist natürlich, wie groß der Messfehler meiner USV bei solch geringen Leistungen ist.

 

[scooter010]

Und der Core i3 8100 ist ausreichend schnell, 16GB RAM sind auch erstmal i.O.
Ohne jails/VMs lasse ich grade das mehrer TB große Snapshot von dem verschlüsseltem und komprimierten RAID-Z2 (6x 4 TB HDD) Pool gleichzeitig auf 2 USB-Platten übertragen (zfs send | zfs Recv) übertragen (jede Platte ist ein eigener Pool).
Parallel kopiere ich noch eine Weitere Platte via SMB auf den HDD Pool.

14,x GB RAM Auslastung und ~60% CPU-Auslastung.

Das RAID-Z2 hat noch Reserven:
ada2-7 ist das raid-z2, da0 und da1 sind die beiden per USB3.0 verbundenen externen HDD die jeweils eine Kopie des Snapshots erhalten.

P.S.: In dieser Lastsituation (so ziemlich Maximallast) zieht das System rund 55-75 W gemäß der USV-Anzeige. Hier ist der Energieverbrauch der beiden externen Festplaten mit einbezogen.

 

[sebasto]

Hallo,

für mich ein sehr interessanter Thread, dem ich viele Anregungen für meine anstehende Erweiterung meiner FreeNAS Server entnehmen kann. Danke dafür!

Ich habe eine Frage zu Deinem Setup: Du verwendest 2 SSDs für den Boot-Pool und noch einmal ein Mirror mit SSDs für das System-Dataset (+ Spielwiese).

Was spricht dagegen, das System-Dataset mit auf den Boot-Pool zu legen? Ich plane dafür ein Mirror aus zwei SSDs zu verwenden. Die FreeNAS GUI bietet bei der Auswahl, wo das System-Dataset liegen soll, auch den Boot-Pool an.

Seb

 

[scooter010]

Den Bootpool sichert man nicht. Pool kaputt, freenas neu installieren und konfig von einem anderen dataset laden. Fertig.

 

[sebasto]

Hallo scooter010,
danke, soweit schon klar, aber wenn ich ihn sichere, weil ich das System-Dataset dorthin verlegen will - was spricht dagegen? Es ist eine SSD weniger...

 

[snaxilian]

Wie genau hast du vor, den Boot-Pool zu sichern? Wenn du nur die GUI nutzt, so bietet diese keine Möglichkeit, periodic snapshots zu erstellen, die du wiederum brauchst um die Snapshots wegzusichern. Wenn du fit im scripting bist, kannst das natürlich irgendwo als Skript hinterlegen und als Cronjob ausführen lassen.
Wie genau stellst du dir dann die Wiederherstellung im Desasterfall aus? Ein Linux/BSD booten, dass ZFS Unterstützung hat, neue SSD rein und alles wieder zurück spielen. Ich hoffe, du testest dies vorher mal komplett und dokumentierst dies außerhalb des NAS an einem guten Ort

Die Doku von FreeNAS warnt übrigens sogar an zwei Stellen davor, das System Dataset auf den Bootpool zu packen, damit dieser eben nicht schneller als nötig kaputt geschrieben wird bei Nutzung von USB-Sticks oder SSDs. Es spricht aber rein theoretisch nix dagegen, FreeNAS auf normale HDDs zu installieren.

Ob es das alles wert ist, sprich den Aufwand musst du beantworten. Mir reichen regelmäßige Sicherungen der Config, wie es einem auch bei jedem Update angeboten wird. Nur wenige KB groß und wenn der Bootpool mal das zeitliche segnet wird FreeNAS neu installiert, Config eingespielt und bin wieder glücklich. Das sollte deutlich schneller gehen als den gesamten gesicherten Pool zurück zu spielen... Einziger "Nachteil" meiner Methode: Ich verliere die Graphen was ich verkrafte. Wenn ich die hätte haben wollen, würde ich die Performancedaten auch eher an Graphite senden und per Grafana darstellen. Ist einfach schöneres klickibunti und kann auch "Monitoring" von anderen Systemen machen.

 

[sebasto]

Das war wohl mißverständlich. Mit sichern meinte ich als Mirror betreiben - als Antwort zu der Bemerkung

Den Bootpool sichert man nicht.

Der Boot-Pool soll also aus 2 SSDs im Mirror bestehen. Die Konfiguration wird täglich per Script und Cronjob gesichert und per Mail "außer Haus" geschickt. Im Desasterfall Installiere ich auf ein neues Medium Freenas neu und spiele die letzte Konfiguration ein.
Ich habe bisher USB-Sticks im Mirror als Bootpool gehabt, möchte nun aber das System-Dataset nicht mehr auf den (Backup)-Pool mit 6x8TB HDs legen, sondern eben auf den Bootpool, da er ja nicht mehr aus den
anfälligen USB-Sticks besteht, sondern aus 2 SSDs.
Ich glaube die FreeNAS Entwickler haben mit der Warnung, keine Flash-Laufwerke zu nehmen, SSDs nicht gemeint. Mit 120 GB Kapazität schreiben die sich auch nicht so schnell kaputt, der interne Kontroller sorgt ja dafür, daß die Zellen möglichst gleichmäßig genutzt werden. Bei 120 GB ist das eine große Reserve.
Die GUI bietet das auch an, das System-Dataset auf den Bootspiegel zu legen... meine Frage war einfach, ob etwas dagegen spricht. Scooters Setup besteht aus einer SSD M.2 für den Boot-Pool und 2 SSDs für das System-Dataset. Ich will mir eine SSD sparen.

 

[snaxilian]

Ein Mirror ist aber in keinster Weise eine Sicherung. (Warum geht das eigentlich nicht in die Schädel der Leute rein?)
Ggü. Scooters Setup sparst du dir sogar zwei SSDs Bei 120 GB SSDs sollte ausreichend Platz für Wear leveling sein und wie gesagt: Mirror dient ja nur der Verfügbarkeit, mehr nicht. Wenn du keine hochkritischen Dienste darüber anbietest und regelmäßige Updates hast verstehe ich nicht, warum du überhaupt einen Mirror willst?
Nimm eine SSD, FreeNAS da drauf, fertig. Steigt die SSD irgendwann aus, kaufst eine neue, installierst neu, Config wieder rein fertig. Klar verstehe ich den Spieltrieb aber ob es das wert ist wirst nur du entscheiden können.

 

[sebasto]

Danke für die temperamentvolle Erläuterung
Das ist schon in meinem Schädel. Ich schrieb ja, das war die Antwort auf Scooter, da ich ich ihn so verstand, das er meinen Mirror mit "sichert man nicht" meinte. Sorry fürs ungenaue Schreiben.

So eine SSD kostet nur 18 EUR und mir ist die Verfügbarkeit von Bedeutung. Ich hatte das Szenario in den letzten Jahren schon 2 x, daß der Bootpool kaputt war und bis zu meinem Eingreifen alles stand. Da ich darauf permanent automatisiert eines meiner Backups speichere, ist die Verfügbarkeit weniger Spielerei, sondern notwendig.