Kaufberatung potenter Proxmox-Server / NAS

[CoMo]

Hallo,

zu Ende des Jahres möchte ich mir ein ordentliches Proxmox-System zusammenbauen, das dann auch als NAS fungieren soll.

Da sollen alle meine Container und VMs drauf laufen, die NAS Funktionalität würde ich dann herstellen, indem ich einen LXC-Container mit Samba installiere und da einen Mountpoint des Hosts reinhänge, der dann via smb.conf freigegeben wird.

Den Mountpoint würde ich ebenfalls in einen qBittorrent-Container für Downloads und einen Jellyfin-Container (als Mediacenter) hängen. Für das Live-Transcoding bräuchte es also auch eine potente Grafikkarte, die aktuelle Codecs unterstützt.

Proxmox Backup Server läuft auf einem separaten System, Storage für die Backups ist ein QNAP NAS (beides schon vorhanden).

Aktuell angedachte Hardware:

Gehäuse: Jonsbo N3 (kürzlich erst vorgestellt, noch nirgends verfügbar)

Restliche Hardware: https://geizhals.de/wishlists/3255632

Das Board ist gerade nur B2B verfügbar, das würde ich dann über die Firma bestellen lassen. Also Hardware-Verfügbarkeit erst mal ignorieren.

Mir ist bewusst, dass das Gehäuse nur Platz für 9 Datenträger bietet, aber die anderen 2 würde ich schon irgendwie neben dem Netzteil unterbringen, da scheint genug Platz zu sein.

Das TPM-Modul auch erst mal ignorieren, mit Proxmox könnte ich das eh nicht nutzen.

Mein Plan ist dann folgender:

6 x 20 TB HDD's -> RAIDz2 für den VM Storage / NAS
3x 480 GB SSD's -> ZFS Mirror für den Metadata cache (Special Device)
2x 480 GB SSD's -> ZFS Mirror für das Proxmox OS
1x 2 TB NVMe SSD -> L2ARC
1x 32 GB SATA SuperDOM -> Ventoy

Mach das für euch Sinn? Muss ich speziell mit dem RAIDz2 für die HDD's etwas besonderes beachten (ashift, recordsize etc.)?

 

[Skysurfa]

Ich denke, dass du die Grafikkarte nicht in den x4 Slot bekommst. Der ist ein wenig kurz auf einer Seite. Hängt dein Herz denn an genau diesem Mainboard?

 

[andy_m4]

ashift

Normalerweise sollte man da nix mehr manuell einstellen müssen, aber ein ashift=12 kann sicherlich nicht schaden.

recordsize

Der default ist 128k was eigentlich oftmals ganz gut passt. Fürs VMs könnte man überlegen das hoch zu setzen.
Für Datasets mit vielen kleineren Dateien dann entsprechend niedriger setzen.

 

[CoMo]

Ich denke, dass du die Grafikkarte nicht in den x4 Slot bekommst. Der ist ein wenig kurz auf einer Seite. Hängt dein Herz denn an genau diesem Mainboard?

Hm, was meinst du damit genau? Wo würde es da haken? Ich dachte, dass die passt.

Das Transcoding ist aber auch erst mal wesentlich weniger wichtig als der Rest. Grafikkarte könnte also auch noch warten.

Das Board hat es mir angetan, da es perfekt für meinen Zweck zu passen scheint. Stromsparender Intel Atom mit vielen Kernen, genug SATA, 4x Gigabit LAN. Und lüfterlos. Hättest du eine Alternative parat?

 

[floklo4]

Der PCIe Slot ist ein kurzer mit nur 4 Lanes und du willst eine GPU mit einem längeren Anschluss nutzen. Das würde nur gehen, wenn der Slot auf dem Mainboard hinten offen wäre. Heißt, dass der Anschluss der GPU hinten rausragt in dem Fall. Man sieht nur nicht, ob das der Fall ist oder der Slot geschlossen.

 

[CoMo]

Ok, das war mir nicht aufgefallen. Dann muss ich mir wegen der Grafikkarte was anderes überlegen. Diese dann bitte erst mal ignorieren.

Ich habe die Grafikkarte aus der Wunschliste gelöscht.

 

[ARNOFPS]

6 x 20 TB HDD im raidz2 verbund finde ich als vm storage und aber auch main-storage etwas schwierig.

3x striped mirrored vdev's hätten eine deutlich bessere performance, aber dafür würde dir nur 50% des speichers zur verfügung stehen. bei so großen einzelplatten im raidz2 verbund wird das resilvering bei einem defekt ziemlich lange dauern.

Was ist dir den wichtig? Performance oder Speicher? Beides zusammen wird leider nicht funktionieren.

Jetzt willst du auch einen Mirror Pool für den Metadata Cache und NVME's für den L2ARC Cache, kannst du bitte kurz erläutern warum du das so gewählt hast?

 

[CoMo]

Ich habe tatsächlich noch nicht viel Erfahrung mit ZFS, ich arbeite mich da gerade etwas ein. Das mit den Vdev's habe ich noch nicht ganz durchblickt.

Speicher ist mir auf jeden Fall wichtiger als Performance. Das Teil wird sowieso nur mit Gigabit-LAN am Switch hängen (aber 4x mit LACP).

Der Metatada Cache klingt sinnvoll, damit ich eine angenehme Performance habe, wenn ich durchs Dateisystem navigiere. Schließlich sind das ja relativ langsame HDD's. Und da ich mit dem RAIDz2 doppelte Parität für die Daten habe, muss natürlich auch das Special Device doppelte Parität haben. Das geht ja nur mit einem Mirror aus 3 SSD's.

Der L2ARC soll dem RAM unter die Arme greifen, da ich einiges an Daten habe, auf die ich immer wieder zugreifen werde. Eventuell nehme ich da auch 4TB anstelle von 2TB.

Ich bin gerne offen für alternative Vorschläge. Ist ja gerade quasi initiales Brainstorming.

 

[CubeID]

Bei der Liste an Komponenten (Anzahl der Platten) steht der Stromverbrauch wahrscheinlich nicht an oberster Stelle, da würde ich zu einem neue Prozessor tendieren ... CPU/Board stammen von 2017, zuletzt preislich irgendwo um die 800+€ ... da kann man doch sicher was Moderneres bekommen?! Das hat dann vllt weniger Cores, dafür je Core mehr Power.

 

[ARNOFPS]

Je größer die einzelne Festplatte, umso länger dauert das resilvering und somit steigt die gefahr, dass beim resilvering eine weitere platte aussteigt...

ich weiß nicht, wieviele VMs oder LXC Container auf dem pool laufen sollen, aber du wirst probleme mit den IOPS bei nur einem pool bekommen ... lies dich da mal etwas ein, ein zusätzlicher striped pool verdoppelt die möglichen IOPS. dabei gehts ja nicht drum, dass der server nur mit 1 gbit angebunden ist, sondern wenn da 10 schreibintensive VMs drauf laufen sollen, der server nicht durch die latency in die knie geht.

du hast 256 GB RAM, selbst die hälfte davon ist eigentlich mehr als genug als arc cache ... ich würde sowieso erstmal nur mit dem pool ohne irgendeinen cache starten, nach einer gewissen zeit dann auf die arc cache werte schauen und erst dann entscheiden. zu dem thema gibts auch dutzende videos und meinungen ... aber jeder hat einen anderen use-case und für deinen könnte ein L2ARC cache sogar kontroproduktiv sein.

ich weiß nicht, wie der hba controller auf dem mainboard genau angebunden ist, aber vielleicht lässt sich der per pci passthrough an eine truenas vm weiterreichen, dann bräuchtest du keinen samba lxc container und das management vom zfs pool inkl. der freigaben hättest du zentral in der truenas vm.

alternative idee...

nutze die nvme im mirror als vm storage und den pool als datengrab, dann ist raidz2 auch ok, wenn du von den daten noch ein weiteres backup hast. spar dir das geld für die cache ssds erstmal und schaue bei der nutzung die einzelne statistiken an, ob du die für deinen usercase überhaupt brauchst.

 

[CoMo]

Stromverbrauch ist schon ein Faktor. Schließlich läuft das Teil dann 24/7. Am Stromverbrauch der Platten kann ich nicht viel ändern, aber der Intel Atom mit gerade mal 25W TDP würde schon mal recht wenig fressen.

Besonders groß ist die Auswahl an Mini-ITX Boards mit CPU und genügend SATA-Ports dann leider auch nicht.

Dieses hier klingt natürlich auch toll, da würden dann auch 512 GB RAM reinpassen, was mir sogar die ZFS Deduplizierung ermöglichen würde. Aber die Preise für 128 GB ECC Module sprengen dann doch etwas das Budget.

ich weiß nicht, wie der hba controller auf dem mainboard genau angebunden ist, aber vielleicht lässt sich der per pci passthrough an eine truenas vm weiterreichen, dann bräuchtest du keinen samba lxc container und das management vom zfs pool inkl. der freigaben hättest du zentral in der truenas vm.

Mit der Idee habe ich gestartet, die aber recht schnell wieder verworfen. Ich hätte das schon gerne direkt auf dem Host, so dass ich nicht extra eine virtuelle Festplatte erstellen muss, auf der dann wieder ein eigenes Dateisystem residiert. Das wär mir auch wieder zu viel Komplexität. Mir reichen ein paar Shares, die ich händisch in die smb.conf schreibe.

VM's werden da sehr wenige laufen, vielleicht 1x Windows Server. Alles andere in LXC-Containern. Nichts davon ist besonders Schreibintensiv. Natürlich mit Ausnahme meines Download-Containers und des NAS-Containers.

nutze die nvme im mirror als vm storage und den pool als datengrab, dann ist raidz2 auch ok, wenn du von den daten noch ein weiteres backup hast.

Ja, ich könnte die Container / VM's auch auf den SSD's laufen lassen. Wichtig ist ja nur, dass ich den riesigen Speicher der HDD's als Mountpoint in die Container hänge.

Je größer die einzelne Festplatte, umso länger dauert das resilvering und somit steigt die gefahr, dass beim resilvering eine weitere platte aussteigt...

Das war der Grund, warum ich vom ursprünglichen Plan eines RAIDz1 abgerückt bin und nun ein RAIDz2 bauen möchte.

Normalerweise sollte man da nix mehr manuell einstellen müssen, aber ein ashift=12 kann sicherlich nicht schaden.

Gerade mal geschaut, bei Platten mit nativen 4K Sektoren sollte ashift=12 optimal sein. Das sollte das ZFS dann ja beim Anlegen des Pools automatisch erkennen?

 

[CubeID]

Die 25W TDP beziehen sich auf die Abwärme, der Verbrauch ist eine andere Sache. Das ist wie bei den T-Modellen der Desktop-CPUs - die haben zwar einen niedrigeren TDP, bei gleicher Last brauchen die jedoch genausoviel wie die Non-T-Modelle. Die Leistungsgrenze kommt bei denen dafür früher, damit die Abwärme im reduzierten Limit bleibt. Am Ende dauern die Sachen damit länger, unterm Strich ist der Verbrauch für die gleiche Aufgabe +/- gleich, da die ungebremste CPU schneller fertig ist und so schneller wieder im Idle läuft.
Wenn es thermisch nicht notwendig ist lohnt sich das IMO nicht.

Hier reden wir von einer jetzt 6 Jahre alten CPU mit 2GHz... auch wenn die noch gut/ok Leistung hat, besser/effizienter werden die nicht mehr, im Gegenteil, tendenziell steigen die Anforderungen, besonders wenn neue Features kommen. Ähnliches gilt für die Epyc 3451, das ist Zen1 von Anfang 2018. Würdest du dir heute noch einen Ryzen 7 1800X kaufen? Hmm 🤔

Wo soll das Gerätchen stehen? Mit HDDs tippe ich auf nicht im Wohnbereich, womit die Frage ist ob du dich auf ITX limitieren willst, oder vllt doch (µ)ATX nimmst, womit du dir Optionen wie für z.B. 10G NICs offen hältst (falls das bei einem neuen Board nicht dabei sein sollte).
Das Jonsbo ist ein sehr schönes Case, mit ITX und der Größe limitierst du dich da schon sehr.
Wenn du den Verbrauch im Auge hast, schau dass du mit weniger Komponenten die gleichen Kapazitäten erreichst. Brauchst du 120TB 24/7? Müssen es 5x1TB SATA sein, oder würden es vielleicht 3 oder nur 2 größere SSDs auch tun? Ggf. 2 statt 4 RAM-Module.
Ich kenn das Spiel mit den "ich brauch die Daten aber" von der Arbeit her, (teils weit) über 80% sind Cold-Data die über 1 Jahr nicht mehr angefasst wurden, also nicht mal mehr lesender Zugriff, da reden wir schon von PB und nicht mehr TB ... solche Sachen ggf. über eine On-Demand-NAS verfügbar machen.
LACP mit 4x 1G ... lieber 1x 10G ... für LACP muss das Protokoll Multistreams unterstützen, wenn sequenziell zugegriffen wird (was oft der Fall ist) bist du weiter mit 1G unterwegs.

VMs / LCXs würde ich nicht mehr auf HDDs legen, selbst wenn die im RAID laufen , die reagieren dort einfach nur träge. Schreiben kann man ggf. noch Puffern, für's Lesen darf man aufwändig/teuer Cache-Layer davor bauen, und selbst dann ist es langsam wenn es Daten sind die nicht im Cache liegen. Für NAS über 1G NICs ok, bei VMs/LXCs meeh.
Bei einer 3,5" SATA-HDDs reden wir von real vielleicht 100 IOPS, selbst SATA-SSDs machen in schlechten Fällen noch irgendwo um die 5.000 IOPS, wenn es gut läuft auch mal 50.000 IOPS.

Vielleicht die Sachen in zwei Systeme splitten? Ein effizientes 24/7 System für VMs, LXCs und die aktuellsten Daten als Full-Flash, und ein OnDemand-System was einen großen Datenpool zur Verfügung stellt.

 

[CoMo]

Hier reden wir von einer jetzt 6 Jahre alten CPU mit 2GHz... auch wenn die noch gut/ok Leistung hat, besser/effizienter werden die nicht mehr, im Gegenteil, tendenziell steigen die Anforderungen, besonders wenn neue Features kommen. Ähnliches gilt für die Epyc 3451, das ist Zen1 von Anfang 2018. Würdest du dir heute noch einen Ryzen 7 1800X kaufen? Hmm 🤔

Also aktuell läuft mein Proxmox auf einem Mini-PC mit Core i7 Notebook CPU 4/8 und 64GB RAM. Das reicht für meinen aktuellen Workload, aber da drin steckt eine einzelne mSATA SSD, die mir nach einem Jahr schon mal abgeraucht ist.

Ich habe nun alle möglichen Maßnahmen ergriffen, um die Schreibzugriffe zu minimieren. Logging von Applikationen deaktiviert, journald auf Storage=volatile gestellt, atime deaktiviert etc.

Und jetzt hätte ich gerne was vernünftiges. Deshalb das genannte Setup. Eine dieser 20TB HDD's liegt hier schon seit nem halben Jahr im Schrank.

Wo soll das Gerätchen stehen? Mit HDDs tippe ich auf nicht im Wohnbereich

Das steht im Flur. Ich habe da einen Netzwerkschrank über der Decke, in dem sich meine ganze Netzwerkhardware befindet. Das QNAP-NAS ist zwar aktuell meistens aus, wenn es läuft, machen die Lüfter ordentlich Lärm, aber das stört mich im Wohnzimmer und Schlafzimmer nicht.

LACP mit 4x 1G ... lieber 1x 10G ... für LACP muss das Protokoll Multistreams unterstützen, wenn sequenziell zugegriffen wird (was oft der Fall ist) bist du weiter mit 1G unterwegs.

Jo, und das reicht mir auch. Ich schiebe keine großen Datenmengen durch die Gegend. Initial natürlich schon, aber dann nicht mehr. Aber wenn ich mal was mit 1Gbit/s auf den Share schiebe, möchte ich gleichzeitig auch was mit 1Gbit/s vom Share lesen können. Dafür eignet sich LACP wohl gut.

VMs / LCXs würde ich nicht mehr auf HDDs legen, selbst wenn die im RAID laufen , die reagieren dort einfach nur träge. Schreiben kann man ggf. noch Puffern, für's Lesen darf man aufwändig/teuer Cache-Layer davor bauen, und selbst dann ist es langsam wenn es Daten sind die nicht im Cache liegen. Für NAS über 1G NICs ok, bei VMs/LXCs meeh.

Also das kann ich ja trennen. Wenn ich dann mal Container habe, die responsive sein müssen, installiere ich die halt auf den SSD's. Aber das qBittorrent, die Nextcloud, der AdGuard... das kann ja alles auch auf den HDDs laufen.

Brauchst du 120TB 24/7?

Vielleicht die Sachen in zwei Systeme splitten? Ein effizientes 24/7 System für VMs, LXCs und die aktuellsten Daten als Full-Flash, und ein OnDemand-System was einen großen Datenpool zur Verfügung stellt.

Ich hätte das schon gerne alles in einem Gerät. Ist ja nicht das einzige. Der Mini-PC bekommt ein DietPi spendiert und macht ab da an den Proxmox Backup Server. Das QNAP-NAS wird per NFS da drauf eingebunden und speichert meine Daily Snapshots. Das sind 4x 4TB im RAID-5.

Also sowieso schon 3 Geräte. Und dann steht da noch ein drittes QNAP-NAS mit JBOD Platten, die hier noch irgendwo rumlagen.

So sieht das hier gerade aus

Das Jonsbo N3 würde da noch gut rechts unter das kleine NAS passen.

Aber auf jeden Fall vielen Dank für deinen Input. Wie würdest du das denn aufziehen unter Berücksichtigung meiner Anforderungen, mit welcher Hardware?

 

[CubeID]

Was für ein i7 ist das? Wieviel RAM vorhanden/belegt, wieviel Festplattenspeicher vorhanden/belegt?

 

[CoMo]

Es ist dieser PC https://www.amazon.de/gp/product/B08L99SSS4/. Also ein Core i7-10510U.

Da ist kaum was belegt. Weil da nur ein paar LXC Container laufen. Auf die mSATA SSD Daten zu speichern, traue ich mich nicht, damit die nicht wieder stirbt.

Auf den neuen Proxmox soll dann auch Nextcloud, Paperless-NGX etc laufen.

 

[CubeID]

Verbrauchstechnisch wirst du deinen i7 kaum schlagen können, und für bisschen Nextcloud und Paperless sollte der mehr als ausreichen, den würde ich eher erstmal ausreizen.
Einen 2,5" SATA Slot hast du dort drin, die SSD als Datenplatte für Nextcloud. Da nach einmal Schreiben tendenziell nicht viel passiert eine 8TB Samsung 870QVO, alternativ eine 7,68TB Samsung PM893 wenn man bei den TBW auf Nummer extrem sicher gehen will.
Bei meinem MiniPC (Futro S740) konnte ich in den "WLAN" gebrandeten Slot per Adapter eine M.2 NVMe bauen, dein PC hat zwei Slots für "WLAN", der Adapter kostet bei Ali 5€ ... würde ich probieren. Wenn das klappt da eine NVMe rein, 1-2TB, darauf die VMs/LXCs. Falls der zweite WLAN-Slot auch geht, bei Lust und Laune eine weitere NVMe für ein Backup/Kopie der VMs/LXCs, falls die primäre SSD kaputt gehen sollte. Software-RAID oder so kann man glaube ich in Proxmox nicht so einfach machen?

Datenverfügbarkeit stufe ich bei mir nicht so hoch ein, Datensicherheit hat für mich Prio. Ich versuche mindestens 3-2-1 zu machen, ich versuche aktuell eher Richtung 4-3-1 zu kommen (Kopien einer Datei | unterschiedliche Medien (/Systeme) | Kopien einer Datei offsite).
Sollte beim aktiven System eine SSD abrauchen: Neue SSD rein, Restore vom Backup, Endgerät(e) sycnen, done.

Für das Datenvolumen würde ich wahrscheinlich sogar eine Fertig-NAS nehmen. Basteln ist ein tolles Hobby, wenn es zuverlässig sein soll würde ich mir die notwendige Zeit sparen und eher zu einer Fertiglösung greifen.
Da du schon mit QNAP unterwegs bist z.B. die TS-473A/673A? Per NFS oder iSCSI zu deinem i7-System Speicher sharen, oder direkt die Sachen die Platz brauchen (NC, Paperless) dort hosten, der Ryzen V1500B (4C/8T) hat nicht soviel Power wie dein i7, wird denke ich aber reichen. 2x2,5Gb NICs haben die auch schon drin, es ist ECC-RAM drin den man bis zu 64GB aufgerüstet kann.
Falls die Lüfter zu laut sind, gegen z.B. Noctua's austauschen.

 

[trxm]

Wenn du noch bezahlbar all out gehen willst dann schau dir mal c256 boards an wie dieses:
https://geizhals.de/asrock-rack-e3c256d4u-2l2t-a2645706.html?hloc=de

Das hat deutlich mehr Features, aber auch (nur) max 128gb RAM. Dafür aber 2x10g direct dabei, pcie 4.0 und 2x m.2
C256 kann leider nicht normal mit Rocket lake kombiniert werden, also dann eine solche cpu:
https://geizhals.de/?cat=cpu1151&xf...Sync+Video%7E5_ECC-Unterst%FCtzung%7E820_1200

Dann brauchst du auch keine gpu die unnötig strom verbraucht und fast eh nie gebraucht wird.

 

[CoMo]

Verbrauchstechnisch wirst du deinen i7 kaum schlagen können, und für bisschen Nextcloud und Paperless sollte der mehr als ausreichen, den würde ich eher erstmal ausreizen.

Nein, weil der nur eine mSATA Consumer SSD hat. Und Consumer SSD's sind Mist für solche Anwendungen. Wie gesagt, die erste ist mir nach einem Jahr gestorben. Eine SATA-SSD kann ich natürlich noch einbauen, da habe ich dann aber keinerlei Redundanz.

Für das Datenvolumen würde ich wahrscheinlich sogar eine Fertig-NAS nehmen. Basteln ist ein tolles Hobby, wenn es zuverlässig sein soll würde ich mir die notwendige Zeit sparen und eher zu einer Fertiglösung greifen.

Nein, nie wieder. Den Fehler habe ich schon mal gemacht. Und ein QNAP NAS gekauft, das native Verschlüsselung unterstützt. Ergebnis: Der ARM-Prozessor kann kein AES. Schiebe ich da was drauf, ist der Prozessor bei 100% und ich bekomme über das Gigabit-LAN 6 MB/s.

Ich kaufe nix fertiges mehr. Das ist alles Abzocke mit Schrott-Hardware.

Da du schon mit QNAP unterwegs bist z.B. die TS-473A/673A? Per NFS oder iSCSI zu deinem i7-System

Ja, danke, die Idee hatte ich auch schon. Die Platten RAW per iSCSI an den Proxmox durchreichen und dann ein schönes ZFS RAID machen.

QNAP sagt nein. Man kann ein iSCSI-Target nicht RAW exposen, man muss ein LUN einrichten. Bedeutet, man konfiguriert die Platten auf dem QNAP EXT4-Dateisystem, legt dann ein LUN an, das ist dann einfach eine Datei auf dem NAS, die dann per iSCSI exposed wird. Sorry, aber das ist völliger Schrott. Das kann doch niemand ernsthaft empfehlen.

Das hat deutlich mehr Features, aber auch (nur) max 128gb RAM.

Ich habe mich gerade so mit den 256GB arrangiert, ich hätte lieber 512 gehabt, wenn die Module nicht so teuer wären. 128 ist definitiv zu wenig. 128 bedeutet 64 GB für den L1ARC und 64 GB für den Hypervisor. Das ist für beides zu wenig.

 

[andy_m4]

Das sollte das ZFS dann ja beim Anlegen des Pools automatisch erkennen?

Ja. Sollte. Wenn die Hardware auch die Wahrheit sagt und nicht aus Kompatiblitätsgründen lügt.
Du kannst das ashift auch abfragen mit
zdb -C pooname
Solltest Du gleich nach dem Anlegen des Pools machen damit Du ihn gegebenfalls mit explizit gesetztem ashift (-o ashift=12) neu anlegen kannst. Späteres ändern ist nämlich nicht möglich.

 

[CubeID]

Eine ARM-CPU ist schonmal ne andere Liga als ein Ryzen.

Nein, weil der nur eine mSATA Consumer SSD hat. Und Consumer SSD's sind Mist für solche Anwendungen. Wie gesagt, die erste ist mir nach einem Jahr gestorben. Eine SATA-SSD kann ich natürlich noch einbauen, da habe ich dann aber keinerlei Redundanz.

Ich rede nicht von der mSATA, sondern SATA, laut dem Link hat der dafür auch eine Anschlussmöglichkeit. Auf die Schreibleistung muss man etwas schauen, bei meinem Proxmox hatte ich da Anfangs auch tierisch schiss. Ohne besonderne Config aber kein Problem bei mir. Hatte mal gelesen, dass ZFS ziemlich reinhauen soll?
Es kommt dann aber noch mit drauf an was deine VMs machen. Wenn da ständig was in eine DB schreibt, oder zuwenig RAM zugewiesen ist und die VM im Swap/Pagefile rumeiert, macht man die SSD schon schnell kaputt.
War deine mSATA richtig tot? Hattest du geschaut was sie an Schreibleistung runter hatte?

Nein, nie wieder. Den Fehler habe ich schon mal gemacht. Und ein QNAP NAS gekauft, das native Verschlüsselung unterstützt. Ergebnis: Der ARM-Prozessor kann kein AES. Schiebe ich da was drauf, ist der Prozessor bei 100% und ich bekomme über das Gigabit-LAN 6 MB/s.

Was dann aber nicht unbedingt an dieser QNAP liegt, sondern an dem was du damit gemacht hast?
Wenn du weißt das du verschlüsseln willst, und die CPU hat kein AES, ist das natürlich dann doof und man darf sich über die Auslastung und Durchsatz nicht wundern.

QNAP sagt nein. Man kann ein iSCSI-Target nicht RAW exposen, man muss ein LUN einrichten. Bedeutet, man konfiguriert die Platten auf dem QNAP EXT4-Dateisystem, legt dann ein LUN an, das ist dann einfach eine Datei auf dem NAS, die dann per iSCSI exposed wird. Sorry, aber das ist völliger Schrott. Das kann doch niemand ernsthaft empfehlen.

Den Weg über LUNs kenn ich so aus dem Businessumfeld, RAID > Volume > LUN. Da wo es bei QNAP oben aufhört fangen diese Storage grad mal an 😅 Sooo verkehrt wird das System also nicht sein. Im Homelab mag das Overkill-Charakter haben, im Businessumfeld mit "etwas" mehr hat es sich bewährt.

Ich weiß nicht ob es latency-technisch gut ist, wenn du über mehrere iSCSI-Targets via LAN ein ZFS spannst. Wir haben früher über 1G LACP iSCSI genutzt, der Durchsatz war sehr mäßig... war redundant, die 1G hast du aber NIE gesehen... mit 10/25G ist das deutlich besser, aber selbst da musst du aufpassen, dass der Host die passende NIC mit den passenden Protokollen unterstützt und die Config passt.
Ich würde die Diskverwaltung auf der Storage belassen.