Speichererweiterung für Mini-PC mit Proxmox

[Monokel]

Hallo zusammen,

ich habe mir kürzlich einen Fanless 4x 2.5GbE Intel Core i3-N305 Mini-PC zugelegt und plane, darauf Proxmox zu betreiben. Mein Ziel ist es, diesen Mini-PC als Server für verschiedene Anwendungen wie Jellyfin/Plex, Deluge, Nextcloud, Paperless-ngx, PhotoPrism, Vaultwarden und PiHole zu nutzen.

Als Anfänger in diesem Bereich möchte ich mich gerne weiterbilden und die richtige Hardware als solide Grundlage nutzen. Der Mini-PC kommt mit einer internen SSD von 500 GB. Jedoch benötige ich für meine geplanten Anwendungen zusätzlichen Speicherplatz. Ich habe an den Einsatz von 2 bis 4 HDDs gedacht, um möglicherweise eine Spiegelung oder ein RAID 1/5-System zu implementieren. Allerdings bietet der Mini-PC wahrscheinlich nicht genug interne Anschlüsse für so viele Festplatten.

Daher überlege ich, ein externes Festplattengehäuse mit RAID-Fähigkeit zu verwenden, das über USB oder eSATA an den Mini-PC angeschlossen werden kann. Ist das der richtige weg? Momentan besitze ich weder zusätzliche Festplatten, noch einen NAS oder ein passendes Festplattengehäuse.

Ich frage mich, welche Möglichkeiten ich in Bezug auf mein System habe. Insbesondere da der Mini-PC über ausreichend 2.5GbE-Anschlüsse verfügt, sollte ich diese idealerweise nutzen. Allerdings bin ich mir noch unsicher, wie ich diese optimal in mein System integrieren kann.

Könntet ihr mir diesbezüglich ein paar Stichworte oder Anregungen geben, in welche Richtung ich recherchieren sollte? Über jegliche Art von Hilfe oder Vorschläge würde ich mich sehr freuen!

Vielen Dank im Voraus!

 

[oicfar]

Ich würde eher in den NUC eine größere SSD einbauen und langfristig ein NAS anschließen.

Wie viel RAM hat dein NUC? Ich würde für dein Einsatzzweck 32 GB (oder mehr) nehmen.

 

[SaxnPaule]

Lieber gleich eine große SSD einbauen (ggf. 2 mit RAID 1). Bei 24/7 Betrieb sollte sich das beim Verbrauch deutlich bemerkbar machen.

Dazu noch eine sinnvolle Backup Strategie.

Die Mediadaten für Plex auf ein externes Gerät/NAS auslagern, da dieses m.E. nicht 24/7 laufen muss und sehr wahrscheinlich auch kein RAID benötigt.
Dadurch kommst du mit 2TB Netto SSD Speicher im Mini PC schon ein ganzes Stück und bist noch recht preiswert unterwegs.

 

[Salamimander]

Backup: PBS und dahinter ein NAS oder so.
Bei SSDs für proxmox bitte keine Consumer SSDs (oder welche mt viiiiel TBW, also >1PBW)

 

[wahli]

Welcher Rechner ist es genau?
Link bitte...

Ich habe selbst einen NUC mit i3 mit Proxmox und separat ein zusätzliches NAS.

 

[oicfar]

Ich versuche mal zu raten und tippe auf so was

https://www.amazon.de/KingnovyPC-Firewall-Appliance-Lüfterloser-Ethernet/dp/B0BZP3S757

 

[Monokel]

Ich würde eher in den NUC eine größere SSD einbauen und langfristig ein NAS anschließen.

Kannst du mit mir deine Gedanken teilen, weshalb eine größere SSD hier sinnvoll wäre? Würdest du manche Anwendungen komplett auf der SSD laufen lassen oder was nimmt da so viel Platz weg? Aber das werde ich machen, ich storniere meine 500GB und bestell eine 1TB.

Wie viel RAM hat dein NUC?

Der NUC hat nur einen SODIMM Slot und Intel meint wohl, dass nur 16GB RAM unterstützt werden. Somit wird es wohl der "16GB G.Skill Ripjaws DDR5-4800 SO-DIMM CL 38 Single"

 

[Salamimander]

Uff da ist knapp. Zum Vergleich: ich habe 128GB ram, zwei SSDs und 4 HDDs. ZFS ist hier der ram killer!

 

[Monokel]

Lieber gleich eine große SSD einbauen (ggf. 2 mit RAID 1). Bei 24/7 Betrieb sollte sich das beim Verbrauch deutlich bemerkbar machen.

Leider hat der NUC nur einen M.2 Slot für eine SSD

Die Mediadaten für Plex auf ein externes Gerät/NAS auslagern

Gibt es hier NAS die gut geeignet wären? In meiner Vorstellung ist dann ein Synology evtl. nicht mehr nötig, da ich hier ja viel über den NUC bediene und viele Vorteile des Synology (oder anderen in meinen Augen guten NAS) nicht benötige.

Ergänzung (30. Januar 2024)

Bei SSDs für proxmox bitte keine Consumer SSDs (oder welche mt viiiiel TBW, also >1PBW)

Ich hab den "500GB WD SN570 M.2 2280 PCIe 3.0 x4 NVMe 3D-NAND TLC (WDS500G3B0C)" bestellt, würde aber nun auf die 1TB Variante upgraden. Gut?

 

[oicfar]

Kannst du mit mir deine Gedanken teilen, weshalb eine größere SSD hier sinnvoll wäre? Würdest du manche Anwendungen komplett auf der SSD laufen lassen oder was nimmt da so viel Platz weg? Aber das werde ich machen, ich storniere meine 500GB und bestell eine 1TB.

In einem Fanless Gehäuse hast du nicht viel Platz. D.h. große 2-4TB SSD rein. Hängt halt davon ab, was für Daten du hast. Wen es viele sind, dann macht ein NAS eh sinn.

Der NUC hat nur einen SODIMM Slot und Intel meint wohl, dass nur 16GB RAM unterstützt werden. Somit wird es wohl der "16GB G.Skill Ripjaws DDR5-4800 SO-DIMM CL 38 Single"

Die NUCs unterstützen meist mehr RAM als auf dem Blatt steht.

An sich würde die deine aktuelle Investition mal zum Erlernen der Grundlagen und eine Spielwiese verwenden. Und wenn du hier Know-How aufgebaut hast, dann baust du dir vielleicht was größeres auf?

Ich selbst habe NUC7PJYH mit 32GB RAM (laut Datenblatt nur 8GB) und 1 TB SSD. Nach 3 Jahren in 24/7 Betrieb sieht diese so

Di 30. Jan 00:00:01 CET 2024
------------------------------
 SSD Status:   /dev/sda
------------------------------
 On time:      25,268 hr
------------------------------
 Data written:
           MB: 19,551,031.932
           GB: 19,092.804
           TB: 18.645
------------------------------
 Mean write rate:
        MB/hr: 773.746
------------------------------
 Drive health: 94 %
------------------------------

aus. Darauf habe ich kein Proxmox. Dafür aber viele Docker Container, PostgreSQL 16 und ~20.000 Git Projekte (ca. 400GB an Daten). Und ich habe noch ein NAS im Einsatz. In meinem Fall wäre eine 2TB SSD heute besser.

Leider hat der NUC nur einen M.2 Slot für eine SSD

Dann eine mind. 2-4TB NVMe.

Gibt es hier NAS die gut geeignet wären? In meiner Vorstellung ist dann ein Synology evtl. nicht mehr nötig, da ich hier ja viel über den NUC bediene und viele Vorteile des Synology (oder anderen in meinen Augen guten NAS) nicht benötige.

Ich habe NUC als Mini-Server im Einsatz und NAS ist für NAS Sachen. Auf meiner Synology läuft kein Docker.

Ich hab den "500GB WD SN570 M.2 2280 PCIe 3.0 x4 NVMe 3D-NAND TLC (WDS500G3B0C)" bestellt, würde aber nun auf die 1TB Variante upgraden. Gut?

ist die Frage, was du alles speichern willst und wie der Zuwachs sein soll. Ich würde mind. 2 TB nehmen.

Uff da ist knapp. Zum Vergleich: ich habe 128GB ram, zwei SSDs und 4 HDDs. ZFS ist hier der ram killer!

Ja, ZFS braucht sehr viel RAM.

 

[Monokel]

Welcher Rechner ist es genau?

servethehome.com

 

[SaxnPaule]

Gibt es hier NAS die gut geeignet wären? In meiner Vorstellung ist dann ein Synology evtl. nicht mehr nötig, da ich hier ja viel über den NUC bediene und viele Vorteile des Synology (oder anderen in meinen Augen guten NAS) nicht benötige.

Kannst auch ein externes HDD Gehäuse nehmen. Damit sparst du jede Menge Geld. Wichtig wäre mir jedoch, dass sich die Platten schlafen legen bei Nichtnutzung und somit kein zusätzlicher Strom verbraten wird.

 

[Monokel]

Genau das habe ich mir vorgestellt.
Zusammengefasst:

• 2 TB SSD anstatt 500GB
• 32GB RAM anstatt 16 GB
• externes HDD Gehäuse (über Ethernet?)
• Platten die sich schlafen legen

Somit habe ich ein sehr sparsames System welches alle meine Anforderungen erfüllt.

Wenn ihr an meiner Stelle wäret, und keine Komponenten hättet, würdet ihr euch das System zulegen?

 

[SaxnPaule]

externes HDD Gehäuse (über Ethernet?)

Wäre dann schon wieder ein NAS. Das N in NAS steht für Network

 

[h00bi]

Wieviel Speicherplatz brauchst du denn?
Willst du dir ein mehrere TB großes Film- und Serienarchiv aufbauen für Plex?
Wenn ja, dann nimm ein NAS und verwende das auch gleichzeitig als NFS Storage für proxmox.
Für Proxmox selbst reicht die kleine SSD.

Die von dir geposteten Dienste laufen übrigens alle völlig problemlos auf Docker und damit auch DIREKT auf fast jedem modernen NAS.

Ausgehend vom Ausgangspost wäre ein Proxmox Server also gar nicht notwendig.
Für Spieltrieb / Erfahrungen sammeln natürlich trotzdem völlig legitim.

 

[TheHille]

Bzgl ZFS und RAM: Hier ist ein kleines Tutorial, wie man den Verbrauch etwas eindämmen kann:


Unter:

Limit ZFS Memory Usage​

https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_raid_considerations

To permanently change the ARC limits, add the following line to/etc/modprobe.d/zfs.conf:

options zfs zfs_arc_max=8589934592

This example setting limits the usage to 8 GiB (8 * 230).

 

[Salamimander]

Limitieren kann man es, aber das geht heftig auf die IOPS… Bin auch weg von raidz2 und betreibe nun striped_mirror. Deutlich schneller aber trotzdem ram Hunger… . Aber dafür sind die Daten sicher. Habe sogar ein special_device auf meinen mirror-SSDs… (Aber gut, hier läuft auch etwas mehr:

• UniFi Controller -> LXC
• Adguard -> LXC
• synapse (matrix) -> LXC
• Docker host -> LXC (da läuft aktuell nur ein VNC Firefox drauf)
• jenkins/ansible -> LXC
• rsnapshot -> LXC
• mariadb -> LXC
• opnsense -> VM
• HomeAssistant -> VM (und viiiele container)
• OpenMediaVault -> VM
• ProxmoxBackupServer -> VM (Mit NFS Mount vom NAS als Speicher)

 

[Monokel]

Hallo alle zusammen,

ich möchte kurz meine Überlegungen zusammenfassen und eure Meinungen dazu hören.

Nach reiflicher Überlegung scheint es mir sinnvoll, meinen NUC mit 2TB NVMe und 32GB RAM aufzurüsten. Mein Plan ist, darauf alle meine Dienste entweder über Proxmox oder direkt als Docker Container laufen zu lassen. Da ich nicht vorhabe, riesige Mengen an Daten zu sammeln, gehe ich davon aus, dass diese Konfiguration für die kommenden Jahre ausreichen sollte. Sollte ich allerdings in der Zukunft feststellen, dass ein NAS doch besser zu meinen Bedürfnissen passt, würde ich mein System dementsprechend erweitern.

Mit diesem Setup hätte ich also einen energieeffizienten NUC, an dem ich viel lernen kann, und der gleichzeitig in der Lage ist, meine Dienste zu betreiben – vorausgesetzt, sie sprengen nicht den vorhandenen Speicherplatz.

Seht ihr das auch so? Gibt es vielleicht Aspekte, die ich übersehen habe oder weitere Empfehlungen, die ihr mir geben könntet?

Vielen Dank euch allen für eure zahlreichen Antworten.

 

[Salamimander]

Ist das ein Intel NIC? Wäre von Vorteil. Das Thema Backup muss man noch beachten.

Meine Dirty Idee für dich:

• ProxmoxBackupServer installieren
• USB Platte kaufen und an den Proxmox haengen
• USB-Port an die PBS VM durchreichen
• Externe HDD als BackupStorage in PBS konfigurieren

Mit diesem Setup kannst du bis auf pbs selbst alles wegsichern (LXC und VMs. Docker direkt auf dem Host würde ich lassen, dann lieber einen LXC pro Docker oder einen LXC für alle Docker)

PS: PBS kann man regulär manuell snapshotten und dann das Archiv manuell sichern. Da man den nur alle Jubeljahre mal anpasst, reicht auch ein Backup alle paar Monate.

 

[Banned]

ZFS ist hier der ram killer!

ZFS hat einfach die Eigenschaft, dass es sich einfach quasi alles an RAM reserviert, was da ist. Das heißt aber nicht, dass es nicht mit weniger klarkommt.
Wenn es um das reine Storage geht (ohne Deduplication oder Verschlüsselung), kommt man eigentlich erst ab 100TB Gesamtkapazität rum wirklich in Not, 32GB RAM zu verwenden. Erfolgen viele Zugriffe von unterschiedlichen Clients und vor allem, werden VMs betrieben, sieht die Sache natürlich dramatischer aus.

https://www.truenas.com/blog/a-comp...reeNAS requires 8 GB of,RAM per TB of storage.

Somit mögen die 128GB in deinem Fall evtl. berechtigt sein, das kann ich nicht beurteilen.

Trotzdem ist ZFS nicht per se ein "Ram Killer", denn du kannst halt quasi eine beliebige Menge RAM nutzen - ZFS wird sie vollmachen, aber eben großteils oft nur als Reserve bzw. weil es da ist, und nicht, weil sonst das System nicht mehr flüssig liefe.



Zum Thema hier:

• RAID1 für zwei SSDs, auf denen die VMs laufen, ist sicher nicht verkehrt. Denn so läuft wenigstens alles weiter, wenn eine nen Abgang macht.
• RAID mit externen Gehäusen ist mit Vorsicht zu genießen, weil dort oft proprietäre Hardware-RAID-Controller verwendet werden, die sich schon von Batch zu Batch im schlimmsten Fall unterscheiden können. Von jeder Art Partitäts-RAID würde ich hier abraten, außer dir ist es egal, dass du bei Ausfall des Controllers wahrscheinlich nicht mehr an die Daten auf den Platten rankommst.
• Verwendest du RAM oberhalb der Kapazitätsspezifikation des Herstellers, dann teste wirklich ausgiebig, dass er auch keine Fehler produziert bzw. wirklich stabil ist.