Proxmox sinnvoll einrichten

[soiz]

Hallo zusammen,

die letzten Monate habe ich viel mit Proxmox experimentiert und diverse Container/VMs eingerichtet.
Ich würde nun gerne Proxmox und das drumherum einmal sinnvoll (neu) aufsetzen, evtl. Hardware zusammenführen und evtl. den Proxmox Host upgraden.


Momentan läuft hauptsächlich Home Assistant (VM), Immich (testweise mit einem Bruchteil meiner Bilder), Paperless-ngx, AdGuard und Stirling-PDF auf einem Dell Latitude 5270 (i5 6300u, 16GB RAM, 256GB Samsung 950pro NVME SSD)
Datensicherungen werden auf ein Synology NAS im Elternhaus und zusätzlich auf eine Externe HDD durchgeführt.

In Zukunft könnte ich mir vorstellen Frigate mit 1-3 Kameras und Jellyfin ohne Transcoding zu nutzen.
Ebenso würde ich gerne noch den Festplattenspeicher vergrößern, denn die 256GB SSD ist so gut wie voll.

Meine Überlegung war nun, ein System zu bauen, das eine NVME SSD für den Proxmox Host und die VMs/LXCs nutzt und eine oder mehrere Festplatten/SSDs für ein "Datengrab". Das Datengrab könnte dann an Immich und Frigate weitergereicht werden und/oder als NAS benutzt werden. Um zukunftssicher zu sein, würde ich mindestens 4, besser 8TB Speicher ansetzen.

Wo ich auf Ratschläge von euch hoffe sind die Themen:

• Welches Filesystem wäre sinnvoll für mich?
• RAID?
• Hardware? Die aktuelle Leistung reicht noch für alles was ich bis jetzt mache. Hätte noch einen Latitude 7510 rumliegen (i7-6820HQ, 32GB RAM, Nvidia M2000M, 1x M2, 1x 2,5" SATA)
• Besser ein separates NAS für mich oder kann das ohne große Bedenken in das gleiche System integriert werden?

Alles weitere oder was ich vergessen habe ergibt sich dann hoffentlich in der Diskussion.

Danke und liebe Grüße
soiz

 

[madmax2010]

• Welches Filesystem wäre sinnvoll für mich

ext4+lvm, zfs, btrfs,... tut alles seinen Zweck

• RAID?

brauchst du high availability, oder reichen backups die du 1x pro Stunde oder noch öfter laufen lässt?
eine vm aus einem Backup recovern geht schnell.
proxmox neu installieren, config und vms importieren geht auch sehr schnell.
in dein Notebook passen ohnehin nicht genug SSDs.

• Hardware? Die aktuelle Leistung reicht noch für alles was ich bis jetzt mache. Hätte noch einen Latitude 7510 rumliegen (i7-6820HQ, 32GB RAM, Nvidia M2000M, 1x M2, 1x 2,5" SATA)

die Dienste die du laufen hast brauchen ein paar hundert MHz eines einzelnen CPU Kerns. vorher geht der RAM ans limit.
das braucht eigentlich auch kein proxmox sondern einfach Debian und ein paar Container

• Besser ein separates NAS für mich oder kann das ohne große Bedenken in das gleiche System integriert werden?

würde ich für die Video Daten vielleicht machen. NFS Mount und ab geht's

 

[GrillSgt]

Proxmox selbst brauch keine NVMe. Das bootet und das wars. Den schnellen Speicher für die VMs aufsparen.
ZFS würde ich nicht nehmen, zu hoher RAM Verbrauch.
Ansonsten die Swappiness anpassen, damit nicht zu früh geswappt wird.

RAID musst du wissen. Ich habe mein RAID 1 jetzt gegen 0 getauscht. Wenn’s Hops geht, muss ich halt restoren. Aber der Geschwindigkeitsvorteil und kein Verlust an Speicherplatz war es mir wert.

 

[soiz]

Danke für eure Ideen!
Ich denke mittlerweile, dass ein RAID für Ausfallsicherheit in meinem Fall Overkill wäre und nur die Kosten unnötig hochtreiben würde. Wenn die Daten-HDD/SSD defekt sein sollte, dann ist es für mich kein Beinbruch, wenn ich ein paar Tage auf Ersatz warten muss und dann aus meiner Sicherung restore.

Bezüglich des Hardware-Unterbaus schwanke ich noch zwischen 3 Möglichkeiten:

1. Eine 4TB M2/NVMe SSD in den Latitude 5270 - günstigste Variante, ohne Trennung von Daten/VMs+Container
2. Eine 1TB M2/NVMe SSD und eine 4TB SATA-HDD/SSD in den Latitude 7510 - teurere Variante aber Trennung zwischen Daten/VMs+Container
3. Neukauf z.B. ASRock N100M + 1TB M2/NVMe SSD + 4 TB SSD/HDD + Rest - teuerste Variante, aber Möglichkeit später noch weitere HDDs dazu zu stecken falls Bedarf ist (2xSATA onboard + PCIe Erweiterungskarte möglich)

Bis ich die Stromkosten für den etwas sparsameren N100 wieder drin habe im Vergleich zu Variante 2 vergehen mindestens 10 Jahre und dann sind wahrscheinlich beide Systeme überholt. Aber basteln macht halt auch Spaß.
Zusätzlich bietet die Variante die geringsten Kosten pro GB, wenn ich eine 3,5" HDD einplane.

Hättet ihr eine Empfehlung für brauchbare 2,5" SATA-HDDs/SSDs die für den Dauerbetrieb ausgelegt sind?
Beim Neukauf könnte ich auch eine im Vergleich günstige 3,5"-HDD einplanen, aber auf Kosten der Lautstärke.

Vielleicht habt ihr ja noch Tipps und könnt mich in die richtige (sinnvolle) Richtung schubsen.

Danke und Gruß

 

[GrillSgt]

Ist halt alles Geschmackssache und auch alles begründbar. Ob man für privat, wirklich so viele SSDs will in einem System, hmm... ich bin mittlerweile der Meinung: Weniger ist mehr weil privat mitunter ja auch der Stromverbrauch eine Rolle spielt.. Und vermutlich kommt dann eher ne größere SSD und die alte dann raus, möchte man erweitern. Muss aber jeder selbst wissen.

Grundsätzlich reicht eine ganz kleine SSD für Proxmox. 128 GB wären locker genug. Selbst 64 GB würden den Zweck anstandslos erfüllen.
Ich weise aber auch hier - wie im anderen Fred noch mal eindringlich darauf hin - eine Enterprise bzw. Datacenter SSD zu verwenden. Das hat schlicht damit zu tun, dass Proxmox, ob es sich langweilt oder nicht, Tag ein Tag aus gigabyteweise Daten schaufelt. Das vertragen Consumer SSDs nicht. Es gibt etliche Beiträge im Proxmox Forum, dass nicht wenige nach nur einem Jahr kaputt sind. Wenn einem das bewusst ist, dann tun's auch Consumer Modelle. Ansonsten lieber kleiner, aber Enterprise nur für die Installation des Proxmox.
Alles andere dann auf die große, schnelle Platte.

Ich würde, Stand heute, insofern zu Variante zwei tendieren. Wenn du es dir leisten kannst / willst auch NVMe's bzw. SSDs für deine Daten einzusetzen, würde ich das so machen.

Modelle die gut funktionieren und für den Dauerbetrieb ausgelegt sind, sind üblicherweise die NAS Modelle, WD RED, Seagate IronWolf etc. . Aber Vorsicht, am Besten keine Bulkware / OEM-Ware kaufen - auch wenn sie günstiger ist. Kann bei der Garantieabwicklung nervig sein da Western Digital oder Seagate das dann nicht direkt abwickeln sondern du das immer über den Händler laufen lassen musst.

 

[soiz]

Danke für den Hinweis, dass Proxmox gerne viel schreibt.
Ich habe noch massig alte 250GB SATA-SSDs, für die ich keine Verwendung mehr habe und anstatt sie verstauben zu lassen, darf Proxmox die gerne totschreiben.
Den Fall, eine kaputte SSD zu tauschen, spiele ich dann nach Neuinstallation des Latitude 7510 einmal durch. Mit Sicherung von /etc sollte sich die Neuinstallation im Fall der Fälle relativ leicht durchführen lassen, oder?

Meine Tendenz geht auch zu Variante zwei, ich verwende lieber Hardware, die ich eh schon besitze.

Abschließend mache ich mir nochmal Gedanken, welche NVMe und deren Größe ich einsetzen will (WD Red SN700, WD Black SN850X, Samsung 990pro, Lexar NM790...)

 

[h00bi]

Welches Filesystem wäre sinnvoll für mich?

LVM Thin reicht für zuhause

]RAID?

RAID ist für Hochverfügbarheit. Brauchst du Hochverfügbarkeit? Zuhause meist unnötig.

Hardware? Die aktuelle Leistung reicht noch für alles was ich bis jetzt mache. Hätte noch einen Latitude 7510 rumliegen (i7-6820HQ, 32GB RAM, Nvidia M2000M, 1x M2, 1x 2,5" SATA)

schau dir einfach mal dein idle Stromverbraucht der beiden Kisten an, rechne aufs Jahr hoch und vergleiche dann nochmal. Ich habe bei meinem Thinkpad sogar das WLAN und BT Modul komplett ausgebaut, weil es sich nicht vollständig deaktivieren lies.

Besser ein separates NAS für mich oder kann das ohne große Bedenken in das gleiche System integriert werden?

offensichtlich kommt du mit proxmox klar und deine Anforderungen gehen meiner Meinung nach darüber hinaus, was ein NAS bieten kann.

 

[GrillSgt]

@soiz: die Sicherung von /etc sollte genügen. Aber müsste man im Detail sehen. Es gibt ein paar Scripts die eine Sicherung vom PVE Hobel selbst erlauben sollen. Musst du mal googlen. Proxmox selbst bietet von Haus keine Möglichkeit die eigenen Daten zu sichern. Argumentation ist schlicht, dass ein neuer PVE schnell wieder aufgesetzt und konfiguriert ist - jedenfalls wenn man nicht manuell an den Konfigurationen ändert.

Evtl. vorhandene ZFS Pools oder andere Speicher lassen sich jedenfalls schnell hinzufügen bzw. montieren.

 

[soiz]

So, ich hab mal das Szenario durchgespielt, den Proxmox VE auf neuer Hardware zu installieren.
Dazu vorab die VMs/LXCs auf eine externe SSD gesichert und dann nach und nach auf dem neuen System wieder restored - hat problemlos geklappt.
Die paar Einstellungen im neuen PVE habe ich manuell vorgenommen und im gleichen Zuge für mich dokumentiert, damit ich darauf in ein paar Monaten/Jahren noch zugreifen kann.

Der Latitude 7510 benötigt ca. 12-15W im idle mit 4x8GB RAM und 2 SSDs, der Latitude 5270 ca. 6-10W mit 2x8GB RAM und 1 SSD.

Somit wäre das Thema für mich erstmal abgeschlossen und ich warte noch auf ein gutes Angebot für die NVMe.

Danke!