Homeserver mit Proxmox VE ausstatten: Eure Meinung

[XXXBold]

Hallo zusammen

Ich plane demnächst (über die Weihnachtszeit) meinen Homeserver mit Proxmox VE neu aufzusetzen. Habe mir ein paar Gedanken dazu gemacht und wäre über euer Feedback froh.

Stand jetzt

Die aktuelle Hardware des Homeservers: https://geizhals.de/wishlists/2911276
Zusätzlich sind 2 externe 18TB USB-HDDs fürs Backup vorhanden (werden unregelmässig rotiert).

Aufbau
Auf der 1TB-SSD (btrfs) befindet sich das OS (Debian 11) sowie die installierten Dienste (Aktuell ca 25GB verwendet).
Auf den 2x18TB HDDs (btrfs Raid1, gemountet unter /media/storage18tb) befinden sich primär Mediadateien, und auch die Dateien für den Samba-Share (Aktuell ca. 4-5 TB verwendet).

Dienste
Aktuell läuft folgendes darauf:

• Samba-Server
• Teamspeak Server
• Minecraft Server (nur sporadisch)
• syncthing (aktuell eigentlich nicht verwendet, inaktiv)
• Nextcloud (inaktiv momentan)
• JDownloader

Backups
Werden via borgbackup/borgmatic erstellt:

• einerseits lokal auf die internen HDDs täglich via systemd timer (Daten der Anwendungen, configdateien)
• sporadisch auf die externen HDDs (oberes + Mediadaten)

Ziel

Proxmox VE soll als Hypervisor installiert werden, Dienste in tw. einzelne VMs/CTs ausgelagert werden. Wie würdet ihr das mit o.g. realisieren/aufteilen und weshalb?

Aufbau (Vorschläge, Anregungen, Kritik?)
Fürs Netzwerk wäre noch eine PCI-E-Steckkarte sinnvoll, da das aktuelle MB nur einen 1G RJ-45 Port besitzt. Konkrete Vorschläge, welche (2-Port RJ45 wären gut, 1G oder besser 2.5G) sich für diesen Zweck eignen würden? Was wäre mit dieser hier: https://www.galaxus.ch/de/s1/produc...ethernet-netzwerkkarte-35749870?tagIds=76-525

Auf der 1TB-SSD (btrfs, ext4, ...?) befindet sich das OS/Hypervisor (Proxmox VE) sowie die VMs/CTs.
Auf den 2x18TB HDDs (fs offen, denke Raid1 wäre hier wieder sinnvoll) befinden sich primär Mediadateien, und auch die Anwendungsdaten für die VMs/CTs. Anwendungsdaten in dem Falle wären die "Nutzerdaten". Z.b. Vom Samba-Server die Dateien, vom Minecraft-Server die Welten/Serverconfig, etc.
Vorteil: So können auch die Daten gemeinsam von mehreren Diensten genutzt werden und macht Backups in meinen Augen einfacher (s.u.).
Ev. würde eine zweite SSD sinn ergeben, damit das System wie folgt aufgebaut werden kann:
SSD1 (vorhanden, 1TB): OS (Proxmox VE), VMs, CTs
SSD2 (neu/geplant, ?TB): Anwendungsdaten welche schnellen Zugriff benötigen (DB, Minecraftserver, ...)
(vmtl. würde momentan auch eine 2. Partition oder einfach ein eigenes Verzeichnis auf der 1. SSD reichen?)

Dienste
Mögliche zusätzliche Dienste zu den oberen:

• Matrix Homeserver
• Ev Webserver für Hosting einer Website
• ...

Backups (Vorschläge, Anregungen, Kritik?)
Hierzu habe ich mich oberflächlich eingelesen, für mich erscheint folgender Ansatz sinnvoll:
VMs/CTs werden via Proxmox-Backup gesichert, die Anwendungsdaten dieser via borgmatic.

• Proxmox Backup nach Zeitplan täglich um Zeit x?
• borgmatic lokales backup auf die 18TB HDDs intern täglich, wie bisher?
• borgmatic externes backup auf die externen 18TB USB-HDDs (Proxmox-Backups und die Anwendungsdaten)?

Das hätte den Vorteil, dass ich mich in den einzelnen VMs/CTs nicht um die Backups kümmern muss, da alles extern läuft. Ausserdem ist das ganze einigermassen getrennt.

Danke euch und Gruss

XXXBold

 

[Rickmer]

Im Zweifelsfall würde ich auf eine VM / CT pro Service gehen. Wenn was kaputt geht ist wenigstens nur eine Sache down und kann im Zweifelsfall aus einem Snapshot oder dem Backup wiederhergestellt werden.

Wie kommst du auf Proxmox?
Hast du dir die Alternativen wie TrueNAS angeschaut?

Vmware ESXi fällt ja mittlerweile leider raus weil's soweit ich sehen kann die kostenlose Basis-Lizenz nicht mehr gibt.

VMs/CTs werden via Proxmox-Snapshot gesichert

Warum nicht die bei Proxmox integrierte Backup-Server Funktion?
Die hat zwar ein minimalistisches Feature-Level, aber für Homeserver-Backups reicht es locker und es ist besser als Snapshots oder so.

 

[XXXBold]

Danke für deine Rückmeldung.

m Zweifelsfall würde ich auf eine VM / CT pro Service gehen. Wenn was kaputt geht ist wenigstens nur eine Sache down und kann im Zweifelsfall aus einem Snapshot oder dem Backup wiederhergestellt werden.

So gesehen macht das Sinn, okay.

Wie kommst du auf Proxmox?
Hast du dir die Alternativen wie TrueNAS angeschaut?

Naja damit habe ich schon etwas Erfahrung, das läuft auf meiner HW-Firewall und ist mir ganz sympathisch. Nein, habe mir jetzt hierfür keine andere Alternative angeschaut.

Warum nicht die bei Proxmox integrierte Backup-Server Funktion?

Also das hier meine ich mit Snapshot:

 

[Der_Dicke82]

Moin moin,

ich würde auch trueNAS scale anschauen! Wenn dir Docker reicht, würde ich es proxmox vorziehen, gerade weil du ja auch wirklich ein NAS haben möchtest.

Proxmox mit einzelnen VMs und CTs geht natürlich grundsätzlich auch, aber irgendwie finde ich hier trueNAS scale sinnvoller!

 

[Rickmer]

Also das hier meine ich mit Snapshot

Okay, das meinte ich auch - aber das hat von der Funktion her mWn nichts mit einem Snapshot gemeinsam.

 

[XXXBold]

ich würde auch trueNAS scale anschauen! Wenn dir Docker reicht, würde ich es proxmox vorziehen, gerade weil du ja auch wirklich ein NAS haben möchtest.

Proxmox mit einzelnen VMs und CTs geht natürlich grundsätzlich auch, aber irgendwie finde ich hier trueNAS scale sinnvoller!

Danke für die Rückmeldung. Wie bereits erwähnt, Proxmox kenne ich schon ein wenig, was natürlich einen Einfluss auf die Entscheidung hat. Was hat trueNAS scale denn für konkrete Vorteile ggü. Proxmox in meinem Szenario?

Okay, das meinte ich auch - aber das hat von der Funktion her mWn nichts mit einem Snapshot gemeinsam.

Okay, danke, habe meinen Eingangspost angepasst.

 

[Der_Dicke82]

Was hat trueNAS scale denn für konkrete Vorteile ggü. Proxmox in meinem Szenario?

Du hast alles in einem, mit einer schönen Oberfläche.
TrueNAS ist wie der Name schon sagt ein super NAS und über Apps (Docker) hast du eine schöne Möglichkeit alle deine gewünschten service zu installieren.

Unter proxmox hättest du halt eine VM für NAS Software, eine für Docker bzw. Viele cts für deine services.

Der Vorteil von proxmox ist die schöne Trennung, der Nachteil in deinem Fall halt etwas mehr overhead für proxmox selbst und eventuell mehrfacher Dockerengines wenn du sie wirklich trennen willst.

 

[XXXBold]

@Der_Dicke82
Habe mir TrueNAS mal genauer angesehen, scheint tatsächlich auch interessant zu sein, allerdings kanns wohl problematisch werden wenn man ausserhalb der "Apps" selber was installieren soll.

Denke ich werde bei Proxmox bleiben, hab noch was tolles gefunden: https://community-scripts.github.io/ProxmoxVE/

Da lassen sich einige Anwendungen sehr einfach direkt als VM/Container erstellen, mit nur einem Befehl (lädt ein Script ausm repo und führt dieses aus).

Was würdet ihr als Dateisystem verwenden (Für Primäre SSD und die 2 Raid1-HDDs) und weshalb (zfs klingt interessant, braucht aber scheinbar eine Menge RAM (4GB+1GB je TB), fällt das nur an wenn die Kapazität auch genutzt wird oder ist die Datenträgergrösse ausschlaggebend?

 

[h00bi]

Dienste in tw. einzelne VMs/CTs ausgelagert werden

Nicht teilweise, sondern konsequent.

Aktuell läuft folgendes darauf:

• Samba-Server
• Teamspeak Server
• Minecraft Server (nur sporadisch)
• syncthing (aktuell eigentlich nicht verwendet, inaktiv)
• Nextcloud (inaktiv momentan)
• JDownloader

Und wie genau realisierst du das jetzt aktuell?

Proxmox Backup nach Zeitplan täglich um Zeit x?

Bei den meisten Diensten reicht wöchentlich. Also mal als Beispiel der TS Server.... ob ich den von heute oder von vor 6 Wochen recovere, ist doch völlig latte. Wenn ein Update ansteht führt man das Backup ja sowieso vorher noch 1x aus. Aber klar, du kannst auch täglich. Denk nur dran auch genug retention zu haben.

Denke ich werde bei Proxmox bleiben, hab noch was tolles gefunden: https://community-scripts.github.io/ProxmoxVE/

Das Problem daran ist, dass du dabei nichts lernst und nicht weißt wie das Ding aufgebaut ist, wenn du mal tiefer ran musst.
Zudem sind viele LXC Container eine Linux Installation mit Docker und dem jeweiligen Docker Image.
Das frisst Performance und fügt Komplexität hinzu. Ist aber bei deiner Server Performance zu vernachlässigen.

Was würdet ihr als Dateisystem verwenden (Für Primäre SSD und die 2 Raid1-HDDs) und weshalb (zfs klingt interessant, braucht aber scheinbar eine Menge RAM (4GB+1GB je TB), fällt das nur an wenn die Kapazität auch genutzt wird oder ist die Datenträgergrösse ausschlaggebend?

Die Installation ganz normal als ext4 und die SATA-HDDs übers Board ins RAID1 bringen. Dann als lvm(-thin).
Sehe hier keinen Bedarf an ZFS. Für Einsteiger ist ZFS auch nicht zu empfehlen, da es keine GUI dafür in Proxmox gibt, da musst du dir immer die Terminal Befehle zusammen suchen.

 

[XXXBold]

Nicht teilweise, sondern konsequent.

Und wie genau realisierst du das jetzt aktuell?

Aktuell ist alles nativ installiert.

Bei den meisten Diensten reicht wöchentlich.

Das werde ich je nach dem anpassen, hast natürlich recht dass täglich unnötig oft für gewisse Dinge ist.

Das Problem daran ist, dass du dabei nichts lernst und nicht weißt wie das Ding aufgebaut ist, wenn du mal tiefer ran musst.

Das ist richtig, ist halt jedem Frontend so. Zumindest mit VMs habe ich schon etwas Erfahrung, mit CTs/LXC eher nicht. Werde mir da auch sicher mal etwas kleineres manuell installieren, damit ich ne ungefähre Ahnung davon kriege (z.B. Samba Server als LXC).

Zudem sind viele LXC Container eine Linux Installation mit Docker und dem jeweiligen Docker Image.
Das frisst Performance und fügt Komplexität hinzu. Ist aber bei deiner Server Performance zu vernachlässigen.

Hm das wäre schon suboptimal, ich gehe mal davon aus, dass das gros der Skripte eine einigermassen gut angepasste/sinnvolle Installationsroutine anbieten.
Das schöne ist ja, man kann sich die ganzen Skripte anschauen und damit nachvollziehen was passiert. (Nein, das mache ich natürlich nicht für alles im Detail, aber bei Problemen hilft sowas ungemein).

Und wenns im Endeffekt etwas mehr Performance braucht, als wenn ich alles selber händisch installiere und anpasse ists auch (in Grenzen) vertretbar.

Die Installation ganz normal als ext4 und die SATA-HDDs übers Board ins RAID1 bringen. Dann als lvm(-thin).
Sehe hier keinen Bedarf an ZFS. Für Einsteiger ist ZFS auch nicht zu empfehlen, da es keine GUI dafür in Proxmox gibt, da musst du dir immer die Terminal Befehle zusammen suchen.

Hmm ja ext4 ist natürlich das einfachste, wie wäre mit btrfs als "mittelweg" (Ist ja aktuell schon im Einsatz)? Finde das vorallem interessant wegen Schutz gegen Bitrot/Reparatur durch Raid1 und auch Snapshots könnten für die VMs/CTs nützlich sein (wobei ich nicht weiss, ob das von Proxmox so unterstützt wird, also btrfs-snapshots).
Es ist ja auch nicht so, dass ich die Konsole generell vermeiden will, klar, GUIs sind nett für "simplere", alltägliche Dinge, aber ich habe grundsätzlich keine Probleme mit einer Konsole. z.b. Für btrfs aufm Host einen scrubbing-job via systemd-timer einzurichten o.ä. ist kein grosses Problem, falls proxmox sowas nicht direkt einrichtet. Oder auch eine borgmatic-config zu erstellen fürs Backup auf die externen, etc.
Aufm aktuellen System ist alles "von Hand" installiert/konfiguriert, suboptimal, ich weiss, lief aber 2 Jahre ganz gut. Denke ein sinnvoller mix aus beiden Welten wäre das Optimum für mich.

 

[h00bi]

Wenn du ein copy on write Dateisystem wie BTRFS oder ZFS nutzt, dann solltest du in den VMs keine copy on write Dateisysteme verwenden.
Oder du reichst die Platten an deine Fileserver VM durch und erstellst dir dort dein BTRFS
https://www.reddit.com/r/Proxmox/comments/1berp4g/how_does_the_choice_of_filesystem_for_a_vm_guest/

 

[XXXBold]

Wenn du ein copy on write Dateisystem wie BTRFS oder ZFS nutzt, dann solltest du in den VMs keine copy on write Dateisysteme verwenden.

Ja, das ist mir bewusst, ich würde btrfs nur für den Host (SSD: Single, HDDs: btrfs-raid1) und für die Guests ein normales ext4 verwenden.

Oder du reichst die Platten an deine Fileserver VM durch und erstellst dir dort dein BTRFS
https://www.reddit.com/r/Proxmox/comments/1berp4g/how_does_the_choice_of_filesystem_for_a_vm_guest/

Hmm das dürfte aber nicht gehen, wenn ich den storage in mehreren VMs/CTs parallel brauchen will? Bei den LXCs ists ja auch möglich, direkt ein Verzeichnis vom Host via mount einzubinden, habe ich gesehen. Bei VMs müsste ich wohl über nfs gehen.