Proxmox HA Cluster

[jb_alvarado]

Hallo Allerseits,
ich wollte mal fragen, ob es hier Leute gibt die Erfahrungen mit HA Clustern unter Proxmox haben?

Konkret würden mich folgende Fragen interessieren:

1. Wie stabil läuft bei euch so ein Setup über die letzten Jahre?
2. Wie gut schätzt ihr den Support ein, den man von der Community bekommt? Gerade wenn es um speziellere Probleme geht.
3. Wie zuverlässig sind die Tools, um Storage Probleme zu lösen, auch split Brain etc.
4. Hattet ihr schon Komplettausfälle und konntet ihr den Cluster wieder retten, ohne neu aufsetzen zu müssen?
5. Welche Storageart ist die beste für HA? Ceph? Falls Proxmox für mich in Frage kommt, würde ich am liebsten auf den drei Nodes den Storage einrichten, die auch für die Virtualisierung genutzt werden.
6. Gibt es fertige Backuplösungen für die VMs? Wie funktionieren die im Prinzip? Und funktionieren die auch im laufenden Betrieb, oder muss die VM dafür aus sein?
7. Wie gut lassen sich verschiedene Netzwerke konfigurieren, mit Bonding etc.?
8. Wie zuverlässig sind Updates? Auch wenn es drum geht z.B. von Debian 10 auf 11 upzugraden?

Würde mich über Gedanken dazu freuen, vor allem wenn sie auf persönlicher Erfahrung beruhen!

Grüße
Jonathan

 

[Salamimander]

Zu 6: Es gibt den Proxmox Backup Server

Zum Rest: Ich habe einen Cluster, aber kein wirkliches HA, nur 2 CLuster jeweils mit Local-Storage... (Reicht mir privat dicke)

 

[cs_reaper]

Ich kann berichten, das es gut zu händeln ist und sehr intuitiv. Ich hab eine Testumgebung mit 2 Nodes und nen Storage.
Es läuft soweit ganz stabil und braucht eben keine Domäne usw. und hat nen Webinterface. Ich glaube auch das du die vms direkt sichern kannst. Komplettausfall, in der regel musste nur das storage verfügbar machen, denn fährt die vm wiedee hoch. Also nicht wie bei win server, das der dc zusätzlich erreichbar sein muss.

 

[Rickmer]

6. Gibt es fertige Backuplösungen für die VMs? Wie funktionieren die im Prinzip? Und funktionieren die auch im laufenden Betrieb, oder muss die VM dafür aus sein?

Der Proxmox Backup Server ist integriert.

Allerdings kann er keine konsistenten Backups von Datenbanken machen, da muss man also für Datenbank Backup und Log Truncate Extrawürste für stricken.

Es läuft soweit ganz stabil und braucht eben keine Domäne usw.

Was für ein Hypervisor braucht denn ein Domäne?
Selbst Hyper-V braucht das nicht...

 

[konkretor]

1. Extrem stabil, habe aber immer etwas gewartet bevor ich die Updates reingeworfen habe.
2. Im Forum sind auch Mitarbeiter unterwegs, wenn du das Produktiv einsetzten willst, kauf bitte Support dazu
https://www.proxmox.com/de/proxmox-ve/preise so teuer ist das nicht.
3. Beim Thema Storage ist halt Ceph, da musst du die Eigenheiten von Ceph kennen und verstehen. Dann ist das kein Problem.
4. Bis jetzt noch nicht
5. Du brauchst mindestens 3 Nodes für Ceph, anderer Storage wäre mir nicht bekannt den Proxmox unterstützt für einen HA Cluster. ZFS hast du nur lokal pro Node.
6. Siehe Antwort 2 der Backup Server von Proxmox ist gut integriert und Backup/Restore funktionieren wie gedacht.
7. Netzwerk schaust du hier https://pve.proxmox.com/wiki/Network_Configuration
https://pve.proxmox.com/pve-docs/chapter-pvesdn.html
deckt alles ab was du brauchst.
8. Siehe 1 und 2 wenn das Produktiv ist, nutze das Enterprise Repository da dort die Updates wirklich getestet wurden. Bei Problemen ein Ticket aufmachen kannst.

Solltest du so etwas ähnliches wie ein Vsan bauen wollen mit HDD + SSD das kannste knicken. Das kann zwar Ceph auf dem Papier. Die Praxis zeigt aber SSD oder HDD Storage zu trennen jeweils einzelne Pools erstellen. Dann die VM leider auf die entsprechenden Pools von Hand zu verteilen.

Ich leg dir nahe dich mal durchs Wiki zu lesen

https://pve.proxmox.com/wiki/Main_Page

 

[Tamron]

@cs_reaper
Du sprichst glaube ich von einem Hyper-V FailoverCluster ohne weiteren physikalischen DC. Klingt sehr wirr jedenfalls. Du brauchst auch in diesem Szenario kein DC.

2. Im Forum sind auch Mitarbeiter unterwegs, wenn du das Produktiv einsetzten willst, kauf bitte Support dazu
https://www.proxmox.com/de/proxmox-ve/preise so teuer ist das nicht.

Dann kannst du gleich VMware kaufen

Produktiv ohne jegliches Wissen würde ich sowas nicht einsetzen. Egal welche Lösung.

 

[konkretor]

@Tamro das stimmt doch gar nicht die Preise sind doch völlig harmlos im Vergleich zu VMware.

 

[0x8100]

in der hiesigen abteilung nutzen wir seit jahren einen proxmox-cluster mit inzwischen 23 nodes, allerdings ohne ha für die vms (nicht notwendig für test- und entwicklungs-vms). dazu kommt ein separates, ceph-basiertes storage. wir nutzen nur die community-lizenz - bei 46 sockeln wird das sonst teuer allerdings läuft das ganze auch insofern problemlos, als das wir noch kein problem hatten, das nicht im forum bereits zu finden war und zusätzlicher support nicht gebraucht wurde.

netzwerktechnisch steht dir alles offen, was debian so bietet. unsere nodes sind mittels bonding mit zwei interfaces an je einem switch angeschlossen, damit wir a) 2x25Gb/s und b) redundanz haben. dieses bonded-interface kann man entweder direkt an die vms geben (wobei entweder proxmox noch ein tag drauf setzen kann (und das gast-system dann ein untagged interface nutzt) oder das gast-system selber das vlan-handling macht) oder man erstellt bridges, die ein vlan-interface auf dem bond haben und konfiguriert dann das bridge-interface für die vm. das ganze ist unter https://pve.proxmox.com/wiki/Network_Configuration#_vlan_802_1q beschrieben.

updates waren bis jetzt immer problemlos, major-updates sind entsprechend beschrieben. backups gehen mit dem backup-server. nutzen wir auf einer separaten proxmox-installation, wo ein paar vms laufen, die gesichert werden sollen - hier allerdings alles in der kostenlosen variante. die läuft auch privat hier schon seit langem ohne probleme. solltest du support haben wollen, dann muss dein gesamter cluster lizensiert sein - einen node lizensieren und die anderen mit der kostenlosen variante laufen lassen funktioniert in hinblick auf support nicht.

 

[Rickmer]

Aus Interesse - hat Proxmox Backup Server eine Integration für direkten Abzug der Daten vom Storage, oder muss man den Umweg über den Hypervisor gehen?

Ich konnte nichts diesbezüglich finden, aber das heißt möglichweise auch nur, dass ich nicht gründlich genug gesucht habe.

 

[0x8100]

der backup-server holt die daten vom hypervisor. das hat den vorteil, dass der backupserver nichts vom storage wissen muss - es kann ihm egal sein, ob die vms lokal im lvm oder zfs oder remote auf nfs oder ceph gespeichert sind und ob er dieses storage überhaupt erreichen kann.

 

[jb_alvarado]

Ich danke euch vielmals für die Antworten, die sind sehr hilfreich!

Das man bei einer freien Version nicht den gleichen Support bekommt, wie bei einer Lizenzierten, ist mir schon klar. In der Regel reicht mir aber Community Support - Davon profitieren ja auch die Entwickler, weil sie so Leute haben die ihre Software testen.

Ich verwende jetzt schon seit ein paar Jahren oVirt und war auch immer damit zufrieden, allerdings seit dem ich das "Hyperconverged" Setup mit GlusterFS verwende, laufen die Updates nicht mehr ganz so rund und aktuell habe auch auch ein Problem mit dem Storage was ich bis jetzt noch nicht lösen konnte. Erschwerend kommt dazu, dass die Community recht klein ist, und es schwerer ist Hilfe zu bekommen. Daher mein Gedanke mich mal um zuschauen was es sonst noch so gibt.

Sicherlich könnte ich auch einiges an Komplexität reduzieren, wenn ich einen zentralen Storage hätte, was allerdings wieder Geld und Strom kostet.

Eine andere Möglichkeit wäre auch noch, ganz auf Management-Software zu verzichten und direkt auf KVM + virt-manager zu setzen. Wenn ich jetzt HA nicht bräuchte, würde mir das vollkommen reichen.

 

[0x8100]

zu glusterfs kann ich nicht viel sagen, allerdings scheint die empfehlung für den einsatz mit vms eher in richtung ceph zu gehen, da dieses direkt block devices zur verfügung stellt (performance) und auch im fehlerfall toleranter ist. ceph ist allerdings nicht ganz trivial beim einrichten, man muss wissen, wie die data-pools angelegt werden sollten - es ist erheblich einfacher, wenn man ssd-only macht und alle ssds gleich gross sind, sonst muss man die crush rules/weights anpassen.

ebenso unterstützt proxmox über die eigene steuerung nur replikas, d.h. zu sicherung werden alle daten mehrfach komplett verteilt. effizienter sind pools mit "erasure coding". proxmox kann die nutzen, allerdings muss man das dann manuell konfigurieren. wir nutzen übrigens ceph mit (lz4) kompression. lz4 hat im grunde keine auswirkungen auf die performance, spart aber doch einiges an platz.

an einem shared-storage kommst du für ha nicht vorbei, ein einfaches kvm+virtmanager reicht da leider nicht

 

[konkretor]

Glusterfs hat gerade mit PostgreSQL und MySQL Galera Cluster massive Probleme.

Glusterfs kann ich euch nicht mehr empfehlen. Es ist schon relativ alt und in gewissen Szenarien noch brauchbar. Für allgemeine compute storage nicht mehr state of the art.

 

[jb_alvarado]

Interessant. Also würdest du Ceph als überlegen bezeichnen? Alter ist bei Filesystemen eigentlich eher ein Plus :-).

 

[snaxilian]

Alter ist bei Filesystemen eigentlich eher ein Plus

Nein das ist Quatsch denn auch vermeintlich alte Dateisysteme werden entweder noch stetig weiter entwickelt und bekommen neue Funktionen und bekommen dadurch auch genauso neue Fehler eingebaut oder müssen bzw. wollen mit ewiger Rückwärtskompatibilität leben.
Aber wenn du alte Dateisysteme so gut findest, nutzt du vermutlich ausschließlich fat32 und ext2?^^

Ceph als überlegen bezeichnen?

Als Storage für viele VMs: Ja, da ist Ceph/RBD ggü. GlusterFS zu bevorzugen.

GlusterFS würde ich nutzen wenn man weniger frequent ändernde und/oder größere Dateien hat, bei klassischen Dateifreigaben, als Archiv oder Backupstorage.