ESXi oder Unraid zur Virtualisierung

[eehm]

Hallo Zusammen,

ich habe jetzt einige Zeit mit der kostenlosen ESXi Version experimentiert und finde sie echt recht gut.
Ich habe mir einige virtuelle Linux- und eine Windows-Maschine aufgesetzt. Auch ein virtualisiertes NAS auf Basis von TrueNAS (inkl. NFS-freigabe für die VMs) habe ich aufgesetzt.
Mein Fazit mit ESXi bin ich recht gut zurecht gekommen.

Da ich unter anderem eine neues NAS möchte, liebäugle ich auch mit Unraid.
Hat hier wer Erfahrungen mit ESXi und Unraid und kann mir ggf. sagen ob Unraid bei entsprechende Server-HW auch zur Virtualisierung taugt oder ob ESXi hier weitaus besser ist?

 

[Mickey Mouse]

ich habe keine persönlichen Erfahrungen mit Unraid.
ESXi (bzw. vSphere & Co.) kenne ich "beruflich" seit zig Jahren.
privat ist das mehr: der Weg ist das Ziel, also "spielend lernen", statt wirklich eine produktive Umgebung aufzubauen

mein ganz persönlicher Eindruck: wenn einem die Funktionen des kostenlosen ESXi ausreichen, dann kann man damit gut leben.
ich würde mich da aber ungern in das Korsett zwängen lassen und genau deshalb bin ich privat vor einiger Zeit auf Proxmox umgestiegen!
das ist "ganz grob" (vermutlich mit voller Absicht) einem ESXi/vSphere System "sehr ähnlich" und man fühlt sich sofort "Zuhause" und findet sich zurecht.
aber wenn man auf den Support verzichtet, dann ist es halt kostenlos. D.h. man kann auch ohne Kohle einwerfen zu müssen für mehr als 30 Tage einen Cluster betreiben usw.

das würde ich mir als Alternative auf jeden Fall mal ansehen!

 

[luckysh0t]

Neben dem genannten Proxmox könnte auch https://xcp-ng.org/ etwas sein.
Ich selbst nutze privat den ESXi free (mit ausgelagertem NFS-ZFS Storage auf meinem Filer) und beruflich vSphere Cluster.

Hatte mir mal Proxmox angesehen, aber da ich persönlich keine Lust hatte mich in etwas reinzufuchsen wo ich beruflich keine Synergien habe, bliebe ich bei ESXi und bin auch sehr zufrieden.
Ich vermisse nichts was Proxmox könnte.

Solltest du einen Filer virtualisieren, würde ich dir etwas ressourcen schonenderes empfehlen.
Je nach anforderung.TrueNAS kann ja weit mehr als Filer sein und bringt entsprechend in dem Falle ggf unnötigen Balast mit.

Auch wenn es nicht so fancy von der Optik ist, ist die Kombination aus https://omnios.org/ sowie https://napp-it.org/ als WebGUI mehr als Ebenbürtig.Um dieses Konstrukt gibt es ebenso eine hilfsbereite Community - inkl dem Entwickler von napp-it (in deutsch - fals relevant ).


Solltest du die Features der kostenpflichtigen vSphere Kombo und mehr wollen, ist https://www.vmug.com/membership/evalexperience/ einen Blick wert.Da bekommt man für nicht produktiv/komerzielle Umgebungen
für relativ wenig Geld (200$, pro Jahr] diverse VMWare Produkte (sofern der Server und man selbst die Anforderungen packt xD).

 

[snaxilian]

Unraid bei entsprechende Server-HW auch zur Virtualisierung taugt

Unraid ist kein Hypervisor, Unraid nutzt als Hypervisor KVM, genau so wie es Proxmox verwendet und Google mit seiner GCP und Amazon mit AWS (naja Google/Amazon haben für sich stark angepasste KVM Varianten aber die grundlegende Basis ist eben KVM).
Man könnte anhand dessen also annehmen, dass KVM zur Virtualisierung taugt.

Außer du hast irgendwelche Randnischenanforderungen die du bisher verschwiegen hast, die nur VMware vSphere oder andere Hypervisoren erfüllen können.

virtualisiertes NAS auf Basis von TrueNAS

Perlen vor die Säue sofern du nicht auch Disk/HBA Passthrough verwendet hast aber davon lese ich nix aber das muss ja nix heißen.

Die kostenlose Variante des ESXi hat den großen Nachteil der fehlenden Backup API (neben anderen fehlenden Funktionen).

Wenn du vor allem ein NAS suchst und ein bisschen virtualisieren willst, bist vermutlich mit Unraid besser dran.

 

[eehm]

Perlen vor die Säue sofern du nicht auch Disk/HBA Passthrough verwendet hast aber davon lese ich nix aber das muss ja nix heißen.

In meinem ESXi Testsystem habe ich für das TrueNAS Passthrough für die Festplatten verwendet. Sonst macht es wie du dankenswerterweise erwähnt hast, keinen wirklichen Sinn. - Hätte ich gleich dazu schreiben sollen. Mein Fehler. Geht Passthrough (inkl. HBA) dann auch bei Unraid, dass man sich für besonders wichtige Daten noch ein virtualisiertes TrueNAS mit ZFS-Pool aufbauen könnte?

Die kostenlose Variante des ESXi hat den großen Nachteil der fehlenden Backup API (neben anderen fehlenden Funktionen).

Das stimmt leider. Hier habe ich aber mit der NFS-Freigabe ein wenig gespielt. Somit konnte ich mit den ZFS-Snapshots auch die virtuellen Maschinen backupen, aber natürlich kann man somit nicht so einfach Clones anlegen.

Was mich am meisten an ESXi in der kostenlosen Version stört, ist, dass es schon recht beschnitten ist.
Dazu besteht immer noch die Gefahr, dass die Beschneidungen in der nächsten Version noch größer werden.
Ich denke ich muss selbst nochmals einige Zeit investieren und selbige Tests mit Proxmox machen ....!
Unraid ist hat schwer zu testen, wenn man nicht direkt zahlen will!

 

[alturismo]

dass man sich für besonders wichtige Daten noch ein virtualisiertes TrueNAS mit ZFS-Pool aufbauen könnte?

unraid an sich ist bereits ein NAS system, nur mal vorweg bevor das untergeht, das ist eigentlich die Basis des Ganzen ...

geht HDD passthrough, ja, jedoch nicht für diesen Zweck gedacht, wird in der Regel genutzt um nvme Platten füe VM's per passthrough bereit zu stellen.

ZFS für das array ist (noch) nicht integriert, es gibt ein addon um ZFS für non array disks zu realisieren.

dass man sich für besonders wichtige Daten noch ein virtualisiertes TrueNAS mit ZFS-Pool aufbauen könnte?

hierzu würde ich mir eher Gedanken machen wie du Backup's einrichten und verwalten möchtest deiner NAS Daten, unraid bietet von Haus aus den Schutz einer Parität, ein Backup ersetzt das jedoch nicht für die "ganz wichtigen Daten"

 

[Mickey Mouse]

Ich vermisse nichts was Proxmox könnte.

ich bin da voll bei dir und habe mal diese eine Zeile heraus gepickt.
WENN man vSphere/vCenter "hat" (sich das leistet), dann bietet Proxmox eben in etwa genau dasselbe, halt nur für lau!
reichen einem die Funktionen des "Basis Hypervisors" ESXi ohne die Sonderfunktionen von vSphere/vCenter aus, dann bietet Proxmox kaum Vorteile und hat eher den "Underdog Status".

eine andere Sache ist noch die "offzielle" HW Support Liste!
ESXi ist da doch extrem eingeschränkt. Ok, auch hier kann man sagen: man hat eh keinen Support, interessiert mich nicht und wird schon laufen.
aber ich hatte auch schon Rechner (einfache Consumer HW), auf der ESXi dann doch nicht 100% lief.
und genau das ist auch der Grund, weshalb ich bei Proxmox und (edit: nicht) XCP-ng gelandet bin, weil das auch NICHT vernünftig auf meiner HW lief (aber ganz andere Probleme als ESXi)!

 

[eehm]

ein Backup ersetzt das jedoch nicht für die "ganz wichtigen Daten"

Ich hab von allem hier im Hause ein Backup und von den ganz wichtigen Sachen noch eine externe Sicherung.
Der Vorteil an einem ZFS-Pool für die ganz wichtigen Daten wäre, dass ich mir das Scrubbing sparen könnte, weil bei ZFS in Kombination mit Server-HW und ECC Bitrot kein Thema sein dürfte.

und genau das ist auch der Grund, weshalb ich bei Proxmox und XCP-ng gelandet bin, weil das auch NICHT vernünftig auf meiner HW lief!

Ich hatte zwar vor Server-HW zu kaufen, aber das hatte ich auch schon gelesen, dass ESXi leider zum Teil hier sehr pingelig ist was die HW betrifft.

 

[snaxilian]

Der Vorteil an einem ZFS-Pool für die ganz wichtigen Daten wäre, dass ich mir das Scrubbing sparen könnte, weil bei ZFS in Kombination mit Server-HW und ECC Bitrot kein Thema sein dürfte.

Tut mir Leid aber dieser Gedankengang ist totaler Quark. Du willst trotzdem regelmäßige Scrubs der ZFS Pools machen wollen um UREs der HDDs erkennen und beheben zu können und zwar während alle Daten und Paritäten vorhanden sind.

Ja der ESXi ist pingelig bei der Wahl der Hardware und afaik kann man ab 7.x keine eigenen Treiber mehr einbinden. Hinzu kommt die fehlende Backup-API in der kostenfreien Variante. Einzige Alternative die ich da kenne ist das gute alte GhettoVCB aber keine Ahnung ob das noch mit aktuellen (kostenlosen) ESXi funktioniert und noch weiter entwickelt und gepflegt wird oder nicht.

 

[Mickey Mouse]

ja, das ist halt immer so ein Spagat...
ich hatte in erster Linie mit drei Dingen Probleme:

• HDD / RAID Controller
• Netzwerkkarten
• WoL. Ja, klingt blöd, aber ich will von meinem "Spielzeug Cluster" nicht immer alle Nodes laufen haben, ein kleines bisschen grün sollte man sich vielleicht doch verhalten

 

[luckysh0t]

Einzige Alternative die ich da kenne ist das gute alte GhettoVCB

Es gibt hier noch XSIBackup.
https://33hops.com/xsibackup-vmware-esxi-backup.html

In meinem speziellen Fall aber egal, da meine VMs auf einem ZFS Pool liegen und die per zfs send weg gesichert werden xD

Aber ansich ein nettes Tool.

Ergänzung (4. Oktober 2021)

WoL. Ja, klingt blöd, aber ich will von meinem "Spielzeug Cluster" nicht immer alle Nodes laufen haben, ein kleines bisschen grün sollte man sich vielleicht doch verhalten

Ja gut, dass ist bei ESXi eher nicht vorgesehen xD Ich würde da wohl einfach eine zigbee Steckdose nutzen (inkl. App) und passender BIOS/EFI Option, da ich dass eh dank meiner Lampen etc habe ^^.

Allerdings ist mein ESXI "Server" ein HP EliteDesk 800 G2 DM 35W.Da ist energiesparen, nur durch "aus" zu realisieren xD

 

[maxblank]

Unraid ist hat schwer zu testen, wenn man nicht direkt zahlen will!

Kannst du doch bis zu 60 Tage kostenfrei testen.
Erste Testphase 30 Tage und Verlängerung von zweimal 15 Tagen.

 

[snaxilian]

meine VMs auf einem ZFS Pool

Rein aus Interesse: Ist das crash-consistent wenn du eine VMDK bzw. den ganzen Datastore am Stück weg schreibst anstatt Snapshots der VM wo durch die Guesttools das Dateisystem ggf. "gewarnt/informiert" wird?

"Spielzeug Cluster" nicht immer alle Nodes laufen haben, ein kleines bisschen grün sollte man sich vielleicht doch verhalten

Nodes per API herunter fahren lassen, dann steuerbare Steckdose OFF. Bei Start die Steckdose auf ON und im BIOS/UEFI entsprechend einstellen POWER ON bei Strom also sofern es geht wäre jetzt mein Ansatz. Alternativ für den eigenen Spielzeug-Cluster HW mit IPMI verwenden, die haben doch auch idR alle ne API und im besten Fall sogar herstellerübergreifend die Redfish API. So mache ich es hier. Was nicht mehr benötigt wird bekommt so einen API Aufruf der an das OS per ACPI meldet es möge einen Shutdown durchführen und Start geht ähnlich vonstatten. Erfordert natürlich, dass die beteiligten Systeme IPMI o.ä. haben.

 

[luckysh0t]

Rein aus Interesse: Ist das crash-consistent wenn du eine VMDK bzw. den ganzen Datastore am Stück weg schreibst anstatt Snapshots der VM wo durch die Guesttools das Dateisystem ggf. "gewarnt/informiert" wird?

Um hier eventuelle Schäden zu vermeiden bzw leicht beheben zu können, wird vor den ZFS Snaps ein VM Snap inkl. Ram inhalt der einzelnen VMs auf dem ESXi durchgeführt. Ist ein Feature von napp-it, was ich als Webverwaltung für meinen Filer einsetze.

Der Weg ist so:

Filer per (Key) ssh auf ESXi
Löscht von den ausgewählten VMs alle (ggf. inkl. eigener angelegter!) Snapshots
Erstellt von den ausgewählten VMs Snapshots
Erstellt ein Snapshot vom entsprechenden ZFS Dataset.

Und das Wiederholt sich in meinem Falle alle 6 Stunden - reicht für mich aus.
Somit hast du immer einen VM Snapshot der vorhanden ist und funktioniert - wenn Murphy nicht hinschaut.

Dadurch befindet sich ein konsistenter und funktionierender Zustand als Snapshot innerhalb der VM und somit im ZFS Snap - sollte diese durch den ZFS Snap beschädigt werden.


Das VM Dataset wird von mir manuell und nach größeren änderungen an den VMs etc auf ein anderen Pool mit zfs send repliziert.Da Platz bedingt mein VM Pool nur ein singel vdev SSD ist, und mein HDD Pool ein mirror.

Stellt zwar für die meisten kein Backup dar, ist aber für mich privat ausreichend .
Aber ich wollte eh schauen, wie ich mein Strato HiDrive noch weiter ausreizen kann xD. Evtl. pack ich auch ein verschlüsseltes Backup da hoch.Ist mit Duplicati ja recht angenhem eingerichtet - läuft bei mir eh schon.

 

[BrollyLSSJ]

Tschuldigung, dass ich diesen "alten" Thread ausgrabe, aber ich bin gerade per Zufall hier gelandet (suchte nach Vergleich mit Proxmox, Unraid, XCP-NG und anderen Virtualizierungsplatformen. Ich hatte neulichs mal nach Unraid hier im Forum gesucht, muss aber eure Aussagen überlesen haben.

Einzige Alternative die ich da kenne ist das gute alte GhettoVCB aber keine Ahnung ob das noch mit aktuellen (kostenlosen) ESXi funktioniert und noch weiter entwickelt und gepflegt wird oder nicht.

Es gibt hier noch XSIBackup.

Ich habe eure beiden Lösungen mal vor Jahren probiert und die waren irgendwie für mich nur unbrauchbar. Ließen sich nicht gut installieren und haben das System unbrauchbar gemacht. War zum Glück aber nur eine Testumgebung, die ich dann einfach neu installiert hatte (irgendwie was von ESXi 6.0, 6.5 und 6.7). Und ich suchte was, was man ohne Lizenz ohne API nutzen kann, da wir einen ESXi 6.0 Standalone Server (eventuell ist der inzwischen bei 6.5 gelandet oder hat sogar eine Lizenz, wird aber vermutlich eh nächstes Jahr abgelöst, weil die Hardware nichts neueres unterstützt). Ich hatte daher damals mehrere Alternativen gesucht, wovon ich im folgenden 2 nenne. Beide brauchen ein Windows System, da beide eine Setup.exe haben.

Bis ESXi 6.0 gab es Thinware vBackup Version 4. Die hatte ich aber nicht geteste, weil man da noch ein extra Paket installieren musste und ich das irgendwie nicht geschafft hatte und man für das Anfordern der Lizenz eine installierte Version brauchte. also quasi eine entsprechende Hardware ID. Aktuell gibt es Version 5 und für die sollte es auch die kostenlose Standard Version geben, aber da bekommt man aktuell nur einen Trial Key, wenn ich mich nicht irre. Müsstet Ihr sonst mal testen, ob das anders ist. Vom Forum her sieht es mir aber irgendwie immer noch tot aus.

Gute Erfahrungen und auch ohne API funzend habe ich mit dem MicroFocus VM Explorer (ehemals HPE VM Explorer, ehemals Trilead VM Explorer) gemacht. Das hat bei oben genannten Standalone Host wunderbar funktioniert. Ging auf jeden Fall bis ESXi 6.5 (mit neueren ESX nie probiert). Beim MicroFocus Link kann man eine Testversion anfordern. Der hat einen aber meiner Erinnerung nach zur Trilead Seite weiter geleitet, weswegen ich die direkt verlinkt habe. Backups und Restores waren zwar durchaus etwas lahm, aber erfolgreich.

Eventuell ist ja der VM Explorer auch eine Alternative für den einen oder anderen hier. Es unterstützt bis ESXi 7.0 und Hyper-V 2019, falls das jemand nutzt.