Eigenbau Hardware oder Komplettsystem für ESXI oder Proxmox

[Angelripper]

Servus zusammen,

ich suche Empfehlungen / Erfahrungen für den Einsatz einer esxi oder proxmox Virtualisierung.
Aus dem großen Enterpriseumfeld kenne ich vshere wodurch mir vmware natürlich lieber wäre :-).
Da mir aber keine 6stellen Budgets zur Verfügung stehen würde mich Interessieren ob man für den Semiprofessionellen Einsatz auch vmware nutzt, die waren ja immer sehr wählerisch bei der Hardware.

Am liebsten wäre mir natürlich eine Kiste die ich selbst zusammenstellen kann mit z.B. einer aktuellen i7 cpu, viel RAM und mehreren SSDs.

Oder doch lieber in Richtung NUC? Gibts eigentlich auch eine alternative zum NUC wenn man einen größeren Formfaktor aufgrund von Steckplätzen bevorzugt?

Danke schon mal und Gruß
AR

 

[Fujiyama]

Wär sicherlich vorteilhaft die Anforderungen genau zu kennen und auch das Budget.

 

[Mickey Mouse]

Ich wollte auf 0815 Asus Consumer Hardware einen ESXi aufsetzen, da gab es mit der Netzwerk Schnittstelle (Intel Chip!) Stress!
Seitdem läuft da Proxmox völlig problemlos drauf...

Es kommt natürlich immer darauf an, was man genau machen möchte und wie semi oder professionell das nun ist.

Ich persönlich hätte kein Problem damit, Proxmox (mit entsprechenden Support Verträgen) einzusetzen. Würde aber vermutlich bei professionellen Einsatz zumindest z.B. die HW von Krenn kaufen (nur als Beispiel, gibt natürlich noch viele andere)

 

[Roesi]

Werden bei einem Proxmox Server mehrere Lan Anschlüsse benötigt bzw. macht das Sinn?

 

[LinuXfr3ak]

ESXi ist recht wählerisch was Hardware betrift. Ist meistens schon möglich das auf nicht unterstützter HW ans laufen zu bekommen, bedarf aber oft einiges an bastelei (Community VIB's nachinstallieren). Updates & Stabilität ist halt eher so ne sache dann.

Wenns keine unterstützte HW ist lieber zu Proxmox greifen, das läuft auf mehr oder weniger jeder Hardware

 

[DJKno]

Ich hab zu Hause auch einen Server aufgesetzt und bin an VMWare gescheitert, weil die Netzwerke nicht erkannt wurde.
Der Aufwand die ISOs anzupassen wollte ich mir nicht machen und hab flux mal Proxmox installiert.
Nach ein wenig Eingewöhnung ist das recht verständlich und funktioniert sehr gut.
Wenn man VMWare kennt, kommt man da recht schnell mit klar.

 

[Masamune2]

die waren ja immer sehr wählerisch bei der Hardware.

Nein eigentlich nicht. Im wesentlichen musst du eine Netzwerkkarte haben die VLAN fähig ist, da reicht schon eine Intel Gigabit Desktop für 30 EUR und einen Hardware Raid Controller oder ganz auf Raid verzichten.

 

[eRacoon]

Ist auf Consumer Hardware mit ESXi eigentlich kein Problem wenn man paar Sachen beachtet.
Würde auf Intel setzen, da ist die Erfolgsquote deutlich höher alles zum laufen zu bekommen.

Hab bei mir einen I7 9700 + Asrock z390 Pro4 + 4x 32GB DDR4 problemlos mit ESXi 6.7 und 7.0 am laufen.
Es werden sowohl die Intel Onboard NIC (I219-V) erkannt als auch meine externe Intel 10GbE NIC.

ESXi 7.0 hab ich mit dem nackten Image direkt von VMware installiert und alles wurde sofort erkannt.
Seit 7.0 sind die meisten Treiber für aktuelle Platformen wieder mit an Board, bei 6.7 musste man sich teils noch die Pakete zusammen bauen.

ESXi ist auf einem simplen 32GB USB Stick installiert, M2 Slots und SATA Ports/Controller werden aber auch alle erkannt. Nutze die SATA Ports um meine NAS HDDs durchzuschleifen in eine VM.

Würde wie gesagt auf eine Intel Platform setzen und versuchen ein Board mit Intel NIC zu finden, kein Realtek Chip oder sonstige Exoten wie irgendwelche Gaming NICs. Im BIOS dann alles deaktivieren was nicht gebraucht wird und alles Richtung Virtualisierung aktivieren.
Gibt da paar Settings die sonst ESXi am booten hindern, findet man aber meist schnell via Google die BIOS Settings die das verursachen.

Generell hilft es vorher mal zu Googlen ob man Leute findet die mit der gewünschten Platform/CPU schon Erfolg hatten.

Stromverbrauch sind mit 2 drehenden HDDs die immer online (SpinUp) sind und etwas grundrauschen mit 10 VMs die vor allem für Hausautomatisierung genutzt werden so im Schnitt 45-50 Watt.
Wobei die 10GbE NIC alleine 6W extra zieht.

 

[Angelripper]

Danke schon mal für die Antworten. Ich habe vor einem Jahr mal eine schnelle Installation von Proxmox gemacht, die hat mich leider zurück in Richtung vmware getrieben. Disk Speed, Desktop UI Performance, Netzwerkdurchsatz waren da nicht so überzeugend. Musste man da nicht auch noch einen Treiber beim Win10 Setup auswählen damit die hdd erkannt wird?

Zur Anforderung ein paar Worte.
Im Prinzip 3-5 Windows OS (Win11 & Server 2019). Das Teil sollte Spielwiese für alle Möglichen Themen aber auch Produktivmaschine für Fileserver und z.B. Homeassistant werden.

 

[Rego]

Du kannst auch den anderen Weg gehen. Kauf Dir einen günstigen gebrauchten Server. Die sind relativ günstig und mit etwas Tuning bekommt man den Stromverbrauch auch in den Griff.

 

[IBISXI]

Ich verwende RyzenPro APUs zur Virtualisierung Zuhause.
(Sparsam und ECC Support)

Ryzen Pro 5750G (65W) oderGE (35W).

https://geizhals.at/amd-ryzen-7-pro-4750g-100-100000145mpk-a2336717.html

 

[Angelripper]

Du kannst auch den anderen Weg gehen. Kauf Dir einen günstigen gebrauchten Server. Die sind relativ günstig und mit etwas Tuning bekommt man den Stromverbrauch auch in den Griff.

Hier hätte ich halt Angst bald wieder neu investieren zu müssen weil Hardware nicht mehr supported wird. Deshalb würd ich am liebsten esxi 8.0 nutzen um lange Ruhe zu haben. Keine Ahnung wie das bei Proxmox aussieht mit Long Term Support für alte Büchsen.

 

[Mickey Mouse]

Also ich(!) würde niemals im professionellen Betrieb irgendwelche Spielereien anfangen. Entweder die HW wird 100% unterstützt oder man lässt es. Zum Spielen privat ist das natürlich etwas völlig anderes!

Ich habe Proxmox auf diversen Maschinen laufen, auch um Mal die Cluster Fähigkeiten auszuprobieren. Da gibt es überhaupt keine Probleme mit Performance oder Treibern.

Wenn man vSphere kennt, dann kommt man auch sofort mit Proxmox klar. Im Zweifelsfall ist alles eher etwas logischer oder einfacher zu finden.

Bei den Netzwerken ist halt die Frage was man will. Ein Server für eine Handvoll Windows VMs ist da sicherlich etwas völlig anderes als ein HA Cluster mit Ceph drauf. Da sollte man dann schon eigene Leitungen mit möglichst geringer Latency fürs Management haben.

Ansonsten ist das schöne an Proxmox: alles kann, nichts muss!
Man kann sich das auf einem Mini-PC aufsetzen und wie gesagt bis zu einem Cluster hoch skalieren. Geht auch alles "irgendwie" mit VMware, aber wenn man dafür keinen Support bekommt, dann sollte man die Finger davon lassen (außer zum Spielen)

 

[Angelripper]

Dieses Board
https://www.supermicro.com/en/products/motherboard/X10SRL-F

Diese CPU
https://geizhals.de/intel-xeon-e5-2660-v3-bx80644e52660v3-a1159919.html

128GB ECC RAM

Könnte ich günstig bekommen.
Ich frage mich bei dem Board nur gerade wie das bzgl. Win11 aussieht wegen TPM.
Und wie sieht das generell in Proxmox aus mit Win11? Brauchst das MB überhaupt einen echten TPM oder gaukelt der Hypervisor da einen TPM vor?

Ist das Board könnte ich noch 3-4 SSDs rein stecken und dann erst mal los legen? Bzgl. Zuverlässigkeit hätte ich tatsächlich auch ein besseres Gefühl bei non Gaming Boards?

 

[DJKno]

Hier hätte ich halt Angst bald wieder neu investieren zu müssen weil Hardware nicht mehr supported wird. Deshalb würd ich am liebsten esxi 8.0 nutzen um lange Ruhe zu haben. Keine Ahnung wie das bei Proxmox aussieht mit Long Term Support für alte Büchsen.

Ich hab nur ne alte HP Z420 Workstation mit Skylake Xeon 6C/12T und 64GB RAM. Die wird problemlos unterstützt. Daher denke ich mal Proxmox ist das recht verträglich. Sicher sagen kann ich es aber natürlich nicht.

 

[Michael-Menten]

Proxmox ist gut.
Habe auch gute Erfahrungen mit Asrock Mainboards gemacht.
Asus ist meiner Meinung nach völlig ungeeignet: Die haben keinerlei technischen Support. Gibt es ein BIOS/Software Problem kannst du direkt das Mainboard wegschmeißen und ein anderes kaufen.

Zuverlässigkeit? Würde ich mir nicht viele Gedanken machen sofern ein Tag Downtime alle paar Jahre kein Problem ist. Proxmox kann prinzipell auch als cluster mit failover konfiguriert werden.

Das Teil sollte Spielwiese für alle Möglichen Themen aber auch Produktivmaschine für Fileserver und z.B. Homeassistant werden.

Gegenvorschlag:
Ein NUC bzw. 2 bis 3 als Spielwiese und einen zweiten PC/Server für den Produktiveinsatz. STH hat eine ganze Serie zu denen (tiny mini micro).

 

[Art Vandelay]

Ich frage mich bei dem Board nur gerade wie das bzgl. Win11 aussieht wegen TPM.
Und wie sieht das generell in Proxmox aus mit Win11? Brauchst das MB überhaupt einen echten TPM oder gaukelt der Hypervisor da einen TPM vor?

Proxmox kann TPM und Prozessor emulieren, so dass das Win11 Setup zufrieden gestellt ist. Im Web gibt's auch zig Anleitungen, hier zB eine.
Bei Proxmox darf man immer im Hinterkopf behalten, dass es sich um eine angepasste Debian Distribution handelt und Linux von Haus aus mit sehr viel Hardware klar kommt und das auch gerne mal ältere sein darf.

Bei mir läuft Proxmox auf einer DELL Optiplex 7010 Workstation, Baujahr ca. 2014, in der aktuellsten Version. VMWare hatte ich auch mal drauf, aber da wurde die CPU nur bis Version 6.7 supported, würde also mittlerweile glaube komplett ohne Updates da stehen.

 

[Angelripper]

Proxmox ist gut.
Habe auch gute Erfahrungen mit Asrock Mainboards gemacht.
Asus ist meiner Meinung nach völlig ungeeignet: Die haben keinerlei technischen Support. Gibt es ein BIOS/Software Problem kannst du direkt das Mainboard wegschmeißen und ein anderes kaufen.

Zuverlässigkeit? Würde ich mir nicht viele Gedanken machen sofern ein Tag Downtime alle paar Jahre kein Problem ist. Proxmox kann prinzipell auch als cluster mit failover konfiguriert werden.


Gegenvorschlag:
Ein NUC bzw. 2 bis 3 als Spielwiese und einen zweiten PC/Server für den Produktiveinsatz. STH hat eine ganze Serie zu denen (tiny mini micro).

Ich würde schon gern einen Hypervisor nutzen.
Gerade beim Testen sehe ich hier einen klaren Vorteil + die Möglichkeit schnell auf neue Hardware umzuziehen.

Proxmox kann TPM und Prozessor emulieren, so dass das Win11 Setup zufrieden gestellt ist. Im Web gibt's auch zig Anleitungen, hier zB eine.
Bei Proxmox darf man immer im Hinterkopf behalten, dass es sich um eine angepasste Debian Distribution handelt und Linux von Haus aus mit sehr viel Hardware klar kommt und das auch gerne mal ältere sein darf.

Bei mir läuft Proxmox auf einer DELL Optiplex 7010 Workstation, Baujahr ca. 2014, in der aktuellsten Version. VMWare hatte ich auch mal drauf, aber da wurde die CPU nur bis Version 6.7 supported, würde also mittlerweile glaube komplett ohne Updates da stehen.

Danke, dann gehe ich glaube ich mit dem System von oben mal an den Start. Ein paar Fragen hätte ich aber noch bzgl. Einkaufsliste. :-)

Welche Platten und welches Plattendesign empfiehlt sich für Proxmox?
Samsung Enterprise SSD PM893 oder klassisch Samsung EVO 870?

Und wie sollte man die Platten auswählen?
Kleine 500er für Proxmox OS + 3 x 2 TB für virtuelle Maschinen?
Externe USB Platte für Backups oder interne HDDs für Backup?
Reicht man einzelne Platten durch an vm´s oder ein großer Pool mit allen Platten?
Bzgl. ZFS hab ich leider null Erfahrung was die Ausfallsicherheit angeht.

 

[Art Vandelay]

Du klemmst an was/wie du möchtest, diese muss im Linux System gemeounted sein und dann kannst du sie in Proxmox nutzen. Du legst für VMs virtuelle Festplatten Dateien an und verknüpfst diese mit deiner VM und dann steht der Speicher zur Verfügung.

Backups kannst du auch direkt aus Proxmox machen und musst nur einen angeschlossenen Storage auswählen. Alterntiv gibt's auch den Proxmox Backup Server, damit würde es auch übers Netz gehen.
Aber Angaben ohne Gewähr, ich hab das auch nur als Spielwiese zuhause im Einsatz und ist mehr ausgeschaltet wie am Laufen.

 

[IBISXI]

Hier hätte ich halt Angst bald wieder neu investieren zu müssen weil Hardware nicht mehr supported wird. Deshalb würd ich am liebsten esxi 8.0

Ich würde vorschlagen mal neue Wege zu gehen.

Nicht dass Du noch was lernst.

Im Ernst, Proxmox ist solide und stabil, nur für Daheim etwas overpimped.

Vielleicht braucht es auch gar keinen Type1 Hypervisor für Zuhause.

Vielleicht VMWare Workstation oder vielleicht auch Linux.

In Linux geht viel, selbst ohne Virtualisierung.
Docker, Flatpak, Snap mal angeschaut?

Ansonsten KVM Qemu Libvirt....