Server-Konfiguration

[Anonymous User]

Hallo,

ich will nur kurz ein Thema ansprechen, aktuell plane ich meinen Multimedia-Server mit Proxmox und möchte 3 Gaming Maschinen sowie Cloud, Mailserver, Backup, Docker etc. virtualisieren.

Grob die Komponenten:
Asrock x570 Creator oder Asus B550-E Gaming mit Thunderbolt Karte
Ryzen 9 5950X
64 GB ECC Ram
Speicher im Raid 5 Verbund
zwei eGPUS mit Thunderbolt 3 vermutlich eine 2070, eine 3080
eine GPU intern, 2080
eine Nvidia Quadro T600 für Desktopbetrieb
alles wassergekühlt

Ich möchte zwei GPUS extern anbinden, da die nicht permanent mitlaufen sollen, eben nur bei Bedarf.
Thunderbolt ist ja Plug and play fähig.

Der Server soll 7 Tage die Woche, 18 Std am Tag laufen, dabei möchte ich den Stromverbrauch so gering wie möglich halten.

Jetzt interessiert mich, wie viel Strom würde eine 2080 intern als 2. GPU passiv in Idle verbrauchen? Die Karten sollen in Proxmox durchgereicht werden.

Was passiert, wenn ich die VM ausschalte, der die GPU zugewiesen ist?

Allgemein frage ich mich, ob ein 5950x überhaupt 3 Gaming Maschinen parallel befeuern kann.

1. Gaming-VM 4k / 8 Threads
2. Gaming-VM 2k / 6 Threads
3. Gaming-VM Full HD. / 6 Threads

Wenn ich die FPS begrenze, sollte sich die CPU Last in Grenzen halten?


Was meint ihr?

 

[Drewkev]

Jetzt interessiert mich, wie viel Strom würde eine 2080 intern als 2. GPU passiv in Idle verbrauchen? Die Karten sollen in Proxmox durchgereicht werden.

Was meinst du mit passiv?

Idle müsste man auch erstmal definieren ..

Allgemein frage ich mich, ob ein 5950x überhaupt 3 Gaming Maschinen parallel befeuern kann.

Ich denke da werden eher die GPUs schlapp machen.

 

[Anonymous User]

Naja, ich habe im 1. PCIE Slot die 2080, im zweiten die Nvidia T600.

Die T600 kaufe ich wegen der vielen mini DP Anschlüsse und weil sie wenig Strom verbraucht für die hauptsächliche Verwendung für meinen Desktop und meinen 4 Bildschirmen.
Mein Haupt-PC für surfen, arbeiten etc wird ebenso virtaulisiert. Da reiche ich die T600 durch.

Die 2080 wird einer Gaming VM zugewiesen. Sie wird nur benutzt, wenn gezockt wird, was selten der Fall ist, daher soll sie nicht permanent mitlaufen (passiv ohne Benutzung) und Strom verbrauchen.

 

[Dig.Minimalist]

Speicher im Raid 5 Verbund

Wenn du Proxmox verwendest, wirst du wahrscheinlich ZFS verwenden und daher ist ein RAID Controller keine gute Wahl - HBA falls die SATA ports des Mainboards nicht ausreichen

Mainboard: falls du auf die Quadro P600 verzichten willst: ASRock Rack X470D4U (das X570D4U ist aktuell sehr teuer)- und dazu Thunderbolt Karte, z.B. https://geizhals.de/gigabyte-gc-maple-ridge-a2593039.html?hloc=de

Ich würde mir überlegen, ob eine 10GBE NIC Sinn macht

 

[Mojo1987]

Die Karte läuft trotzdem mit, auch wenn die VM dazu nicht läuft. Die wurde schließlich beim Start des Systems via BIOS/vBIOS initialisiert.

Dir sollte auch klar sein, das Plug and Play mit eGPUs je nach Setup oft nicht funktioniert, da auch diese GPUs beim Boot initialisiert werden müssen.

Ich bin ein bisschen irritiert. Welche der Karten ist den Proxmox selbst zugewiesen? Bei meinen letzten Versuchen hat Proxmox den Dienst verweigert wenn ich versucht habe dies ohne eigene GPU zu betreiben.

 

[Anonymous User]

Wenn du Proxmox verwendest, wirst du wahrscheinlich ZFS verwenden und daher ist ein RAID Controller keine gute Wahl - HBA falls die SATA ports des Mainboards nicht ausreichen

Mainboard: falls du auf die Quadro P600 verzichten willst: ASRock Rack X470D4U (das X570D4U ist aktuell sehr teuer)- und dazu Thunderbolt Karte, z.B. https://geizhals.de/gigabyte-gc-maple-ridge-a2593039.html?hloc=de

Ich würde mir überlegen, ob eine 10GBE NIC Sinn macht

vergesst das mit Raid, dafür habe ich ein externes 4 Bay Festplattengehäuse mit Raid Controller.

Intern habe ich eine M.2 und zwei Sata SSDS


Zu dem MB: Für das Asrock Creator habe ich ein sehr gutes Angebot,
was bietet das X470D4U, was das Creator nicht kann?

 

[FlaTLin3]

Ich meine das Linus von LTT (Linus Tech Tips) ähnliche Pläne für sich zuhause verworfen hat.
Hintergrund war wohl, dass Virtualisierung und diverse Anti-Cheat-Maßnahmen nicht miteinander können. Und im schlimmsten Fall wird die Virtualisierung als Cheating registriert.

Ich kenne die Details nicht, aber ich wollte das als ein mögliches Problem anbringen.

 

[Anonymous User]

@Mojo1987 für proxmox selbst habe ich eine ganz einfache passiv gekühlte gpu. Ich habe nicht jede Komponente erwähnt.

Ich wusste nicht, dass man die TB Karten nicht einfach abstöpseln kann...
Das lese ich nach.

 

[Drewkev]

Das ASRock hat auf den ersten Blick eine Onboard Grafik und einen Management Port (RJ45).

Ich würde aber erstmal abklären ob die gespielten Spiele da mit machen, wegen Anti-Cheat etc.

 

[Anonymous User]

Ich meine das Linus von LTT (Linus Tech Tips) ähnliche Pläne für sich zuhause verworfen hat.
Hintergrund war wohl, dass Virtualisierung und diverse Anti-Cheat-Maßnahmen nicht miteinander können. Und im schlimmsten Fall wird die Virtualisierung als Cheating registriert.

Ich kenne die Details nicht, aber ich wollte das als ein mögliches Problem anbringen.

Na toll, scheint komplizierter zu sein, als ich dachte :/

 

[Moeller13]

Gaming in VMs ist machbar, aber nicht unbedingt empfehlenswert und auch nicht unbedingt einfach:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Ryzen 9 5950X
64 GB ECC Ram

Wenn du damit gleichzeitig auf 3 VMs zockst, könnte es mMn schon recht eng werden.
Würde pro VM mindestens 8 Threads, besser 12 Threads nehmen. Da klappt es dann aber mit dem Ryzen schon nicht mehr.
Und 64GB Ram werden da auch ganz schnell am Ende sein. Deshalb besser direkt 128 GB. Die Empfehlung bei Gaming PCs sind hier im Forum 32GB.

 

[Anonymous User]

Danke, ihr habt mir schon weitergeholfen. Dann werde ich mich mal schlau machen.

 

[derlorenz]

ch kenne die Details nicht, aber ich wollte das als ein mögliches Problem anbringen.

Wollte ich auch gerade ergänzen. Man könnte mal recherchieren, ob es nur bestimme Spiele betrifft. Allerdings könnte sich dies in Zukunft ja noch ändern und du sitzt dann da und hast eine Gaming VM und kannst sie nicht nutzen 😵‍💫

 

[Anonymous User]

@Moeller13 das dachte ich mir schon. Dann realisiere ich eben 2 Gaming Vms und der 3. wird ein normaler Gaming PC.

Ich mache mich erst einmal schlau, ob virtualisieren überhaupt für meine Zwecke ausreicht.

 

[washieiko]

Ich für meinen Teil hab unter XCP auch arge Probleme den Ton durchzureichen. Virtualisierer als Gamingmaschine ist noch nicht soweit meiner Erfahrung nach, würd mich aber über Updates bei dir freuen.

 

[Anonymous User]

alles klar, ich werde kurz berichten, wie das System so läuft.

Ich habe recherchiert, sollte alles gut umsetzbar sein!

Jetzt habe ich noch mehr Lust auf dieses Projekt und werde es durchziehen.

Die TB Karten sollten keine Probleme machen, ich las über Hot Plug & Play ohne Reboot, das richtige Dock vorausgesetzt.

Die meisten Spiele sollten ohne Probleme in Proxmox laufen, mal sehen

 

[Mojo1987]

Die TB Karten sollten keine Probleme machen, ich las über Hot Plug & Play ohne Reboot, das richtige Dock vorausgesetzt.

Das hat nichts mit den Docks an sich zutun, sondern wie Grakas initialisiert werden müssen damit der Treiber damit arbeitet.

Anti-Cheat Thematik wurde ja angesprochen, solange du Singleplayer Games zockst vermutlich kein Thema. Alle großen Anti-Cheat Lösungen blockieren allerdings bei VM Einsatz.

Ich bin gespannt auf deinen Bericht.

 

[Anonymous User]

Hey!

ich melde mich nach einer sehr langen Zeit zurück, ich kann das Thema nicht offen stehen lassen. Konnte mich auch nicht früher melden, hatte einige Systemänderungen vorgenommen und noch andere Projekte am laufen gehabt.

Nun, der Server läuft schon etwas länger genau nach Plan und erfüllt alle Anforderungen, die ich mir selbst gestellt habe.

Zuerst konnte ich PCI Passtrough der TB Karten nicht problemlos umsetzen, da das Asus B550-E beschi* IOMMU Gruppierungen besitzt. Nur mittels ACS_Override Patch war das einigermaßen möglich, allerdings unschön.

Also ersetzte ich das Board gegen ein Asus proArt x570 creator, es hat nativ zwei Thunderbolt 4 Anschlüsse und vorallem eine extrem gute IOMMU Gruppierung.

In Kombination mit dem Razer egpu Dock ist es möglich, im laufenden Betrieb die GPU abzuschalten und wenn man sie benötigt, sie einzuschalten. Das spart enorm viel Strom im 18/7 Betrieb.

Zocken in den VMS funktioniert bisher problemlos! Auch mit zwei Maschinen parallel.

Folgende Karten habe ich durchgereicht:
1x rtx 3080
1x rtx 2080

Beide Karten können ohne großen Bottleneck befeuert werden.

Bisher Spiele ONLINE getestet:
Battlefield 4
Battlefield 2042
Battlefield 1
The Forest

Auch Soundprobleme habe ich keine.

Mal sehen, wie sich weitere Spiele in zukunft verhalten werden.
Bis jetzt bin ich super zufrieden.


Eine Sache die mich noch stört, die ich bis jetzt nicht lösen konnte, ist die Verwendung des 1. PCIE Slots vom Host.

Ich kriege es nicht hin, PVE Headless zu betreiben.

Sobald ich den Server ohne gpu im 1. Slot starte, krallt sich PVE eine andere Karte, die ja eigentlich auf Hostebene deaktiviert wurde, weshalb nach dem Boot auch ein Standbild auf dem Monitor verbleibt. Danach kann die Karte nicht mehr in der VM genutzt werden.

Das ist aber eher ein kleines Problem, kümmere ich mich später drum, in der Zeit ist eben ein Slot sinnlos belegt.

SG
Anonymous User