[Erfahrungsbericht] Wohnzimmervirtualisierer

[snaxilian]

Neben diesen Stunden oder eher Tagen voller Gebasteltel: Welchen Mehrwert hast du erreicht bzw. wie viel Zuwachs in realen Lastszenarien (nicht irgendwelchen synthetischen Benchmarks)?

 

[2Stoned]

Neben diesen Stunden oder eher Tagen voller Gebasteltel: Welchen Mehrwert hast du erreicht bzw. wie viel Zuwachs in realen Lastszenarien (nicht irgendwelchen synthetischen Benchmarks)?

Das ist eine absolut berechtigte Frage, auf die ich allerdings keine Antwort habe. Ich habe das System ja zusammengebaut und dann eigentlich als ersten RAM OC betrieben. Somit fehlen mir jegliche Erfahrungswerte. Und auch diesbezüglich ist alles, woran ich eine Veränderung dingfestmachen kann der Benchmark aus AIDA64:

Setting	GDM on	GDM off	stock
CL	16	16	20
tRCD	17	18	19
tRP	15	16	19
tRAS	48	50	43
tRC	64	66	61
tRFC	425	425
tRW	12	12
tFAW	16	16
Read (MB/s)	51725	52540	41420
Latency (ns)	72.4	71.3	93
PowerDown	enabled	enabled

Durchsatz liess sich also um etwa 27% steigern, die Latenz auf etwa 77% senken.

Für mich stand dabei eher der Spass im Vordergrund. Hier etwas schrauben, da mal etwas testen, dann hatte das aber wieder Einfluss auf anderes, also musste man da noch etwas nachbessern und ändern. Zudem gab es immer einen spannenden Austausch in der Community hier. So machte es auch grossen Spass das Forum zu nutzen, quasi als sozialer Nebenaspekt. 🤓

So konnte ich dann auch nicht wiederstehen mich nochmals hinzusetzen und zu schauen, ob ich auch mit Gear Down Mode off stabile Settings kriege, was mich nochmals 2 Tage beschäftigt hat...

Als nächstes will ich hier aber dann wirklich mal vom Einbau ins Case berichten, bevor ich mich dann an das Aufsetzen von Proxmox mache und die Maschine mal ihrem angedachten Zweck zukommen lasse.

 

[2Stoned]

Nach längerer Pause (ich musste erst mal ne AiO WaKü und n NAS mit 20TB WD RED Speicher, 500GB WD RED SSD und ner 10Gbit + Cache Erweiterungskarte reviewen (siehe Sig.) ) kommt heute mal ein Update.

Einbau ins BeQuiet! Silent Base 801 Case
Das Handbuch des Silent Base 801 beschreibt eigentlich alles ausreichend genau - ausser eine Sache: Wie man das Mainboard invertiert einbaut. Dadurch sitzt die CPU tiefer und die warme Luft hat mehr Gelegenheiten aus dem Case zu entweichen, auf dem Weg nach oben entlang der Rückwand. Aus dem Handbuch wurde ich überhaupt nicht schlau, wie das am besten anzugehen ist. Immerhin hat BeQuiet! ein Video erstellt, wo das Ganze Schritt für Schritt vorgemacht wird. Das Video habe ich etwa auf halber Geschwindigkeit laufen lassen. Damit ist es mir dann in deutlich mehr Zeit als ich erwartet hätte gelungen, den Mainboard-Tray zu invertieren.

Mittlerweile habe ich des öfteren am Case rumgeschraubt, insbesondere wegen der getesteten WaKü. Es bietet viele Möglichkeiten Lüfter zu montieren, die meisten sind sehr gut zugänglich, doch an wenigen Stellen gibt es Probleme:

• Um den Hecklüfter auszutauschen müsste man den Mainboard-Tray kurz entfernen oder einen langen, dünnen Schraubenzieher haben. Mit einem Bit-Aufsatz geht es nämlich nicht.
• In der Front kommt man bei drei 140mm Lüftern beim letzten nicht mehr dazu, Noppen, wie Noctua-Lüfter welche haben, durch die entsprechenden Stellen zu ziehen. Dort muss man zwingend Schrauben verwenden oder einfach auf die Schwerkraft, Verkeilung oder Haftreibung vertrauen, dass der Lüfter hält ohne zu klappern.

Der Deckel hat eine Schublade für drei Lüfter oder einen 360er Radiator. Das ist super komfortabel!
Im Inneren des Cases kann auch unten ein Lüfter eingesetzt werden, der hat dann unter sich den Netzteilschacht (der durchs ganze Gehäuse geht, also Platz für Kabel bietet) unter welchem ein Staubgitter angebracht ist. Man kann also auch wunderbar von unten Luft ansaugen und nach oben pusten.

Rein kriegt man Luft wunderbar. Nur raus ist etwas schwierig. Auch wenn der Deckel ordentlich Platz bietet, hat er nur etwa über der Fläche eines einzigen Lüfters Lüftungsschlitze, wo die Luft entweichen kann. Das Spiel mit der WaKü hat hier einen ordentlichen Wärmestau nahegelegt. Mit dem untenliegenden CPU-Luft-Kühler kann ich dieses Problem aber umschiffen, da so der Grossteil der CPU-Abluft durchs Heck raus kann.

Flüsterleise ist das Gerät aber geworden - zumindest, wenn es nicht viel zu tun hat - am lautesten ist die GraKa und die ist bei mir ehh nur am rum-idlen, wenn nicht gerade F@H läuft.

Installation von proxmox
Heute habe ich mich an die Installation von proxmox gewagt. Dabei bin ich einer Anleitung im dortigen Forum gefolgt, mit ein paar wenigen Abweichungen:

1. Ich habe proxmox auf eine 120GB WD green SSD installiert
2. Die gleiche SSD habe ich als Speicherort für die ISOs verwendet
3. Die VMs kommen bei mir auf ein ZFS Raid aus zwei NVMe M.2 SSDs (Samsung 970 Evo Plus)
4. Statt Linux habe ich Windows 10 als erste VM installiert

Während der Installation muss man einen Hostnamen angeben. Für den Privatgebrauch tut es wohl eine .invalid-Domain.
Zur Installation von Windows 10 habe ich mich auch an ein Tutorial gehalten. Doch hier habe ich mich noch etwas bei anderen und weiteren bedient. Windows 10 läuft über noVNC soweit ganz ok, ausser, dass ich jeweils zwei übereinanderliegende Mauszeiger habe.

Nachdem ich mit Windows fürs erste durch war, wollte ich noch proxmox selbst updaten.

apt update

Lieferte jedoch einen Fehler, da ich keine subscription habe. Auch dies liess sich einfach beheben:

1. shell öffnen

2. cp /etc/apt/sources.list /etc/apt/sources.list.bak
   nano /etc/apt/sources.list

3. Dort die passenden Repositories (deb http://download.proxmox.com/debian/pve buster pve-no-subscription) eintragen und speichern.
4. Dann noch ein kurzes
   

   cp /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak
   nano /etc/apt/sources.list.d/pve-enterprise.list

   und dort den einzigen Eintrag mit einem # auskommentieren.

Schon klappte das Updaten der packages.

 

[Testa2014]

Schöner Bericht, irgendwie sehe ich parallelen Hast du noch ein paar Bilder?

Während der Installation muss man einen Hostnamen angeben

Ich ärgere mich im nachhinein den nicht geändert zu haben. Jetzt bekomme ich immer diese blöden SSL Warnungen. pve.fritzbox ist mir einfach zu lang und doof. Wenn da jemand ne Möglichkeit kennt das auszutauschen wäre es super [habs bisher noch nicht hinbekommen, oder die Anleitungen sind einfach Müll]

Gibt auch noch eine Möglichkeit diese Subscription Meldungen zu deaktivieren. Oder extern per VNC auf die VM's drauf zu kommen. Falls relevant

Bin eben deinen Beitrag bei HL überflogen, bei mir rennen die gleichen RED's. Nur im 4er Verbund Du nimmst dir aber echt viel Zeit für die Nachwelt TOP!

 

[2Stoned]

Schöner Bericht, irgendwie sehe ich parallelen Hast du noch ein paar Bilder?


Ich ärgere mich im nachhinein den nicht geändert zu haben. Jetzt bekomme ich immer diese blöden SSL Warnungen. pve.fritzbox ist mir einfach zu lang und doof. Wenn da jemand ne Möglichkeit kennt das auszutauschen wäre es super [habs bisher noch nicht hinbekommen, oder die Anleitungen sind einfach Müll]

Gibt auch noch eine Möglichkeit diese Subscription Meldungen zu deaktivieren. Oder extern per VNC auf die VM's drauf zu kommen. Falls relevant

Bin eben deinen Beitrag bei HL überflogen, bei mir rennen die gleichen RED's. Nur im 4er Verbund Du nimmst dir aber echt viel Zeit für die Nachwelt TOP!

Bilder gibts primär im AiO-Test, beziehungsweise im dort verlinkten Tagebuch.

SSL Warnung kommt bei mir immer nur beim ersten Mal (Browser: Vivaldi), danach erscheint die jeweils nicht mehr (ausser die IP ändert). Löscht du regelmässig deine Browserdaten? Vielleicht kannst du pve dabei ausklammern?!

Die subscription Meldung beim Anmelden im WebGUI sei gewollt so, gemäss proxmox Leuten in deren Forum.

 

[snaxilian]

(Standalone) Proxmox nachträglich umzubenennen ist nervig weil du drölfzig Stellen anpassen musst. Ganz ehrlich: du hast gerade angefangen dich damit zu beschäftigen also installiere den Host neu.
Wenn du die Zertifikatsmeldungen "los werden" willst dann gibt's 3 Optionen:

• (Eigene CA aufsetzen,) Zertifikat erstellen, einspielen etc und fertig
• Das self signed in den Browser importieren und vertrauen
• korrekten FQDN setzen und Let's encrypt Zertifikate besorgen

Subscription-Meldung kann bzw. konnte man früher ebenso abklemmen. Keine Ahnung ob das legal ist, ebenso der direkte Hinweis aber mit $Suchmaschine findet man das problemlos in unter 5 Minuten...

Warum sollte man von extern auf die VMs drauf kommen? Es gibt gefühlt tausende sinnvollere Methoden... Klickibunti-Windows bietet dafür RDP oder bei mehreren Systemen bieten sich Intune oder ein kleines AD + GPOs an oder andere Configuration Management Tools. Linux/BSD und andere unixoide Systeme per SSH.

 

[ayngush]

Was soll daran bitte "illegal" sein?
Proxmox ist OSS. Darin darf ich für mich (und andere) herum basteln, wie ich möchte...

Den Oneliner einmal auf dem Host als root in die Konsole und weg ist die Meldung:

sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

 

[snaxilian]

Bitte zitiere mich nicht falsch, verfälschend und unvollständig. Ich sagte ich weiß es nicht ob es legal ist diesen Hinweis zu entfernen. Ich sagte nicht, dass es illegal sei aber genau das impliziert deine Frage.

Ja, Proxmox steht unter der AGPL und ja du darfst es anpassen wie du magst. Wenn du es für andere anpasst, dann könnte es ggf. noch Probleme wegen dem Namen geben aber das schweift glaube ich zu weit vom Thema ab. Alternativ könntest auch die Community Subscription kaufen wenn dir das Produkt zusagt, dich die Meldung stört und du die Weiterentwicklung unterstützen möchtest.

 

[2Stoned]

Was soll daran bitte "illegal" sein?
Proxmox ist OSS. Darin darf ich für mich (und andere) herum basteln, wie ich möchte...

Den Oneliner einmal auf dem Host als root in die Konsole und weg ist die Meldung:

sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

Kann man sich sogar fix implementieren, damit das auch nach jedem Update wieder entschwindet + der Teil mit den Repos:
https://github.com/foundObjects/pve-nag-buster

Werde ich heute mal testen.

 

[ayngush]

Bitte zitiere mich nicht falsch, verfälschend und unvollständig. Ich sagte ich weiß es nicht ob es legal ist diesen Hinweis zu entfernen.

Wo habe ich dich denn bitteschön zitiert und das auch noch falsch? Das ist eine freche Unterstellung.
Ich habe lediglich die Frage gestellt, was daran (an der Veränderung von OSS, Anmerkung) illegal sein soll?

Ich sagte nicht, dass es illegal sei aber genau das impliziert deine Frage.

Das kannst du für dich verstehen wie du möchtest.
Das kannst du auch als Hilfestellung für dich und andere sehen, die, wenn sie die Frage nicht in die eine Richtung beantworten können, eventuell durch die Umstellung der Frage eher zu einen eindeutigen Ergebnis kommen.

Es ist ja nur ein binärer Zustand. Entweder etwas ist legal oder nicht legal (auch illegal genannt).
Wenn man also, so wie du, nicht genau weiß ob es legal ist Open Source Software zu verändern, dann kann man sich die Frage stellen, ob es denn illegal ist Open Source Software zu verändern.
Wenn man das besser bzw. eindeutiger beantworten kann, kann man sich die Antwort der Eingangsfrage damit herleiten.

 

[2Stoned]

Kann man sich sogar fix implementieren, damit das auch nach jedem Update wieder entschwindet + der Teil mit den Repos:
https://github.com/foundObjects/pve-nag-buster

Werde ich heute mal testen.

Habe ich unterdessen getestet und funktioniert. Man darf nur die /etc/apt/sources.list NICHT anpassen, wie ich oben beschrieben habe, sonst meldet apt update, dass die Quelle mehrfach eingetragen ist (Update funktioniert dennoch). Kann man aber einfach wieder auskommentieren, dann hat man Ruhe.

 

[2Stoned]

Unterdessen hab ich lange mit proxmox rumgespielt und dabei etliche Probleme gelöst - jedoch nicht alle:

• Zum einen wechselte das verwendete Netzwerk-Interface ständig, so, dass ich nur bei jedem zweiten Start des hosts auf das GUI zugreifen konnte. Dies konnte ich soweit korrigieren, dass das Interface nicht mehr wechselt und der Link auch immer zustande kommt - der Host, und dadurch auch alle VMs, die ne bridge via host nutzen und nicht ihre eigene PCIe NIC haben, kriegt trotzdem nur bei jedem zweiten Start eine Internet. Eine Lösung habe ich noch nicht, aber einen Thread im proxmox Forum offen.
• Bisher nutzte ich immer nur onboard Audio. Dieses kann man aber nicht an eine VM durchreichen. Ich müsste nun entweder eine Soundkarte per USB oder PCIe durchreichen oder Ton per HDMI ausgeben, was meine Monitore aber nicht unterstützen.
• Dann hat es mich einige Mühe gekostet meine AMD GPU durchzureichen. Doch GPU passthrough ist so eine Sache für sich. Schlussendlich habe ich eine Lösung gefunden (siehe auch den Spoiler unten).

Spoiler: Meine Lösung für GPU Passthrough

Einschränkungen: Shutdown der VM (aus der VM raus) und späterer Neustart (vom Host aus) funktioniert nicht. Reboot von der VM aus funktioniert jedoch.

Grundsätzlich habe ich mich an folgenden Guides orientiert: [1], [2], [3], [4]
Nebst den dort aufgeführten Massnahmen musste ich noch folgendes machen:

• AER, ACS im BIOS deaktivieren
• GRUB_CMDLINE_LINUX_DEFAULT="net.ifnames=0 biosdevname=0 quiet amd_iommu=on iommu=pt"
• statt radeon muss amdgpu auf die Treiber-blacklist

Meine Konfig ist:

Spoiler: VM Konfig

agent: 1
args: -machine type=q35
audio0: device=ich9-intel-hda,driver=spice
balloon: 8192
bios: ovmf
bootdisk: scsi0
cores: 12
cpu: host
efidisk0: VMstorage:vm-102-disk-1,size=1M
hostpci0: 0a:00,pcie=1
machine: q35
memory: 60000
name: Ubuntu
net0: virtio=B2:5E:C6:CA:A0:A5,bridge=vmbr0,firewall=1
numa: 1
ostype: l26
scsi0: VMstorage:vm-102-disk-0,cache=writeback,discard=on,size=32G,ssd=1
scsihw: virtio-scsi-pci
shares: 5000
smbios1: uuid=bd85f4fe-370e-4299-9ce2-a39f2f997fe9
sockets: 1
usb0: host=046d:c52b,usb3=1
usb1: host=1af3:0001,usb3=1
usb2: host=04d9:0169,usb3=1
usb3: host=046d:0819,usb3=1
usb4: host=048d:8297,usb3=1
vga: none
vmgenid: fdfa3441-a8f0-48f5-8063-2d633183ffa4

Nun wollte ich eine praktisch identische Ubuntu VM aufsetzen, mit GPU-Passthrough und allem drum und dran, genau gleich wie die, die bereits läuft, nur mit einer grösseren Festplatte und ner sauberen Neuinstallation (natürlich lief die bereits funktionierende VM dabei nicht, sonst würde ja der passthrough nicht funktionieren ), doch mit der komme ich - nach der erfolgreichen Installation von Ubuntu 20.04 - nur bis zum Desktop, wo sich dann Maus und Tastatur nicht mehr benutzen lassen und sogar der Host abstürzt und nur noch ein händischer Neustart des Hosts hilft. Wahrscheinlich gäbe es hierfür eine Lösung. Aber ich bin mittlerweile eher davon abgekommen, mein Vorhaben mit proxmox zu realisieren. Mit dem Reset-Problem der GPU könnte ich allenfalls noch leben, das könnte schon mit Linux Kernel 5.6 behoben werden (Quelle: das Internetz), und auch für den Sound gäbe es ja eine Lösung. Doch das die neue und doch identische VM nun einfach nicht sauber läuft irritiert mich doch ziemlich. Allenfalls werde ich doch einfach ein Ubuntu aufsetzen und darunter mit qemu meine VMs laufen lassen. Einzig, dass dann auch die Firewall innerhalb meines Haupt-Systems läuft, stört mich an dieser Lösung. Wann immer ich Ubuntu neu starten müsste, wäre dann halt auch kurz das Netzwerk tot. Werde wohl noch etwas hirnen müssen, wie ich das angehen soll. :/

PS: proxmox hat aber ein sehr hübsches und übersichtliches GUI und lässt sich intuitiv bedienen. Das mag ich schon mal.