Workstation/Server Proxmox, Hyper-V

[ICH2009]

Hallo Computerbase.

Gebaut werden soll eine Workstation, die Basis ist Proxmox, darauf virtuelle Maschinen, teils im 24/7 Betrieb:

• Linux Desktop und Server
• Windows Server und 11

Das Gerät wird gekühlten Umgebung aufbewahrt, per Fernzugriff genutzt. Optik, Lautstärke,... spielen also keine Rolle, die Kühlung sollte gut sein. Wünschenswert wäre ein kompaktes Gehäuse, falls ich das Gerät doch mal mitnehmen muss.

Ob Intel oder AMD ist mir egal, preislich wäre es schön einen "Sweetspot" zu treffen.
Daher möchte ich gern zwei Versionen (CPU, RAM, Mainboard) erstellen, um den Unterschied zwischen einer aktuellen Plattform und der Vorgänger zu sehen, Preis/Leistung.

DDR4 - Intel https://geizhals.de/?cat=cpu1151&v=e&hloc=de&sort=r&bl1_id=30&xf=19516_DDR4~3_3000~5_Grafik+(iGPU)~6679_16
DDR4 - AMD https://geizhals.de/?cat=cpuamdam4&v=e&hloc=de&sort=r&bl1_id=30&xf=19516_DDR4~3_3500~5_Grafik+(iGPU)~6679_16
DDR5 - Intel https://geizhals.de/?cat=cpu1151&v=e&hloc=de&sort=r&bl1_id=30&xf=19516_DDR5~3_3000~5_Grafik+(iGPU)~6679_16
DDR5 - AMD https://geizhals.de/?cat=cpuamdam4&v=e&hloc=de&sort=r&bl1_id=30&xf=19516_DDR5~3_3500~5_Grafik+(iGPU)~6679_16

Davon unabhängig

• Gehäuse schlicht, z.B. https://geizhals.de/?cmp=1346945&cm...&cmp=1228413&cmp=2091468&cmp=2797818&active=1
• RAM https://geizhals.de/?fs=64+ddr5+5200+ecc&hloc=de
• SSD https://geizhals.de/?cat=hdssd&v=e&hloc=de&sort=r&bl1_id=30&xf=2028_4000~252_1920~4832_3~4836_7~4851_3D-NAND

 

[adriatic]

Da du ja auch Desktops damit betreiben möchtest, welche Grafikkarte planst du dafür ein und machst du das dann via VirGL oder PCI(e) passthrough? Oder reicht dir das "klassische" CPU rendering?

 

[tollertyp]

Ich habe das Gefühl, dass ich die konkreten Anforderungen irgendwie überlesen habe.

Also ob 20 VMs oder 2 VMs, das sagt halt nichts darüber aus, wieviel Last die erzeugen...

 

[ICH2009]

@adriatic
Die iGPU reicht.

@tollertyp
Sorry, ist im Filter der CPU "versteck".
16 Threads um die 3Ghz passen für meinen Zweck, darunter sollte es nicht sein.
64GB RAM in Summe reichen, ebenso 2TB SSD, wobei 4TB wohl günstiger sind.

 

[Azghul0815]

VMs fressen mehr Performance als Container.
Um wieviel geht's denn?
Nen Windows Server ist halt ne andere Hausnummer als ein Linux Container für minecraft Server.
Soll ein Medien Server drauf laufen? Dann empfehle ich Intel wegen qvs

 

[ICH2009]

@Azghul0815
Aktuell habe ich eine gute Hand voll VMs verteilt auf div. Systemen welche "zusammengezogen" werden müssen, dabei habe ich ca. 30% Puffer wenn ich 16 Threads, 64GB RAM und 2TB SSD nehme. Die System nicht nicht wild, d.h. der Ressourcenbedarf hält sich wirklich in Grenzen.
Es ist aber bereits fix und fertig in VMs gestrickt, d.h. Docker Container sind erstmal raus.

 

[Das MatZe]

Ich möchte bei deiner Gehäuseauswahl noch zu bedenken geben:
Überleg dir, ob du dir mit dem Formfaktor ITX nen gefallen tust.
Solltest du doch mal auf die Idee kommen, ne Grafikkarte oder sonstiges nachrüsten zu wollen, war's das.
SFP+ wirst du bei Consumer-Mainboards nicht finden, ergo musst du ne Intel X710, Mellanox ConnectX3 oder sonstwas in der Art da rein stecken. Damit wäre dein einziger PCIe Slot belegt.
SFP+ onboard gibt's nur bei den Servermainboards z.B. von SuperMicro.

Was für Dienste laufen in deinen VMs denn?
Auch wenn's Bequem wäre, diese einfach 1:1 um zu ziehen, würde ich im Rahmen des Umzugs auch einen Umzug in LXC/Docker in Erwägung ziehen. Das kann immens Ressourcen und damit Geld sparen.

Meine "Handvoll" VMs laufen derzeit z.B. auf nem Odroid H3 mit 64GB RAM. Und auch da steht mir für den IOBroker samt InfluxDB und Grafana noch der Umzug in einen oder mehrere LXC-Container oder Docker bevor. Hatte damals nicht geklappt, weshalb ich das Ding erstmal in ne VM gesteckt hatte aber effizienter gestalten geht durchaus.

//edit//
Und was ich nicht so ganz verstehe - was hast du mit WLAN an dem Ding vor?

 

[ICH2009]

@Das MatZe

• Eine dedizierte GPU scheidet aus.
• Ich hatte gehofft das es eine SFP+ Karte zum Einstecken gibt, weiß aber nicht ob wir da schon treibertechnisch den Nagel in Intel oder AMD einschlagen müssen. Beispiel https://www.amazon.de/dp/B071R3YS2H
• Der Umzug in Container scheidet aus, aber danke, die Option wurde berücksichtigt.
• WLAN könnte ich auch mit einem Stick bei Bedarf nutzen.

 

[KarlsruheArgus]

@ICH2009

Daher möchte ich gern zwei Versionen (CPU, RAM, Mainboard) erstellen, um den Unterschied zwischen einer aktuellen Plattform und der Vorgänger zu sehen, Preis/Leistung.

CPU Ranglisten sollten reichen

SSDs mit DRAM Cache
https://geizhals.de/?cat=hdssd&xf=1152_4096~252_3840~4643_DRAM-Cache~4832_3&sort=r&hloc=de&v=e&pg=1

Der Preisunterschied von 3.0 zu 4.0 zu 4.0 mit DRAM Cache ist so marginal das man direkt zu 4.0 mit DRAM greifen kann.

NM790 4.0
FX 900 Pro 4.0 + DRAM
P3 Plus 3.0

Vorschlag:
ASRock A620
R9 7900
Arctic Freezer 36
DDR5 nach JEDEC

 

[Das MatZe]

• Ich hatte gehofft das es eine SFP+ Karte zum Einstecken gibt, weiß aber nicht ob wir da schon treibertechnisch den Nagel in Intel oder AMD einschlagen müssen. Beispiel https://www.amazon.de/dp/B071R3YS2H

Das Ding macht zwei mal Gigabit mit RJ45, kein SFP(+). Das ist glaube nicht das, was du vor hattest, oder?

Das hier wäre so etwas in die Richtung. Die oben von mir genannten NICs bekommt man gebraucht schon für ähnliche Tarife.
Die von mir verlinkte hat in der aktuell verkauften Version offenbar den AQC100 Chipset, da ist das Thema Stromverbrauch nach meinem gefährlichen Halbwissen auch akzeptabel. Der kleine Kühlkörper spricht jedenfalls dafür.
Die ConnectX3 und die X710 sind mWn. (wie gesagt, gefährliches Halbwissen!) auch noch akzeptabel, was den Energieverbrauch angeht. Von noch älteren Modellen würde ich da wohl eher absehen.

Treibertechnisch sind die nach meinen Informationen alle im Linux-Kernel drin.

• WLAN könnte ich auch mit einem Stick bei Bedarf nutzen.

Du kannst ja auch bei den Mainboards nach entsprechenden Modellen filtern, die WLAN direkt mitbringen. (Was in aller Regel ein m.2 WiFi Modul ist).
Auch wenn ich dennoch neugierig bin, was du mit WLAN an dem Ding vor hast.


//edit//
Auszug aus einer - m.E. recht glaubwürdigen - Amazon Bewertung der oben von mir verlinkten Trendnet Karte mit AQC100 Chipset:

Während der Chipsatz selbst schon sehr wenig Strom verbraucht, unterstützt die Karte ASPM - im Gegensatz zu den allgegenwärtigen X520 und ConnectX-3. Dadurch kann die CPU in die besonders sparsamen C-States wechseln, was in (un-)günstigen Fällen schonmal 10-15W gegenüber einer anderen Karte ausmacht.

 

[KarlsruheArgus]

Ich hatte gehofft das es eine SFP+ Karte zum Einstecken gibt,...

Da bin ich raus und könnte nur Geizhals heranzeiehen.

 

[ICH2009]

@KarlsruheArgus
Danke für die Ergänzung, dann haben wir AMD DDR5 fast fertig

Plattform DDR5 AMD (AM5)

• CPU: https://geizhals.de/?cat=cpuamdam4&...00~5_Grafik+(iGPU)~6679_16&sort=p#productlist
• Lüfter: https://geizhals.de/?cat=cpucooler&...E817_allAM5%7E817_fixAM5%7E823_Tower-K%FChler
• RAM: https://geizhals.de/?cat=ramddr3&xf=15903_DDR5~15903_keinSO~253_65536~440_Standard-SPD~5015_5200
• Wo setzt man beim Mainboard den Filter?

plattformunabhänig

• SSD: https://geizhals.de/?cat=hdssd&v=e&hloc=de&sort=r&bl1_id=30&xf=2028_4000~252_1920~4643_DRAM-Cache~4832_3~4836_7~4851_3D-NAND
• Case: ASUS Prime AP201 https://geizhals.de/asus-prime-ap201-90dc00g0-b39000-a2797818.html
  • ✅ Netzteil passt
  • ✅ 6x 120mm möglich
• Netzteil? https://geizhals.de/?cat=gehps&xf=18421_4~4174_ATX

Optimierung

• Mainboard ohne WiFi? (ich kann einen Stick bei Bedarf nutzen)
• SSD Kühlkörper?

Zwischenstand

@Das MatZe
Danke, ja der Link ist falsch. Ich meine SFP+ (10GE).
https://www.amazon.de/B01GHTXHMK
Das kann ich ja auch einfach bestellen und testen, wenn es nicht klappt zurückschicken.

 

[Das MatZe]

Du solltest alle deine Links noch mal überprüfen, die Geizhals Links verweisen lediglich auf gefilterte Listen und dein Amazon Link ist ungültig.

Falls du aber das Setup aus dem Screenshot so bestellen willst, klingt für mich vorerst passend.
Beachte aber, dass "On-Die ECC" != "ECC" ist und dass die von dir gewählte CPU auch kein echtes ECC unterstützt.
Mir ist bewusst, dass du gesagt hast, dass ECC nicht die Relevanz hat, ich wollte dennoch darauf hinweisen.

 

[Technico]

@KarlsruheArgus
Danke für die Ergänzung, dann haben wir AMD DDR5 fast fertig

Plattform DDR5 AMD (AM5)

• CPU: https://geizhals.de/?cat=cpuamdam4&...00~5_Grafik+(iGPU)~6679_16&sort=p#productlist
• Lüfter: https://geizhals.de/?cat=cpucooler&...E817_allAM5%7E817_fixAM5%7E823_Tower-K%FChler
• RAM: https://geizhals.de/?cat=ramddr3&xf=15903_DDR5~15903_keinSO~253_65536~440_Standard-SPD~5015_5200
• Wo setzt man beim Mainboard den Filter?

plattformunabhänig

• SSD: https://geizhals.de/?cat=hdssd&v=e&hloc=de&sort=r&bl1_id=30&xf=2028_4000~252_1920~4643_DRAM-Cache~4832_3~4836_7~4851_3D-NAND
• Case: ASUS Prime AP201 https://geizhals.de/asus-prime-ap201-90dc00g0-b39000-a2797818.html
  • ✅ Netzteil passt
  • ✅ 6x 120mm möglich
• Netzteil? https://geizhals.de/?cat=gehps&xf=18421_4~4174_ATX

Optimierung

• Mainboard ohne WiFi? (ich kann einen Stick bei Bedarf nutzen)
• SSD Kühlkörper?

Zwischenstand
Anhang anzeigen 1506167

@Das MatZe
Danke, ja der Link ist falsch. Ich meine SFP+ (10GE).
https://www.amazon.de/B01GHTXHMK
Das kann ich ja auch einfach bestellen und testen, wenn es nicht klappt zurückschicken.

Ich frage mich, warum du dich für ein A620 Chip entschieden hast?
Und dann noch dazu ITX, das Gehäuse kann auch mATX.
Ich würde hier zum B650 greifen, besser und zum Teil gleich oder billiger ist.
Dann würde ich auch andere DDR 5 speicher nehmen für ein paar € mehr und ein besserer CL-Wert
https://geizhals.de/?cmp=3046191&cmp=2952722&cmp=3059551&cmp=2876907&cmp=2876905&active=1


Oder so https://geizhals.de/wishlists/3944172

 

[ICH2009]

@Das MatZe
Das mit den Filtern ist Absicht, ich möchte sehen wo der Sweetspot zur Mindestanforderung ist.

@Technico
Der Chipsatz wurde vorgeschlagen, ich hab's einfach übernommen.
Danke, µATX ist natürlich auch ok, das Case ASUS Prime AP201 hatte ich erst jetzt einfach mal fixiert.

Plattform AMD AM5 DDR5
Schön übersichtlich, 2 oder 4TB und die größere CPU zur Auswahl.
Anhang anzeigen 1506180

Jetzt wäre noch die Frage wieviel € der Rückzug zu AMD AM4 DDR4 ausmacht, bei ähnlicher Leistung. Hat da jemand einen Vorschlag für CPU + Mainboard + RAM?

 

[KarlsruheArgus]

SSD Kühlkörper?

Gibts halt nicht ohne bzw. nicht billiger.

Als Netzteil das Pure Power 400

 

[Technico]

Jetzt wäre noch die Frage wieviel € der Rückzug zu AMD AM4 DDR4 ausmacht, bei ähnlicher Leistung. Hat da jemand einen Vorschlag für CPU + Mainboard + RAM?

Ist schon weniger Leistung, man könnte auf die IGPU verzichten?
Und dafür einen guten 12 oder 16 Kernigen nehmen, siehe ganz unten.
Aber das treibt den Verbrauch nach oben, muss man erwähnen.
https://geizhals.de/wishlists/3944135

https://geizhals.de/?cmp=2613886&cmp=2751226&cmp=1386039&cmp=2392527&cmp=2392526&active=1

 

[KarlsruheArgus]

Ich frage mich, warum du dich für ein A620 Chip entschieden hast?

Höchstwahrscheinlich weil ich es empfohlen habe und selber besitze.

Die Kiste soll zuverlässig laufen da braucht man kein OC mit JEDEC RAM erst recht nicht.

Edit:
Das ITX Board deswegen weil im Eingangspost ITX Gehäuse in der Auswahl stehen deswegen ITX.

 

[Das MatZe]

Nix für Ungut aber hier herrscht n ziemliches XY-Problem.

Es ist nach wie vor nicht klar, was genau du für Anforderungen (Workload deiner VMs) hast und wohin die Reise in der zu erwartenden Lebensdauer der Maschine eventuell noch gehen könnte. Ich werfe hier einfach mal das DIY-NAS in den Ring, insbesondere mit Blick auf die 10GbE NIC. Denn ohne NAS-Dienste machen 10GbE außer dem "habenwollen" Faktor m.E. nach wenig Sinn.
Unabhängig davon, dass zur Sekunde noch nicht bekannt ist, für welche NIC du dich nun entschieden hast.

Das mit den Filtern ist Absicht, ich möchte sehen wo der Sweetspot zur Mindestanforderung ist.

Das war mir so nicht bewusst.

Jetzt wäre noch die Frage wieviel € der Rückzug zu AMD AM4 DDR4 ausmacht, bei ähnlicher Leistung.

Und genau da möchte ich mit dem XY-Problem hin.
Geht's bei "mit ähnlicher Leistung" nur um die Anzahl an Threads, da du genau davon ein paar mal gesprochen hast? Oder sind die IPC auch relevant?
Ich denke hier bewusst auch an Hardware abseits der bekannten Consumerplattformen.
Zum Bleistift ein Board mit Intel N305 Professor oder auch "alte" Hardware vom Schlage X99 mit nem Intel Xeon. Da gibt's zur Sekunde interessante Boards auf Aliexpress. die sich zumindest auf dem Papier für solche Anwendungen eignen würden.

Hier geht's zwar überwiegend um NAS-Anwendungen aber je nach Anforderungen an die VM's, lässt sich das auch in den Bereich Virtualisierung übertragen.
https://nascompares.com/2024/02/23/...x-nas-build-ecc-pcie-gen-5-4x4-nvme-and-more/

Wie gesagt - ich betreibe zuhause n "zammeligen" Odroid H3 mit Intel N5105, quasi der Quad-Core Vorgänger des Intel N305. Für ne "Handvoll" VMs reichts auch, inkl. Datenbank und sogar ner Win10VM, welche bei Bedarf mal kurz gestartet wird. Speziell bei letzterer merkt man natürlich, dass das nicht so performant ist, muss es aber auch gar nicht sein.

@Technico die dGPU wurde zumindest initial mal vom TE ausgeschlossen wurde. Auch wenn der Kontext da ein bisschen anders war.
Tatsächlich würde ich aber, wenn ich für mich so n Ding bauen würde auch eher zur iGPU greifen um auf die dGPU verzichten zu können. Sofern diese nicht für andere Zwecke benötigt wird.

Am Ende ist die Anzahl der Threads eben nicht alles. Bei mir haben die meisten VMs auch vier Threads zugewiesen, obwohl ich auch nur derer vier auf dem Host habe. Den Rest macht der Hypervisor, dafür ist er da.

 

[KarlsruheArgus]

Es ist nach wie vor nicht klar, was genau du für Anforderungen (Workload deiner VMs)

Hoffe damit wird das ganze klar.

Aktuell habe ich eine gute Hand voll VMs verteilt auf div. Systemen welche "zusammengezogen" werden müssen, dabei habe ich ca. 30% Puffer wenn ich 16 Threads, 64GB RAM und 2TB SSD nehme. Die System nicht nicht wild, d.h. der Ressourcenbedarf hält sich wirklich in Grenzen.