AMD Epyc Speicherbandbreite und RAM-Bestückung

[Olli86]

Hallo,

ich hätte ein paar Fragen zum AMD Epyc.

Es geht um diese Modelle:

• AMD Epyc 7262 (128MB Cache, 155W, 8/16 Cores, 204.9GB/s)
• AMD Epyc 7282 (64MB Cache, 120W, 16/32 Cores, 85.3GB/s)

Beispiel für Arbeitsspeicher: DDR4 2666 Mhz = 21,3 GB/s

Ist es richtig, dass wenn ich von den 8 Speicherkanälen nur 4 Bestücke, beim 7282 dann auch nur rund 50% (ca. 42GB/s) genutzt werden?
Oder würden bei 4 Modulen 4 x 21,3GB/s = 85,2GB/s ausgenutzt werden.

Ich hatte mir zuerst einmal den 7262 ausgesucht und würde dann doch gerne den 7282 nehmen, alleine schon wegen dem Energieverbrauch. Wenn aber nur 50% der Speicherbandbreite genutzt werden würden, wäre das ja doch schon ein großer unterschied mit einer Halbbestückung.

Gruß, Olli

 

[IBISXI]

Richtig ist, wenn Du nur die halben Speicherkanäle nutzt, geht Dir die halbe Speicherbandbreite flöten.

Ob die Werte stimmen, muss ich kurz nachsehen.

Warum hast Du dir überhaupt EPYC ausgesucht?

 

[cvzone]

Wie ergibt sich überhaupt dieser große Unterschied bei "Per Socket Mem BW", wenn beide DDR4 3200 und 8 Channels haben?

EDIT: Ah, scheint absichtlich gebremst ("optimized"...) zu werden...

 

[yoshi0597]

Ist es richtig, dass wenn ich von den 8 Speicherkanälen nur 4 Bestücke, beim 7282 dann auch nur rund 50% (ca. 42GB/s) genutzt werden?

Das wäre die Hälfte von der Hälfte.
Wenn man dein Beispiel nimmt, dann hat man mit jedem dazugesteckten Arbeitsspeicher eine Bandbreitenerhöhung um jeweils 21,3 GB/s. Bei 4 Stück sind das dann die 85,2 und bei 8 Stück eben nochmal das doppelte 170,4.
Hab mal das von der AMD Seite gepostet:
"Performance optimized to 4 channels with 2667 MHz speed DIMMs for the following models: AMD EPYC™ 7282, AMD EPYC™ 7272, AMD EPYC™ 7252, and AMD EPYC™ 7232P processors. Additional memory channels will not increase overall memory bandwidth. "
Das ist aber irgendwie merkwürdig, finde ich.

 

[Nizakh]

Das sind die sehr günstigen Modelle, welche bei der Bandbreite auf 4 Speicherkanäle limitiert sind.
Hier noch eine gute Übersicht: https://www.thomas-krenn.com/de/wiki/AMD_EPYC_7002_Rome

Letztendlich ist es alles eine Frage: Was soll auf dem Server betrieben werden?
Wenn Octa-Channel vollwertig genutzt werden soll, dann wäre vllt. (bei einem Single-Socket Server) der AMD Epyc 7302P interessant.

 

[Kampfkeks94]

Hier gibts weitere Infos zu dem Thema
https://www.servethehome.com/amd-epyc-7002-rome-cpus-with-half-memory-bandwidth/

Zur Frage: Wenn du den 7282 mit 4 Riegeln bestückst, kommst du bei den 85,2 GB/s raus. Die weiteren 4 Riegel bringen keine Erhöhung der Bandbreite, nur der Kapazität. Effektiv ist 7282 also ein Quad-Channel Chip, der 7262 ein Qcta-Channel Chip. Beachte den größeren Cache des 7262, je nach Anwendung steigert der die Leistung enorm.

Zum Energieverbrauch: der 7262 benötigt durchgängig weniger Leistung als der 7282, da darf man sich nicht von der TDP lenken lassen.
vgl.:
https://www.servethehome.com/amd-epyc-7282-benchmarks-and-review/
https://www.servethehome.com/amd-epyc-7262-review-low-core-count-huge-caches/

 

[SoDaTierchen]

Oder würden bei 4 Modulen 4 x 21,3GB/s = 85,2GB/s ausgenutzt werden.

Ja. Speicherkanäle rechnest du "von unten", also 4 x 21,3 GB/s = 85,2 GB/s. Die Prozessoren, die auf 85 GB/s gecappt sind, erreichen diese Leistung schon bei 4 Kanälen. Die anderen 4 Kanäle bieten einfach keine Mehrleistung bezogen auf die Bandbreite.

 

[Olli86]

Danke euch! Deswegen liebe ich Computerbase, super Antworten.

Auf dem Server sollen erstmal folgende Anwendungen drauf und mit der Zeit noch einiges mehr. Möchte halt auch genug Luft nach oben haben und erstmal nicht nachrüsten müssen.

Ob Proxmox oder ESXI bin ich mir noch nicht ganz sicher. Wobei Proxmox mit 85€/Sockel jährlich ja echt ne schöne Sache ist.

• Windows Server 2016 (Produktiv: Domänecontroller/DNS/DHCP/Mailserver/IPsec etc.)
• Windows Server 2016 (als Testserver)
• Ubuntu Server (Postgres-Datenbank)
• Ubuntu Server (KODI-Streaming für meine Bluraysammlung)
• Ubuntu Server (Cardano-Stakepool)
• Ubuntu Server (Restya-Board)
• Ubuntu Server (OpenVPN)
• mehrere kleine Ubuntu Server (verschiedene kleinere Gaming-Server)
• Ubuntu Server (Teamspeak)
• Ubuntu Server (Wiki)

eventuell noch eine kleine Cloud, habe gerade nicht alles im Kopf...

Hier die Hardware die ich bis jetzt ausgesucht hatte. Ich bin noch in der Planungsphase, konnte mich bisher noch nicht mit allem im Detail beschäftigen:

• AMD EPYC 7262 oder 7282
• Supermicro Server Mainboard H11SSL-I Rev. 2.0
• 4x 32GB Samsung M393A4K40CB2-CTD bulk DDR4-2666 regECC DIMM CL19 Single
• (für die VM´s / Raid1) 2x 1000GB Crucial P1 NVMe M.2 2280 PCIe 3.0 x4 32Gb/s 3D-NAND QLC
• (für den Storage / Raid5) 3x 3000GB Toshiba P300 High-Performance HDWD130UZSVA 64MB 3.5" (8.9cm) SATA 6Gb/s
• dann noch 2 kleine Switche und eine USV

 

[Kampfkeks94]

Proxmox wird pro Sockel lizensiert, nicht pro Core.

Ich vermute, dass der 7282 mit 16 Kernen für deinen Anwendungsfall besser passt.

Als Denkanstoß: ggf. lassen sich einige deiner Services in Containern betreiben, dann ist der Ressourcenoverhead pro Service nicht so groß.
Ich bin mir nicht sicher, ob die SSDs für diese Multiserver/Multiuser Umgebung richtig sind (ggf. eine Intel Optane SSD?).

Ein spannendes Projekt allemal!

Edit: Ich würde mir überlegen, ob ich nicht noch 34€ pro Riegel für 3200MHz Ram drauflegen würde, was die Performanceeinbußen des Quad-Channel Chips etwas ausgleichen würden.

 

[yoshi0597]

@Olli86 Finde, dass das ein spannendes Projekt ist!
Ich würde es ähnlich wie Kampfkeks mit einem schnelleren Arbeitsspeicher @3200Mhz versuchen und ebenfalls den 16 Kerner nehmen.
Du benötigst aber noch Adapter, denn das Mainboard hat nur einen M.2 Slot.
Eine Intel Optane SSD klingt zwar echt geil, aber die Preise sind jenseits von Gut und Böse.
Ich würde aber nicht die Crucial P1 SSD verwenden, da du dort nur eine äußerst geringe 200TB Garantie hast. Die Gigabyte SSD bietet wenigstens 1.600TB (1,6PB) Garantie oder die PNY XLR8 bzw. eine aus deren Liste (evtl. auch die Garantie des Herstellers durchforsten).

Während ich das hier schreibe ist mir allerdings noch folgende Idee eingefallen:
- Du kaufst dir einen M.2 Adapter, sodass du die SSDs wie eine Grafikkarte in den PCIe Slot packst. z.B. sowas
-> Dort verbaust du deine SSDs für VM etc.
- Du kaufst dir dann eine Intel Optane DC P4801X 100GB oder Intel Optane DC P4801X 200GB und nutzt sie als Cache (falls du das implementieren kannst) Mit 10,9PB bzw. 21,9PB sollten diese gerade für diesen Anwendungsbereich perfekt geeignet sein.

 

[Olli86]

@Kampfkeks94
Meinte ja Sockel hatte mich verschrieben, habs korrigiert.

Mit den 3200Mhz würde mir aber doch beim 7282 nichts bringen, da ich mit 4 x 2666Mhz auch schon bei 85.3GB/s bin. Mehr Speicherbandbreite lässt die CPU ja nicht zu.

@Yoshi
Ja das mit dem Adapter hatte ich auch eingeplant, da das Supermicro Board nur einen M2 Port onboard hat.
In dem Fall hast du natürlich recht, die Gigabyte SSD behalt ich schonmal im Hinterkopf.

 

[Kampfkeks94]

Die 85,3 GB/s sind mit 2666MHz errechnet worden, mit 3200MHz liegst du bei 95,4GB/s. Ob das dann noch Spezifikationen entspricht, kann ich grade nicht herausfinden.

 

[SoDaTierchen]

Proxmox ist nur kostenpflichtig, wenn du ein Supportlevel dazu haben möchtest. Die Nutzung selbst ist kostenfrei. Die Lizenzgebühren gelten außerdem pro Sockel, nicht pro Core.
Da du auch einige ... nunja, "resourcenintensive" Anwendungen hast, bzw. Anwendungen, die in Echtzeit rechnen sollen, würde ich eher zum 7282 raten. Die Windows-Lizenzen sind damit exakt gleich teuer, du sparst dir aber nervige Performance-Artefakte durch Overprovisioning, da du potentiell genug Kerne hast.

Beim RAM ist die Performance ziemlich egal in deinem Fall, da postgres die einzige Anwendung wäre, die davon großartig profitiert, aber postgres unterstützt keine in-memory-Datenbanken. Das 4Kanal-Interface mitnehmen, aber es muss nicht unbedingt hochtaktender Speicher sein. ECC ist da relevanter.

@yoshi0597 : Das ist eine sehr schöne Idee mit der Optane, aber ich sehe in der Liste keine I/O-intensiven Anwendungen. Schon die Nutzung von NVMes scheint mir hier ein Overkill. Eine technische Spielerei von großem Vergnügen, ohne Zweifel, aber ich denke, nötig ist das nicht.

Das Board hat nur einen M.2-Steckplatz. Verzichte hier ruhig auf die NVMe-SSDs, normale SATA-SSDs liefern dir auch ausreichend Leistung, dafür sparst du dir eine Controller-Karte.

Noch ein kleiner Tipp: Versuche für dein Vorhaben einen (gebrauchten) Raid-Controller zu ergattern. Die Onboard-Lösungen sind ziemlich sicher Software-Raids, was es Schwierig machen könnte, ein Proxmox oder esxi davon zu booten oder sie zu überzeugen, das Raid anzuerkennen. Alternativ lassen sich beide Systeme auch von einer SD-Karte booten, dann wäre zumindest die Boot-Problematik raus - mit Softwareraids haben die sich trotzdem manchmal sehr zickig.

 

[Olli86]

@Kampfkeks94
Meinte damit das AMD angibt das die maximale Bandbreite per Socket bei 85.3 GB/s liegt.

@SoDaTierchen
Ja Proxmox wäre kostenfrei, aber wenn ich sowas nutze bin ich auch gerne bereit die 85€ im Jahr für die Community Edition zu zahlen und so die Entwickler zu unterstützen.

Proxmox oder ESXI würde ich eventuell gerne auf USB-Stick oder SD-Karte (hat das Supermicro beides onboard) packen. Die SSD´s sollen dann nur für die installierten VM´s sein.