News Genoa (Zen 4): AMD Epyc unterstützt 12 TB RAM und DDR5-5200

[Skysnake]

Ja der Maximalausbau vom RAM ist eher theoretischer Natur. Es gibt wirklich sehr wenige Leute die wirklich darauf angewiesen sind. Und wenn doch steht da auch mal eher ne SystemZ oder vergleichbares. Die größten DIMMs waren schon immer Sack teuer und hatten eigentlich auch immer ne schlechtere Performance was Latenz und/oder Bandbreite anbelangt. Der nicht ums verrecken auf eine SMP Maschine angewiesen ist läuft eigentlich mit mehr Kisten bei weniger RAM pro Kiste immer besser. Bekommt dann ja auch mehr Bandbreite und CPU Performance.

Und selbst die multinode SMP Kisten wie Power9 usw oder bei x86 die alten SGI und jetzt HPE mit NumaLink nehmen.

Gibt also durchaus Alternativen. Für die meisten ist eher ein Problem, dass selbst sie kleinsten Kisten inzwischen ganz schön ins Geld gehen man sollte ja jedem Channel belegen. Das sind aktuell also 8 und später dann 12 DIMMs. Die 8GB gibt es aber ja quasi nicht mehr als ECC, bzw die 16GB sind kaum teurer, das sich das nicht lohnt und man statt 80€ für 8GB hält 90€ für 16GB Riegel bezahlt. Hat man also mindestens 8GBx8=64GB bzw 8GBx12=96GB für Single socket oder 128GB bzw 192GB für Dual Socket. Kleiner geht es gar nicht mehr. Und da sind wir dann halt schon bei Kosten von 8x80/90=640/720€ bzw 960/1080€ wobei ddr5 ja erst mal noch teuer sein wird. Da bewegt man sich so langsam in dem Bereich was die kleinen CPUs kosten. Das ist schon heftig. Und wenn man an Dual Socket denkt biste bei 1280/1440€ aktuell bzw 1920/2160€ mit den neuen Systemen. Das ist schon echt richtig Geld, das man in eine Kiste stecken muss. Da wundert es auch echt nicht, dass die Preise pro Kiste seit ein paar Jahren nur noch den Weg nach oben kennen.

 

[Antar3s]

Sorry aber wer Systeme mit solchen server chips bestellt für den sind 2k€ für RAM peanuts. Billigste server die ich so zusammenstelle kosten Liste locker 20k€ aufwärts, auch schonmal gerne mehr als 100k€

 

[Skysnake]

Naja, nen 24 core bekommste für 1.5k, nen 32core Epyc für 2k. Die Mehrkosten für den TAM entsprechen also eine CPU Größe in etwa.

Und da ist es egal, ob du 10k oder 100Mio ausgibt. Es werden dann halt einfach weniger Systeme.

Bei uns würde sich so mancher Kunde freuen, wenn es die 8GB dimms für den halben Preis der 16GB dimms geben würde. Das reicht denen oft. Die nehmen dann lieber paar Server mehr, wegen insgesamt mehr Bandbreite.

 

[fdsonne]

Das breite Volk sind die Geschäftskunden, und da ist die IPC Performance nicht das wichtigste.

Aber anders als die Medien und Foren suggerieren - die Core Anzahl ist es hingegen aber genau so wenig
Selbst ob das jetzt DDR5 oder PCIe 5.0 ist, ist eher für die Masse uninteressant. Epyc entwickelt sich in der Form eher zu einem HPC Produkt. Leider wird das selten dazu erwähnt... Ich frag mich mittlerweile, wie AMD da in Zukunft einen Brot und Butter Servermarkt etablieren will, wenn das so weiter geht, wie sie bis dato agieren.

Während Intel nach bisherigen Infos mit dem Tilebased Xeons einfach die Tiles wegkürzt und damit der Spaß skalieren kann/soll (wie genau, ist noch nicht ganz klar), wird AMD hier früher oder später ein Thema haben, wo die kleineren Bedürfnisse wie heute schon im Entry Level Bereich einfach nicht mehr abdeckbar sind. Oder nur mit Produkten, die völlig Overkill und zu teuer sind.

Leider ist die Krux an der Sache und was die System immer so teuer macht ist aber der RAM und wenn der Preis nicht extrem fällt, werden es sich viele Cloud Anbieter mehr als 2x überlegen, ob sie dafür aufrüsten.

Ja, RAM ist nicht gerade ultra günstig, aber so ultra teuer jetzt auch nicht. Die VDI Lösungen kommen ja jetzt nicht mit sonst wie vielen TB an RAM Bedarf. Das ist vergleichsweise human.
Auf 96C per 4xvCPU kommst du auf 24 Instanzen. Lass uns Überbuchen, Faktor 4, sind wir bei 96 Instanzen. Gib jeder Instanz 16GB RAM und du bist bei 1,5TB. Das sind doch (vergleichsweise) Peanuts...

Verstehe ich richtig, dass wir hier bei 12TB pro CPU-Sockel sind und man somit mit lediglich 2 Sockeln schon bei 24TB wäre?
Bei unseren Intel-basierten Lenovo SR950 braucht es noch 8 CPUs und die 12 - 24TB RAM zu realisieren.

Jain.
Es kommt drauf an, was du damit vor hast. Bei Epyc benötigst du eine entsprechend hohe Anzahl an Threads verteilt über ALLE Compute Dies um die RAM Menge auch entsprechend schnell nutzen zu können. Sonst ist die Menge zwar da, aber jeder Thread ist limitiert auf die Bandbreite eines IF Interconnects zwischen dem Compute Die und dem IO Die. Bisher war die Bandbreite soweit gekürzt, dass ein Compute Die lesend zwei Speicher Kanäle ausfahren konnte, aber schreibt nur einen. Heist, 8x Milan Compute Dies = 8CH Schreibbandbreite auslastbar. Oder 4x Milan Compute Dies = 8CH Lesebandbreite. Logisch jeweils über die volle Speichermenge. Beim kommenden Genoa kommen jetzt 12 Compute Dies und 12CH Memory. Die IF Bandbreite wird sich (wahrscheinlich) verdoppeln -> PCIe 4.0 auf 5.0. Die Speicherbandbreite hingegen nicht ganz. DDR4-3200 > DDR5-5200. Im Vollausbau sogar nur DDR5-4000.

Bei deinem Intel Vergleichssystem ist das nicht viel anders, eher noch einen Zacken schärfer, weil da noch dazu kommt, dass die 8P Kiste aus 8x NUMA Nodes besteht. Das Grundproblem ist aber nicht so viel unterschiedlich. Du benötigst neben einer NUMA aware Software mindestens acht Threads, wo jeder Thread auf einem Prozessor laufen muss um die volle Bandbreite ausfahren zu können. Die NUMA awareness fällt bei Epyc weg, weil das ein Singe NUMA Node Design ist, wenn du das nicht anders konfigurierst. Die Software sollte den internen Aufbau aber schon verstehen, sonst deckelt das einfach oben an und skaliert nicht.

Allerdings hinkt der Vergleich am Ende doch etwas. Weil dein Alt Intel System ist Technik von vor 5 Jahren. WENN dann sollte man das unveröffentlichte AMD System mit dem unveröffentlichten Intel vergleichen. Sapphire Rapids mit 8CH und wahrscheinlich Optane Support könnte das möglicherweise auch auf 1-2 Sockeln hinbekommen Und je nachdem, wie gut oder schlecht das mit den Tiles bei Intel funktioniert, könnte sogar der Bedarf an Threads für volle Bandbreite geringer sein als bei AMD. Hier wird sich noch rausstellen müssen, wie viel Bandbreite die interne Verbindung zwischen den Tiles bei Intel liefert und ob die IO Parts an den Tiles hängen oder separat. Sprich ob halbe Tile Anzahl auch halbe Bandbreite bedeuten oder nicht. Bei AMD skaliert das über die Anzahl, weil die IF Connects zwischen IO Die und Compute Dies sehr schmal sind. Bei Intel hingegen ist das atm nicht der Fall bzw. nur, wenn man Mehrsockel Systeme nutzt.

 

[Mursk]

Ideal wäre gar kein Support für SAP.
Man geht mir dieses unintuitive Monster auf den Keks...

Na, fänd ich doof. Verdiene damit ganz gut Geld. ;-)

Und in Walldorf sehen sie das sicherlich auch anders.

 

[Popey900]

Hat diese große RAM Größe Bei Servern große Vorteile? Welche Anwendungsgebiete?

 

[PS828]

@Popey900 Datenbanken sind da zu nennen. Aber auch große storage Server nutzen RAM als ARC bzw die Hälfte Davon. Auch wird gerne der RAM gespiegelt wenn man zwei DIMMs pro Kanal hat. Zwar Hälfte der Kapazität aber man hat Ausfallssicherheit der daten zu jedem Zeitpunkt.

Beim computing ist das auch hilfreich weil sich Teilergebnisse teilweise auf gigantische Größen ausdehen können. Wenn man 256Threads hat oder mehr pro Server dann sowieso. Will alles gefüttert werden und möchte daten vorgehalten haben.

RAM kann man nie genug haben

 

[Novasun]

In der News geht es nunmal um die Epyc Welt und nicht die Desktop CPUs davon.
Die einem Million VDI Anbieter freuen sich extrem auf den neuen Zen4.
Für die heißt es dann, ich bekomm nicht mehr 128 Kerne in eine HE sondern 192.
Leider ist die Krux an der Sache und was die System immer so teuer macht ist aber der RAM und wenn der Preis nicht extrem fällt, werden es sich viele Cloud Anbieter mehr als 2x überlegen, ob sie dafür aufrüsten.

Cloud Anbieter überlegen gar nicht. Mal die Wachstumsraten gesehen die letzten Jahre. Und ständig neue Rechenzentren ausm Boden stampfen geht halt auch nicht. Also muss in bestehenden der Platz besser genutzt werden.

 

[PHuV]

Hat diese große RAM Größe Bei Servern große Vorteile? Welche Anwendungsgebiete?

Datenbanken wurden bereits genannt. Sobald Programme und Anwendungen besser und effizienter mit RAM umgehen können, ist die Verarbeitungsgeschwindigkeit um Faktoren performanter als selbst über SSDs. Beispiel mit einer Anwendung und JVM, die nur 5 GB RAM hatte, und als man ihr das doppelte gab, brauchte das Programm anstatt 8 Stunden nur noch 2. Genauso Exports und Imports, BigData Anwendungen, Data Science, wo große Datenmengen verarbeiten werden müssen, ist mehr RAM ein Segen. Suchen, Indizieren, Sortieren, Selektieren geht alles über RAM immer viel schneller als Zwischenspeichern und über einen Datenträger permanent lesen und schreiben.

Ebenso gieren VMs auf einem Server nach RAM. Je nach Server ist eher das RAM als die vCPUs das Limit.

 

[t3chn0]

Es ist einfach nur krass was wir in den letzten 5 Jahren hier für Steigerungen erleben. Das knallt die Infrastruktur weltweit auf ein komplett anderes Level.

Letztendlich wechseln nicht viele sofort auf eine neue Architektur. Was aber theoretisch möglich ist, ist einfach nur krass.

Für so viel Rechenleistung musste man noch vor wenigen mehrere Bleche zur Verfügung stellen. Das ist einfach nur heftig.

 

[Skysnake]

Ja, der Verbrauch geht aber auch hoch. Mit Luftkühlung haste inzwischen halb leere Racks.

Das ist schon bedenklich. Aber auch für den Strom sieht es nur bedingt besser aus. Die Rechenzentren kann man doch gar nicht mehr wirklich voll stellen, weil schon der Strom nicht reicht. Ganz zu schweigen von der Kühlung...

Klar kann man nen neuen Traffo oder zwei oder drei hinstellen, aber dann ist meist auch direkt wieder die Mittelspannungsleitung zu klein. Brauchst also da auch ne Neue, oder gleich Hochspannung. Dafür haste dann aber nicht mehr den Platz o_o und vom Preis reden wir mal lieber nicht. Das ist schon alles ziemlicher Wahnsinn, was da noch auf uns zurollt bei den großen Zentren.