News Samsung CXL 2.0 Memory Expander: Die zweite Generation bietet erst einmal 128 statt 512 GByte

[GrumpyCat]

@ETI1120 Von Sharing eines CXL-Moduls zwischen mehreren Rechnern steht da aber nichts, das würde PCIe auch kaum hergeben, und wie sollte das leitungslängenmäßig funktionieren? Speziell ab PCIe 5 gehen ja nur wenige Zentimeter.

Wikipedia hat ein bisschen was zu CXL:
https://en.m.wikipedia.org/wiki/Compute_Express_Link
Cache-Kohärenz gibt es also in beide Richtungen, allerdings ist die Latenz zehnmal höher als bei klassisch angebundenem DRAM, wobei die Module auch andere Technologien als DRAM benutzen können.

Edit: Aha, tief versteckt! https://www.computeexpresslink.org/_files/ugd/0c1418_74c3afe48bf340cdbe59af75a88f2370.pdf erwähnt auf Seite 10 eine zusätzliche Hardware "CXL Switch", mit der ein CXL-Modul von mehreren Hosts genutzt werden können soll. Na dann. Und gibt's den Switch schon?

Edit2: Wobei, wenn ich "Virtual CXL Switch" lese, sieht mir das fast eher nach "Ach wir Hardware-Hersteller wollten nur mal eine memcached-Variante bauen, die uns Geld in die Kasse spült"

 

[kiffmet]

Was ist das für ein Speicher? Ein Zwitter aus Arbeits- und Festspeicher?

Sehr viel DRAM auf einer Platine, plus Speichercontroller und PCIe Switch. So, wie es verschiedene Stufen an Caches gibt, kann man diesen quasi als "Level 2 RAM" auffassen. Ist allemal noch schneller, bzw. billiger, als das nicht mehr weiterentwickelte 3D-Xpoint, herkömmliche PCIe-Ramdisk, oder Swapping.

 

[AGB-Leser]

Achso, alles klar. Danke dir

 

[ETI1120]

CXL war ein Top Thema bei Hot Chip 34.

Vorträge und Folien sind frei zugänglich.

Die Latenz ist ca. doppelt so groß.

Für CXL 3 wird AFAIK PCIe 6 benötigt.

Ein ganz heißes Thema ist die Einbindung optischer Datenübertragung per Chiplet.

 

[andi_sco]

nutzt keinen PCIe Steckplatz

Okay, war deswegen durcheinander:

Das Modul ist augenscheinlich im eigentlich für Server-SSDs konzipierten Formfaktor E3.S gestaltet und besitzt einen PCIe-x16-Anschluss.

 

[PS828]

Also eine RAM Erweiterung über den Steckplatz. In nieschenfällen sicherlich gut aber letztlich ist das ein weiteres potentielles Milliardengrab in der Speicherwelt. Keine Ahnung wie viel Geld die Hersteller im aktuell kollabierenden markt noch verlieren wollen. Daran ändert auch das Produkt hier nichts

 

[AGB-Leser]

Die Preise für die Chips fallen doch grade, da kann man die mit solchen "Innovationen" prima vergolden

 

[senf.dazu]

Wo soll denn die Kostenersparnis herkommen, wenn in den CXL-Modulen doch wieder ganz normales DRAM verbaut wird? Das wird kaum billiger werden als klassische DRAM-Module? Also bleibt eigentlich nur, dass man so insgesamt mehr DRAM verbauen kann als nur über RAM-Slots im Board?

Und klar spart CXL2 gegenüber 1.1 Kosten, aber auch nur, weil es ein CXL1.1-Problem löst, das klassisch angebundenes DRAM noch nie hatte...?

Ich glaube, ich übersehe hier was...

Zumindest mußt du für jedes RAM Modul das du in den externen Speicher steckst keinen MIndestprozessoranteil dazukaufen wie im Falle des Mainboards.

Ist vielleicht in Clouds in denen viele Nutzerinstanzen gleichzeitig laufen schon ganz sinnig um ohne Auslagern klar zu kommen.

Ergänzung (12. Mai 2023)

Also eine RAM Erweiterung über den Steckplatz. In nieschenfällen sicherlich gut aber letztlich ist das ein weiteres potentielles Milliardengrab in der Speicherwelt. Keine Ahnung wie viel Geld die Hersteller im aktuell kollabierenden markt noch verlieren wollen. Daran ändert auch das Produkt hier nichts

Komisch - bei Apple klagen die Leute über die Unmöglichkeit den Hauptspeicher zu erweitern. Jetzt stelle man sich mal vor das der MacPro (der sicher auch den Hauptspeicher im Prozessorgehäuse hat) künftig im Unterschied zum MacStudio ein paar CXL2.0 Slots hat. Sei es für Speicher. Sei es für Rechenbeschleuniger. Sei es für schnelle I/O wie 100..400 MBIt/s Netzwerk. "Langsame" I/O wie USB4 hat der M2-Ultra ja schon einige. Sei es für Kopplung mit weiteren MacPro's.

Und die Tendenz wird dahin wandern - Hauptspeicher im Prozessorgehäuse. Vorteile beim Energieverbfauch. Vorteile bei der Datenrate. Vorteile beim CPU/GPU/.. unified Memory. Keine Prozessorpins mehr nötig für die 8..12 DRAM Speicherkanäle, bzw. werden frei für universellere I/O.

 

[GrumpyCat]

Die Latenz ist ca. doppelt so groß.
Für CXL 3 wird AFAIK PCIe 6 benötigt.
Ein ganz heißes Thema ist die Einbindung optischer Datenübertragung per Chiplet.

Puh. "Doppelte Latenz" von was im Vergleich zu was? Theoretische Specs von CXL 3 auf PCIe 6 gegenüber EDO-RAM von 1997 zufällig?

Wikipedia spricht von 10facher Latenz.

Da die normale DRAM-Anbindung auf den Boards schon schwarze Magie ist und am Limit des Machbaren läuft (oder auch häufig nicht läuft), wage ich stark zu bezweifeln, dass der durch das Durchschleusen durch gleich zwei Protokolle (PCIe und CXL) entstehende Overhead nur "doppelte Latenz" ergibt außer vielleicht bei rein linearen Zugriffen.

Und da ist Krams wie die anscheinend noch theoretischen "CXL Switches" noch gar nicht dabei.

Also ich bin voll für Innovation, aber ein klassischer RAM-Ersatz wird das nicht, vermutlich eher eine Art sehr schnelles Swap. Und die Anwendungen, die sowas nativ optimiert unterstützen, wird man dann auch an einer Hand abzählen können.

 

[ETI1120]

ich bin voll für Innovation, aber ein klassischer RAM-Ersatz wird das nicht, vermutlich eher eine Art sehr schnelles Swap. Und die Anwendungen, die sowas nativ optimiert unterstützen, wird man dann auch an einer Hand abzählen können.

Niemand will das RAM beim Prozessor ersetzen. Aber es ist nun Mal so da die Cloudbetreiber feststellen dass ihr teures DRAM nur selten vollständig genutzt wird. Deshalb suchen sie nach neuen Wegen.

Dazu gibt's auch schon einige Publikationen. Natürlich wirkt sich eine höhere Latenz bei den meisten Workloads negativ auf die Performance aus. Aber nicht bei allen Workloads gleich. Und es gibt auch einige Workloads da spielt es keine Rolle.

 

[schmadde]

@thuering
Dann sag das mal der SAP / 4 HANA Instanz da sind 8 TB weg geschnupft wie nichts.
Da biste froh um jedes GB RAM was du bekommen kannst.

Und was willst Du in so einem System mit läppischen 128GB?

Server mit 8TB RAM (oder DCPMM) und mehr sind in sehr großen Unternehmen heutzutage nichts ungewöhnliches mehr.
Auch nicht in Deutschland. 16TB RAM habe ich schon in einem Server gesehen.

Mich würde auch interessieren, wie man 8 TB oder 16 TB für HANA realisiert bekommt. Bis einschliesslich Cascade Lake gibts nur 6 Speicherkanäle, da gehen gar keine 8 TB. AMD ist nicht von SAP supported. Ice Lake gibts nur für 2 Sockel Systeme, da bräuchtest Du für 8 TB 256GB DIMMs, die nicht lieferbar sind.

16 TB ginge nur mit Sapphire Rapids und bei 4 Sockel Systemen mit 256GB DIMMs. Beides noch nicht lieferbar. PMEM gibts bei Sapphire Rapids nicht mehr. Und was anderes als 1:1 ist von SAP IIRC auch nicht supported.
Evtl. ginge das bei SR mit 8 Sockel Systemen, aber auch die noch nicht verfügbar.

Mich würde ehrlich interessieren wie Ihr das gemacht habt, denn unsere SAP Leute fragen schon lange nach Systemen mit 8, 10 oder 12 TB RAM.

Ergänzung (12. Mai 2023)

Niemand will das RAM beim Prozessor ersetzen. Aber es ist nun Mal so da die Cloudbetreiber feststellen dass ihr teures DRAM nur selten vollständig genutzt wird. Deshalb suchen sie nach neuen Wegen.

Dafür hätte es ja Optane gegeben als SSD oder PMEM. Es wollte nur kaum jemand haben, drum hat Intel das begraben. Ich frag mich auch, was man da mit mickrigen 128 GB pro "Drive" erreichen will.

 

[GrumpyCat]

Natürlich wirkt sich eine höhere Latenz bei den meisten Workloads negativ auf die Performance aus. Aber nicht bei allen Workloads gleich. Und es gibt auch einige Workloads da spielt es keine Rolle.

Hört sich wie Swapfile auf NVMe an.
Aber halt! Das würde ggf. dem Kunden auffallen. Also besser was anderes nehmen, das zwar auch langsam ist, aber in der Statistik nicht so auffällt?

Naja. Schaun wir mal, vielleicht wird das ja auch supertoll.

 

[konkretor]

@schmadde So ein Server hat diverse PCIe Lanes da kannst mehr wie ein solches 128 GB Teil reinstopfen. Das sollte dir doch klar sein.


AMD ist SAP zertifiziert, die Ankündigung ist von 2021 siehe mein link

[IMG]https://www.computerbase.de/forum/attachments/1674727197777-png.1316707/[/IMG]


Ich verweise hier auf den Post vom Januar 2023 wo schon mal behauptet wurde AMD kann nicht auf SAP genutzt werden.

https://www.computerbase.de/forum/t...-benchmarks-aufgetaucht.2127459/post-27816810

Wenn du mehr RAM willst im SAP System bleibt dir nur die Möglichkeit statt 2 Sockel pro Server, auf 4 oder sogar 8 Sockel zu gehen. Auch sollte man sich mal IBM Power Systems wieder anschauen, da geht auch relativ viel was RAM angeht. 16 TB sind bei einem 4 Sockel System bei IBM ohne Probleme möglich.

Hier mal als Beispiel wie die Teile aussehen wenn 8 Sockel verbaut sind

https://www.supermicro.com/products/system/7U/7089/SYS-7089P-TR4T.cfm

Da bekommst 128GBx96 Module rein, was dann 12 TB RAM bedeutet.

 

[AlphaKaninchen]

Wo soll denn die Kostenersparnis herkommen, wenn in den CXL-Modulen doch wieder ganz normales DRAM verbaut wird? Das wird kaum billiger werden als klassische DRAM-Module? Also bleibt eigentlich nur, dass man so insgesamt mehr DRAM verbauen kann als nur über RAM-Slots im Board?

Ist das gleiche wie bei den Konsolen und anderen APUs mehrere Recheneinheiten teilen sich den RAM, statt also z.B. die DB einmal im Arbeitsspeicher der CPU und einmal im Arbeitsspeicher eines Beschleunigers z.B. FPGA, GPU, TPU zu haben liegt sie auf diesem RAM Modul auf das alle zugreifen.

Ergänzung (12. Mai 2023)

Und die Tendenz wird dahin wandern - Hauptspeicher im Prozessorgehäuse. Vorteile beim Energieverbfauch. Vorteile bei der Datenrate. Vorteile beim CPU/GPU/.. unified Memory. Keine Prozessorpins mehr nötig für die 8..12 DRAM Speicherkanäle, bzw. werden frei für universellere I/O.

Ja, auf der anderen Seite warte ich seit bald 5 Jahren auf eine x86 (Desktop/Mobile) CPU die das macht... Bei Apple ist es ja schon so.

 

[Atkatla]

Mich würde auch interessieren, wie man 8 TB oder 16 TB für HANA realisiert bekommt.

In einem 2Sockel-16Gen-Intel-Dell-Blade kannst du schon 8 TB unterbringen. 32 DIMM Sockel mit je einem 256G RDIMM, 4800MT/s Octo Rank .
https://www.dell.com/de-de/shop/povw/poweredge-mx760c

 

[schmadde]

AMD ist SAP zertifiziert, die Ankündigung ist von 2021 siehe mein link

Danke für die Info, dann haben mir das die SAP Kollegen bisher vorenthalten - das große HANA Cluster ist schon älter als die Ankündigung

Wenn du mehr RAM willst im SAP System bleibt dir nur die Möglichkeit statt 2 Sockel pro Server, auf 4 oder sogar 8 Sockel zu gehen.

Unsere HANA Systeme waren bisher schon 4 Sockel. Aber wie gesagt gabs das ja bisher nur mit 6 Speicherkanälen da kommt man weder auf 8 noch auf 16 TB. Und 8 TB würde bei 2 Sockel 256GB DIMMs bedeuten, die bestehen bisher aus Unobtainium. Oder hast Du schon welche bekommen?

https://www.supermicro.com/products/system/7U/7089/SYS-7089P-TR4T.cfm

Da bekommst 128GBx96 Module rein, was dann 12 TB RAM bedeutet.

8 Sockel Systemen kauft man bei "Supermicro"? Das erstaunt mich, bei Firmen die sowas kaufen gehe ich davon aus, dass Rahmenverträge mit einem der ganz großen Hardware-Hersteller bestehen und nicht mit Bastelbuden. Unser Supplier hat keine 8 Sockel im Angebot

In einem 2Sockel-16Gen-Intel-Dell-Blade kannst du schon 8 TB unterbringen. 32 DIMM Sockel mit je einem 256G RDIMM, 4800MT/s Octo Rank .

Woher die 256GB RDIMM? Ich habe mit Leuten gesprochen, die es geschafft haben an Artikelnummern zum bestellen ranzukommen, aber keinen der auch tatsächlich welche bekommen hat.

https://www.dell.com/de-de/shop/povw/poweredge-mx760c

Lieferbar in der Zukunft, aber nicht in der Vergangenheit. Ich hab bis grade eben schon einen (Vorserien!) 760er gehabt (weiss nicht ob schon wieder abgeholt) aber nur mit NDA und Unterschrift, dass der auf absolut gar keinsten Fall auch nur in die Nähe von Produktiv Workload kommt und angeblich sind wir speziell Auserwählte die die ersten Systeme zum testen bekommen haben. Und mit Bericht schreiben, Meetings usw.

Kann mir nicht vorstellen, dass das irgendwo schon so im Einsatz ist.

 

[Atkatla]

@schmadde Naja, die 16. Generation ist ja auch erst demnächst ready-to-order, aber der Liefertermin ist jetzt auch nicht mehr sooo weit weg. Wir werden wohl auch einen Cluster mit MX760c ausrüsten und ich hoffe die Teile sind in Ordnung. Die 15. Generation lief bisher anstandslos in einem anderen Cluster.

 

[chiccoffm]

CLX soll in Zukunft ein Großteil der Data Center Infrastruktur übernehmen. Der Speicher hier ist quasi nur ein Erzeugnis aus den Möglichkeiten dieser Technik. Sinnlos klingt es auf jeden Fall nicht. Wer mehr erfahren möchte, liest hier mehr darüber:
https://www.datacenter-insider.de/w...ress-link-a-04a640903a55a535f2832df37c5e733e/

 

[xexex]

Mich würde auch interessieren, wie man 8 TB oder 16 TB für HANA realisiert bekommt. Bis einschliesslich Cascade Lake gibts nur 6 Speicherkanäle, da gehen gar keine 8 TB

Dir ist aber schon bewusst, dass 6 Speicherkanäle nicht 6 Module bedeuten oder? Nur um mal ein Beispiel zu nennen.

https://www.wwt.com/article/memory-population-guidelines-for-intel-3rd-gen-xeon-scalable-processors

 

[schmadde]

Dir ist aber schon bewusst, dass 6 Speicherkanäle nicht 6 Module bedeuten oder?

Ja. Es bedeutet 2x6 Module pro CPU, also 12.

Nur um mal ein Beispiel zu nennen.

Das ist ein schlechtes Beispiel, denn es betrifft Xeon SP 3.Gen, der 8 Speicherkanäle hat, aber nur 2 Sockel unterstützt.