News Intel Xeon SP: Mit Cascade Lake-SP zu 30 TByte RAM im 2U-System

[Volker]

Intels Optane-Technologie ist bekanntlich nicht nur für SSDs, sondern auch für RAM angedacht. Das hat insbesondere für Server einen sehr positiven Effekt. Statt „nur“ 768 GByte oder 1,5 TByte pro Prozessorsockel wie bei den aktuellen Skylake-SP zu unterstützen, werden es in Zukunft mit Cascade Lake-SP bis zu 3,84 TByte RAM sein.

Zur News: Intel Xeon SP: Mit Cascade Lake-SP zu 30 TByte RAM im 2U-System

 

[DefconDev]

Der Hintergrund für die krumme Zahl von 3,84 TByte RAM pro Sockel ist die Vermischung aber auch Limitierung der Speichertechniken.

 

[hroessler]

Denn am Ende ist Kapazität nicht immer alles.

Beim Speicher gilt nach wie vor...mehr geht vor schnell, insbesondere bei Servern. Der Mix aus beidem ist natürlich optimal.

Was jetzt der Mix aus DDR4 + Optane wirklich bringt bzw. kostet werden wir ja noch sehen....

greetz
hroessler

 

[Crass Spektakel]

Mittels des Linux-ZSwap-Treibers verschwimmen die Grenzen zwischen RAM, NOR-Flash oder Optane, NAND-Flash und Plattenstapeln ohnehin. Vereinfacht gesagt reserviert man ein paar Prozent vom Hauptspeicher für komprimierte Speicherkacheln die dann priorisiert erst aufs NOR, dann aufs NAND und zuletzt auf Plattenstapel geschrieben werden. Dank sehr effizientem Caching und Elevator hat man in 99,9% der Fälle fehlende Kacheln im RAM-Cache.

Wir hatten bei einem Rechner die Wahl zwischen "von 32 auf 128GB aufrüsten" und "1TB M.2 SSD und ZSwap nachrüsten". Ein kurzer Vergleichstest zeigte selbst bei relativ RAM-hungrigen Anwendungen wenig Unterschied, im Gegenteil, wir konnten ein Speichermodell mit 500GB anstatt 100GB nutzen und kamen unterm Strich sogar auf mehr Leistung. Das mag von Anwendung zu Anwendung etwas anders aussehen aber absolut zufällige RAM-Zugriffe auf 500GB Daten sind definitiv eine grenzwertige Ausnahme, selbst eine hochfrequentierte Datenbank bleibt relativ lokal.

Unsere aktuellen Werte: 32GB RAM, davon 4GB RAM-Cache, 60GB NOR-Flash über Linux-MTD-Support (war defakto eine Fehlanschaffung weils kaum 1-2% Mehrleistung bringt, wird probehalber durch Optane ersetzt und notfalls kommt beides auf den Müll wegen KISS-Prinzip: Keep It Simple Stupid), 1024GB NAND-Flash und 16TB HD-RAID.

Rein nach Bauchgefühl würde ich sagen dass die beste Kombo derzeit viel RAM und grosse M.2-SSD mitbringt. Das ganze Zwischengeraffel mit NOR, Optane usw kann man sich gelinde gesagt schenken und die Plattenstapel sind auch reichlich irrelevant, die können meinetwegen sogar über lahmes Fiberchannel-SCSI oder Ethernet-iSCSI ganz weit weg stehen.

 

[Mad79]

Beim Speicher gilt nach wie vor...mehr geht vor schnell, insbesondere bei Servern

naja .. die aussage trifft natürlich auf Geschwindigkeitesunterschiede innerhalb von DDR4 zu.. wenn aber DDR4 500x so schnell ist wie optane memory wird man mal genauer schauen müssen ob es was bringt. Ich vermute das nur spezielle Anwendungsszenarien profitieren, sonst hätte Intel das Thema schon früher vorziert. Optane gibt es ja prinzipiell schon ne Weile.

 

[digitalangel18]

Hm, wo liegt denn dabei der Vorteil zum Cachen auf sehr schnellen PCIe SSDs? Die kann man quasi in unendlicher Größe anschließen. Wobei ich mich auch Frage, was genau man denn da Cachen möchte, ist ja nicht so, dass 1,5TB Ram wenig wären. Irgendwann braucht man auch gar nicht mehr möglichst schnellen RAM, wenn man nichts mehr hat, was man rein packen kann. Dann tuts auch das Auslagern der Daten in einen langsameren Speicher.

 

[bellencb]

Mit entsprechender Skalierbarkeit der Systeme auf bis zu acht Sockel werden ... 30 TByte RAM in einem 2U-System möglich.

Wenn ein System mit 2 Sockeln 7.68 TB enthalten kann, sind es bei einem System mit 8 Sockeln 4 x 7.68 TB = 30.72 TB.
Man erhält nur dann das Resultat von 30 TB, wenn man 128 GB = 1/8 TB und 512 GB = 1/2 TB setzt:
Dann sind 48 x 1/8 TB + 48 x 1/2 TB = 6 TB + 24 TB = 30 TB.

Die Bezeichnung 'RAM' für 3D-XPOINT in DIMM-Bauweise sollte man sich besser garnicht angewöhnen, denn die physikalischen Unterschiede sind ziemlich groß.

 

[SaschaHa]

Zum Thema Speicher hätte ich mal ein paar Fragen.

Aktuell werden Geschwindigkeitsvorteile (pro Riegel) ausschließlich durch dessen Takt und die Latenz bestimmt. Wäre es nicht möglich (und mal an der Zeit), den Bus, also die Anbindung, von 64 bit pro Channel auf 128 oder gar 256 bit zu erhöhen? Oder müsste man dann auch die Anzahl der Pins auf der CPU drastisch erhöhen?

Zweite Frage: Bei Notebooks bewegen wir uns ja bereits in (möglichen) Speicherregionen, die der Ottonormalverbraucher selten benötigt (seit der vor kurzem angekündigten 32 GB Module sind ja bis 64 oder gar 128 GB möglich). Da hier ja oft verlötete CPUs und verlöteter RAM zum Einsatz kommen, wäre es dann nicht auch möglich, HBM2 (mit bis zu 32 GB) über einen Interposer anzubinden? Dürfte einen interessanten Effekt auf die Performance haben, sofern die Latenz in Ordnung ist.

Danke im Voraus!

 

[Hill Ridge]

Pro Channel kann man nur eine Speicherart verwenden.

und auch der Dual-Channel-Modus je Kanal bleiben

Was bitte soll das sein?

 

[ruthi91]

Unsere aktuellen Werte: 32GB RAM, davon 4GB RAM-Cache, 60GB NOR-Flash über Linux-MTD-Support (war defakto eine Fehlanschaffung weils kaum 1-2% Mehrleistung bringt, wird probehalber durch Optane ersetzt und notfalls kommt beides auf den Müll wegen KISS-Prinzip: Keep It Simple Stupid), 1024GB NAND-Flash und 16TB HD-RAID.

Das Cache / Plattenspeicher Verhältnis verwundert mich ziemlich. Aber ich kenne ja auch den Anwendungszweck nicht.
Warum zB kein SSD Raid?

 

[michaelfer]

Das Quanta-Chassis besteht aus 4 Rechnern mit je 2 Sockeln. Also keine UPI-Verbindung, jeder bootet sein eigenes OS

 

[Holt]

Mittels des Linux-ZSwap-Treibers verschwimmen die Grenzen zwischen RAM, NOR-Flash oder Optane, NAND-Flash

Was für NOR?3D XPoint ist kein NOR.

Die Bezeichnung 'RAM' für 3D-XPOINT in DIMM-Bauweise sollte man sich besser garnicht angewöhnen, denn die physikalischen Unterschiede sind ziemlich groß.

Doch 3D XPoint ist RAM, denn RAM steht für Random Access Memory und genau dies ist 3D XPoint da es zufällig adressiert und dann bitweise gelesen und geschrieben werden kann, im Gegensatz zu NAND welches nur Pagesweise adressierbar ist. Du setzt hier offenbar RAM mit DRAM (Dynamic Random Access Memory) gleich, aber es gibt auch andere Arten von RAM wie SRAM (Static Random Access Memory) oder den früher gebräuchliche Ringkernspeicher, der sich technisch noch viel mehr von DRAM unterscheidet, aber trotzdem RAM ist.

Pro Channel kann man nur eine Speicherart verwenden.

Bleibt die Frage ob dies bei den Cascade Lake-SP mit Apache Pass und DRAM auch so sein wird.

 

[nebulus]

Was soll der mist denn bringen? Bringt doch nur was als Schreibcache, als Lesecache wird doch sowieso das normale Ram mitbenutzt.
Da Serverram wirklich teuer ist und man sich nicht mal eben 512 GB in den Server knallt, ist es auf jeden Fall ein 10Gbit SSD Array an den Server zu knallen. Dann kann man auch das ganze Ram für die virtuellen Kisten nutzen.

 

[Holt]

nebulus, was genau meinst Du? Außerdem dürfte jemand der nicht mal eben 512GB in einen Server knallt, nicht zur Zielgruppe für Apache Pass gehören, denn die richten sich an Anwendungen wo man einen sehr großem RAM Bedarf hat, etwas bei Big Data und In-Memory Datenbanken. Da ist es dann wegen der geringen Bandbreite und hohe Latenz auch keine Alternative sich "ein 10Gbit SSD Array an den Server zu knallen."