News Kioxia PM6: Erste 24G-SAS-SSDs für Server eingeführt

[Piktogramm]

@Nagilum99

Gepufferter Schreibcache ist aus mehren Gründen ein Witz..

• Die CPU kann heute >2TB Memory anbinden und als Cache nutzen. Da sind die paar GB des Laufwerkcontrollers echt witzlos.
• Viele Controller melden, dass Daten geschrieben wurden obwohl sie noch in deren Cache liegen. Eigentlich ein Antifeature. Dessen negative Auswirkungen mit einem extra Bufferakku kompensiert werden muss. Wobei es darauf ankommt, dass eben dieser Akku nicht versagt..
• Mitunter sind die Raids mit propritären Technologien "angereichert" was bedingt, dass man auf einzelne Controller Marken/Baureihen festgenagelt ist.

Wenn man das Ganze nach Stand der Technik umsetzen will nutzt man heute einfach gescheite Softwareraids mit zum Beispiel ZFS. Das Dateisystem ist gegen Unterbrechungen beim Schreiben gehärtet[1]. Kernelpaniks und Stromausfälle verlieren damit ihren Schrecken. Gleichzeitig kann das Dateisystem fast den ganzen Arbeitsspeicher des Systems als Cache nutzen[2]. Wer einen fixen Zwischencache will kann SSDs (hier empfiehlt sich das 3D XPoint Gerümpel von Micron/Intel) einbinden. Die Kosten die ein entsprechender Raid Controller im Vergleich zu ner HBA Karte kosten könnte steckt man einfach in CPU, RAM oder SSD-Cache.
Dem System sollte man im Zweifelsfall dennoch ein UPS gönnen, da man Neustarts ja in der Regel vermeidet, da leere Caches einfach "unschön" sind und selbst mit entsprechenden Vorkehrungen bei großem Storage Stunden ins Land gehen, eh die Caches wieder warm sind. Wenn die Daten im RAM derart wichtig sind, dass sie geschützt werden sollen, dann ist die UPS sowieso Pflicht. Alternativ gibt es heute auch mit Pufferakkus für den Arbeitsspeicher und Intels Optane Memory inkl. Linux Kernelpatches, die es erlauben Arbeitsspeicher nach Reboots "warm" einzubinden.

Was die Leistung angeht, da profitieren Software Raids massiv von AVX2 und AVX512 und zunehmend auch von CPU Erweiterungen die direkt das Berechnen von Prüfsummen beschleunigen.

Ja und was ich als klein bezeichne, sagen wir mal alles was sich in einem einzelnem 4U Einschub oder drunter abwickeln lässt.

[1] ZTFS ist da schon ein bisschen geil. Selbst wenn da gerade Informationen des Dateisystems geschrieben wird und der Strom weg fällt bleibt das Dateisystem konsistent. Das kann BTRFs ohne Verrenkungen noch nicht schnief

[2] 1.5-2TB sind das heute glaube maximal. Es ist unwahrscheinlich, wenn die <100GB Caches der Raid Controller da noch irgendwas reisen..

 

[Holt]

Ein Preis wäre noch interessant.. Gibts da schon Infos?

Dies ist eine Enterprise SSD, die bekommt man meist nicht oder allenfalls mit viel Verspätung im Handel der normale Privatkunden bedient und dann meist sehr teuer. Privatkunden kaufen sowas i.d.R. nur gebraucht.

Oder gibt es auch NVMe RAID Controller in Hardware für Server?

Ja, aber sowas nutzt fast keiner mehr, da Performance solcher RAID Controller ist viel zu gering im Vergleich zur Performance einer CPU und Kerne haben die ja nun inzwischen um dies nebenbei zu machen. Piktogramm schreib schon ganz richtig:

Wobei Hardware Raid Controller sowieso eine aussterbende Gattung sind. Außerhalb von eher kleinen Windows Servern habe ich lange nichts mehr gesehen, was nicht in Software über die CPU lief.

Außer den Windows Users setzt kein Mensch mehr auf Hardware RAID Controller, die Zeiten sind definitiv vorbei.

Although RAID controllers had been popular for using battery or capacitor backed write caches, today’s modern NVMe SSDs often have upwards of 1GB RAM onboard and backed by capacitors. While still popular devices, the writing has been on the wall for some time. The three major legacy vendors (PMC-Sierra (HP’s Smart Array cards), Adaptec and LSI) all decided to sell out to larger companies rather than trying to make an independent go at the market and consolidating among themselves.

SAS ist für SSDs halt einfach ungeeignet.

So ein Unsinn, denn SAS ist im Gegensatz zu SATA vollduplex, kann also wie PCIe Daten in beide Richtungen gleichzeitig übertragen und bietet mit einer maximalen QD von 256 für fast alle Anwendungen auch genug. Man sollte nicht vergessen, dass die besten SSDs mit normalem NAND (außer den Z-SSDs von Sasmugn) bei QD1 vielleicht so 15.000 IOPS (60MB/s) schaffen, auch wenn die IOPS nicht perfekt mit der QD skalieren, wäre eine QD256 genug für über 3,5 Millionen IOPS, so viel schafft aber noch gar keine SSD.

Der größte Vorteil dürfte Dual-Porting sein.

Das kann NVMe auch, siehe hier und zwar nicht nur im U.2 Formfaktor.

Kann jemand die sich in letzter Zeit häufenden Meldungen über SSDs einordnen?

Weil es wohl mal wieder einen Generationswechsel bei den NANDs oder der Anbindung (von PCIe 3.0 auf 4.0, SAS 12Gb/s auf 24Gb/s) gibt.

PCIe unterstützt keine Kabel

Was für ein Quatsch, schau mal wie man U.2 SSDs anschließt.

SAS-Geräte können DualPorting unterstützen.

NVMe auch.

an einen SAS-Expander können bis zu 36 Geräte angeschlossen werden

Für PCIe gibt es Switches, wie diese gerade vorgestellten mit bis zu 100 PCIe 4.0 Lanes und Support für 52 Devices.

Es gibt am Markt bisher kaum verfügbare NVMe-RAID-Controller.

Die braucht ja auch fast keiner mehr.

SAS kämpft ums Überleben, NVMe und damit die Anbindung per PCIe wird es ablösen. SAS-4 wird dies rauszögern, aber auch nicht verhindern. Wenn alte Storages auf- oder umgerüstet werden, dann macht SAS Sinn, aber wenn neue All-SSD Storages angeschafft werden, fällt der Umstieg auf NVMe leichter und auch Enterprisekunden oft konservativ sind und lieber länger an Bekanntem festhalten als neues zu probieren. Außerdem ist letzt nicht nicht klar welcher Formfaktor künftig für Enterprise NVMe SSDs das Rennen machen wird, Intels Ruler aka EDSFF E1/E3 oder NF1, aber beide bieten Dual Port, Hot-Swap und werden bei der gleichen Frontfläche (wichtig um defekte Laufwerke im laufenden Betrieb tauschen zu können) eine größere Speicherdichte wie der 2.5" Formfaktor, von dem man bei SAS wohl nicht wegkommen wird. Mehr Kapazität bei gleicher Frontfläche bedeutet für richtig große Storages, weniger Server, weniger Racks, weniger Platz im Rechenzentrum und damit eine Kostenersparnis.

 

[Gomlot]

Moin moin ich frage mich auch wieviel hier warum sas. Denn mit einem ordentlichen epyc Unterbau und einem vernünftigen sds Konzept kann man auch pcie only fahren. I'm Fälle von Zen 2 sogar ohne das man lanes verliert denn es gibt pcie switch die aus eine 4.0 lane 2 3.0 lanes bauen. Ich denke das man mit so einer Kombi einen schönen tier1 Speicher ins rz bekommt. Ich denke sas hat hier evtl den Kosten Vorteil wenn es um externe enclosures geht. Und vor allem wenn man sehr viele disks anbinden möchte. Denn bei pcie gehen einem irgendwann die lanes aus.

 

[Holt]

warum sas.

Weil SAS weit verbreitet ist, übrigens im Gegensatz zu EPYC, schau die mal den Marktanteil von EYPC bei Server CPUs und wie der sich erst in den letzten Jahren entwickelt hat und beachte, dass Server meist 3 bis 5 Jahre genutzt werden. Um PCIe only zu fahren, bracht man auch keine CPU mit extrem viele PCIe Lanes, da es auch PCIe Lane Switch gibt und EYPC würde man für einen Storage Server eher deswegen nehmen, weil bei jeder EYPC Server CPUs bis zu 32 PCIe Lanes in SATA Ports umkonfiguriert werden können und bei den 3.5" mit sehr hohen Kapazitäten SATA durchaus eine große Rolle spielt.

 

[Mr Peanutbutter]

Enterprise-Features ermöglichen.

Wäre das mit U2 Anschluss nicht möglich?

 

[Marcel55]

Enterprise klingt gleich immer schon nach high price
Will gar nicht wissen was sowas kostet.

2400MB/s reichen immerhin, um 20-25 Leute mit Gigabit-Leitung gleichzeitig mit voller Geschwindigkeit mit Daten zu versorgen, wenn man diese Z.B. bei einem CDN einsetzen möchte. Eine HDD schafft in diesem Fall gerade mal einen, bestenfalls zwei.

 

[Nagilum99]

@Nagilum99

Gepufferter Schreibcache ist aus mehren Gründen ein Witz..

• Die CPU kann heute >2TB Memory anbinden und als Cache nutzen. Da sind die paar GB des Laufwerkcontrollers echt witzlos.
• Viele Controller melden, dass Daten geschrieben wurden obwohl sie noch in deren Cache liegen. Eigentlich ein Antifeature. Dessen negative Auswirkungen mit einem extra Bufferakku kompensiert werden muss. Wobei es darauf ankommt, dass eben dieser Akku nicht versagt..
• Mitunter sind die Raids mit propritären Technologien "angereichert" was bedingt, dass man auf einzelne Controller Marken/Baureihen festgenagelt ist.

Entweder hast du mich oder das Thema selbst nicht verstanden. Deine Aussagen sind aber ziemlich haarsträubend und fehlargumentiert. Da spricht wohl kaum der Admin einer SMB-Umgebung. Entweder "Cloud"verwöhnt, wo die Dinger eh wegfallen dürfen weil die Redundanz über Server hinweg passiert und man sich um die Verfügbarkeit der einzelnen Server keine großen Gedanken machen muss oder Enduser der von der Thematik keine Ahnung hat.

...alleine den gepufferten Schreibfache als Antifeature zu bezeichnen, da bekommt man als Admin hart Kopfschmerzen.
Ich bin raus...

 

[Piktogramm]

@Nagilum99
Ich mag deine klar dargelegten Argumente Ich bin auf einmal komplett vom Gegenteil... Ne warte mal!

Dieses Verteilen auf verschiedene Server klingt gut. Wenn man das konsequent macht könnte man vielleicht mit handelsüblichen Kleinservern ausfallsichere, erweiterbare Cluster bauen anstatt monolitischer Systeme. Nennen wir das Ganze einfach "Software defined Storage" und nutzen sowas wie CephFS.
Wer mag darf da damit auch SMB sprechen
Wer mag kauft sowas von Dell-EMC

 

[Nagilum99]

@Nagilum99
Ich mag deine klar dargelegten Argumente Ich bin auf einmal komplett vom Gegenteil... Ne warte mal!

Wie niedrig soll ich anfangen, wenn auf batteriegestützten Schreibcache mit "RAM" geantwortet wird?
Das ist als würde ich nach einem Tesla mit "Autopilot" fragen und bekäme einen 40tonner - der kann ja viel transportieren.
Dieses Argument ist so grundlegender Unsinn, dass ich mal einen Kollegen zitiere: Jemand der so argumentiert muss seine Daten echt hassen. Vom "Antifeature" mal gar nicht gesprochen...
Auch das "Problem" des Vendor-Lock-ins: Interessiert in der Welt, wofür sie geschaffen wurde, quasi niemanden.
Jemand der HP platten in einen Dell Server (oder so) umbauen will sollte seinen Job an den Nagel hängen.
Hersteller-intern sind Generationswechsel übrigens sehr oft unterstützt: Bei HPE kann man die Controller durch neuere ersetzen bzw. die Platten umziehen, was aber meistens gar nicht gewollt ist.
Dass Hans-Peter das für seine neue Gam0r-Maschine blöd findet, ist irrelevant.

CEPH: Die Performance in kleiner Skalierung ist unterirdisch. Das tut sich keiner freiwillig an.
Abgesehen davon benötigt es wieder Know-How. Wer RAID-Controller einsetzt will idR. keinen billigen Pfusch sondern etwas, dass stabil und einfach läuft. Der Wartungsaufwand und das nötige Know-How für einen konfigurierten Controller ist sehr gering, dafür hat z.B. HPE fertige Images. Einlegen, laufen lassen, alle Komponenten des Servers aktualisiert, auf Wunsch inkl. Treiber.

Ich hätte weder Zeit noch Lust auch noch einen (performant skalierenden) CEPH Cluster zu warten und für das Geld, dass ein entsprechens Systemhaus für die Wartung will (+ Hardware)... merkste?

Und wenn du es nicht glaubst: GIDF - da findet man genug über die Performance von CEPH (1. Tip: Die Latenz ist besch...)

Und nein, ich will auch keinen Windows S2D/SDS-Cluster betreiben - der kostentechnisch dann auch schnell eskaliert.

 

[Piktogramm]

Ja klar antworte ich mit RAM, in diesem können Schreibvorgänge genau so gut gecached und aggregiert werden, solang kein Sync seitens der Anwendung gefordert wird. Ein Sync gehört aber auch ausgeführt und nicht nochmal in einer weiteren Cacheebene zwischengespeichert und vorgetäuscht. Eine elegantere Lösung wäre auf Softwareebene sowieso das Einbinden von SSDs als aktiv verwalteten Cache, bei der der Schreibvorgang dann aber auch wirklich auf dem Festspeicher ist. Bei Anwendungen, denen das noch zu langsam ist, aber die 8GB DDR3 Speicher (https://www.broadcom.com/products/storage/raid-controllers/megaraid-9560-16i) einen großen Unterschied machen, sollte man sich evtl. fragen ob man nicht grundlegend Dinge anders machen sollte.

Das es KnowHot braucht, da stimme ich zu, entsprechende Lösungen gibt es aber auch "schlüsselfertig" von den Großen.
Und klar, Ceph ist nicht für alle Anwendungsszenarien geeignet. Es ist eine Möglichkeit für eine Szenarien, aber auch nicht alles.

 

[Nagilum99]

Ich spreche jedem, der ungespiegelt Schreibvorgänge im RAM als valide ansieht, seine IT-Kompetenz ab. Wir bewegen uns offensichltich in völlig anderen Umgebungen und anderem Know-How.

Das, was Datacore macht: Schreibvoränge als erledigt signalisieren, wenn sie auf mind. 2 Servern im RAM gelandet sind, akzeptiere ich.
Ansonsten, wiederhole ich das Zitat: Du musst deine (und die dir anvertrauten) Daten echt hassen.
Die Alternative ist nur: Blanke Inkompetenz.

SSDs sind kein RAM und kein Schreibcache. Auch da hast du viel Know-How aufzuholen. Bandbreite, IOPS, Latenz.

Klar bekommst du quasi alles Schlüsselfertig von irgendwem. Da bist du dann schnell von 20.000 € für einen neuen Server bei 100+ für einen kleinen Cluster. Dabei wollte ich nur einen performanten RAID-Controller und kein FT-Szenario als Metrocluster.

 

[Piktogramm]

Ich spreche jedem, der ungespiegelt Schreibvorgänge im RAM als valide ansieht, seine IT-Kompetenz ab. Wir bewegen uns offensichltich in völlig anderen Umgebungen und anderem Know-How.

Öhm, die Caches auf den Controllern sind (fehlerkorrigierter) DDR Speicher, auf denen die Daten zwischengespeichert werden. Eine Berechnung von Paritäten erfolgt da auch erst, wenn auf den Festspeicher geschrieben wird. Entsprechend machen die Raidcontroller genau das, was du bemängelst.. Daten in einer Art RAM halten ohne jedwede Redundanzen.
An der Stelle bin ich dann der Meinung, Caching ohne Redundanz kann ich auch direkt im Arbeitsspeicher vom Hostsystem betreiben. Fehlerkorrektur gibt es da auch und das Ganze arbeitet dann im Gegensatz vom Controllerkärtchen wenigstens transparent fürs Betriebssystem (und der Host hat im Zweifelsfall mehr Speicher).

SSDs sind kein Schreibcache? Well, da sind selbst die Hersteller der Raidcontroller anderer Meinung:
https://www.intel.com/content/www/us/en/servers/raid/ssd-cache-controller-rcs25zb040-family.html
zfs
Genauso wie die Fraktion Softwareraid (entwickelt von der unbekannten Klitsche namens facebook)
https://en.wikipedia.org/wiki/Flashcache

Das ist ja gerade der Witz, dass der ganze Kleinkram wunderbar auf SSDs zwischen gespeichert werden können. Wenn man das ordentlich macht, landen die Daten dann auch mit Checksummen und Paritätsdaten auf mehr als einer SSD. Wenn bei einem SW-Raid, mit gescheiten PCIe SSDs noch immer zu wenig Durchsatz bei rum kommt, macht das bisschen DDR Speicher auf einem HW-Controller das Kraut auch nicht mehr fett.

Gerade wenn du Performance und Kosten zusammen bringst. Da gewinnt SW-Raid genauso...
Die Betriebskosten werden auch nur bedingt höher. Irgendjemand ob vor Ort oder im Servicevertrag braucht es sowieso. Aus meiner Erfahrung sind die Kosten bei Leuten die nach "Haben wir schon immer so gemacht" und "ich halte mich auf dem Laufenden" auch annähernd gleich.

Edit: 20.000€ für eine Storagelösung für eine Bude mit 100IT-Arbeitsplätzen.. Schnäppchen würde ich sagen o.O

 

[Nagilum99]

Die Caches auf den Controllern sind gepuffert. Wenn die Kiste absäbelt, bleiben die 'geschriebenen' Daten erhalten. Sind die Daten nur im RAM, sind sie Weg - für immer. Ich war irgendwie der Ansicht, dass ich das absolut unmissverständlich dargelegt habe, aber vielleicht ist dir sowas auch echt einfach nur egal.

SSDs kann man natürlich als Tier vor Platten und die wieder vor Band Bibliotheken hängen und mit den verschiedensten Strategien bedienen.
Du wirst es arrogant finden und nicht glauben, aber: Deinen Beiträgen nach spiele ich eine Liga höher als du - was das Thema angeht.

Es gibt übrigens überhaupt keinen Grund, warum das OS "transparent" in die Daten schauen soll. Wenn der Controller seine Arbeit ordentlich macht ist das völlig ausreichend.

Ich weiß nicht wie du Anforderungen von 100 Leuten spezifizierst, aber da gibt es für 20k netto durchaus gute, sehr solide (RAS -> Google) Lösungen. Die bieten keine 500k IOPS, aber sie laufen und das über Jahre und mit sehr geringem wartungsaufwand.

• HPE MSA2040 etc.
• Lenovo ThinkSystem DS4200
• Dell EMC SC...

So eine MSA habe ich mit rund 100 Nutzern und einigen dutzend VMs im Einsatz, via FC 16G.

 

[Piktogramm]

Die Caches auf den Controllern sind gepuffert. Wenn die Kiste absäbelt, bleiben die 'geschriebenen' Daten erhalten. Sind die Daten nur im RAM, sind sie Weg - für immer.

Storage ohne UPS wäre eine sehr dumme Idee. Denn das Betriebssystem cached so oder so[1]. Bloß weil da eine Pufferbatterie am Controller klebt, wird dieses Problem also nicht gelöst. Insofern ist der Arbeitsspeicher bei ordentlichen Systemen also auch gepuffert. Das Einzige was diese Pufferbatterie löst, ist dass sie ein Problem kompensiert was durch das Vorhandensein des unsichtbaren Caches überhaupt entsteht.

So ein UPS hat auch den großen Vorteil, dass bei etwaigen Unregelmäßigkeiten bei der Stromversorgung, die Caches vom Storagesystem warm bleiben und man sich mitunter langen Startzeiten nach einem hartem Aus spart.

[1] Ok soll Leute geben, die Caches auf Betriebssystemebene unterbinden. Wer braucht schon Durchsatz..

Ich war irgendwie der Ansicht, dass ich das absolut unmissverständlich dargelegt habe, aber vielleicht ist dir sowas auch echt einfach nur egal.

Naja, wir werden uns da anscheinend nicht einig. Deine Kritikpunkte, treffen aus meiner Sicht viel mehr auf HW-Raids zu, die findest du aber im Gegensatz zu SW-Raid toll.

SSDs kann man natürlich als Tier vor Platten und die wieder vor Band Bibliotheken hängen und mit den verschiedensten Strategien bedienen.

Weniger "vor" als Teil entsprechender Arrays, wir verstehen und da aber glaube ich.

Du wirst es arrogant finden und nicht glauben, aber: Deinen Beiträgen nach spiele ich eine Liga höher als du - was das Thema angeht.

Das höre ich häufiger und ich glaube es dir, also viel eher ist es mir komplett egal... Dieses "ich bin aber X-Stellen höher, Habe 200 mehr Titel, bin zertifiziert, habe das schon immer so gemacht, IPv4 reicht, IPv6 kann sich keiner merken, das habe ich ja noch nie gehört, ..." Ist im Zweifelsfall einfach nur "Ich habe kein Bock mit dir zu diskutieren und mir von dir mein Status Quo zu hinterfragen lassen".

Es gibt übrigens überhaupt keinen Grund, warum das OS "transparent" in die Daten schauen soll. Wenn der Controller seine Arbeit ordentlich macht ist das völlig ausreichend.

Ok, da haben wir grundlegend andere Philosophien. Wenn es sich vermeiden lässt, würde ich solche Fälle immer verhindern.

Ich weiß nicht wie du Anforderungen von 100 Leuten spezifizierst, aber da gibt es für 20k netto durchaus gute, sehr solide (RAS -> Google) Lösungen. Die bieten keine 500k IOPS, aber sie laufen und das über Jahre und mit sehr geringem wartungsaufwand.

Ich würde die Anforderungen schon genauer ermitteln, aber 20.000€ auf Storage zu werfen kommt schon häufiger bei deutlich kleineren Firmen vor. Selbst in Firmen wo hauptsächlich Mausschupser am Rechner sitzen.

Ich mag dein professionelle Art so ein "Let me google it for you" hinzuwerfen. Bofh much?

 

[Nagilum99]

Ich mag dein professionelle Art so ein "Let me google it for you" hinzuwerfen. Bofh much?

BOFH very much.

Im übrigen ist eine USV kein Argument. Die Dinger müssten mind. redundant sein und selbst dann würde ein Absturz des Betriebssystems alle Daten im RAM vernichten. Den Controller würde das nicht jucken.

Titel sind in der IT überbewertet. Zu überschaubaren Kosten kann man sich extrem viel Wissen aneignen.
Wobei die Praxis schon wichtig ist.

Und natürlich muss ein Storage auf die Anforderungen zugeschnitten sein. Der Preis wurde in den Raum geworfen, ich habe nur gesagt: Das geht durchaus.

Tatsächlich meinte ich "vor" Arrays. Klassische Systeme wie MSA & co mischen die Laufwerke nicht. Sie bilden innerhalb ihrer Klasse einen eigenen Pool und laufen dann in "Tiers", wobei sie erst nach außen hin als eine LUN geführt werden (oder von mir aus auch als drölf, kommt auf den Verwendungszweck und die Strategie an).

Datacore spannt dann noch ein Tier 1 als RAM mit ein. Finde ich sehr geil, ist aber kostentechnisch wieder schwieriger.

 

[deo]

Dies ist eine Enterprise SSD, die bekommt man meist nicht oder allenfalls mit viel Verspätung im Handel der normale Privatkunden bedient und dann meist sehr teuer.

Es gibt die KIOXIA PM6-V Enterprise seit heute auch für "normale" Leute zu kaufen.
https://geizhals.de/?fs=KIOXIA+PM6-V+&hloc=de&in=
Die ist etwas billiger als die Intel P5800X.
Die KIOXIA PM6-V darf man 5 Jahre lang 3 mal täglich voll schreiben (3DWPD). Die PC5800X darf man 100 mal am Tag voll schreiben in den üblichen 5 Jahren der Garantie.

Es gibt die KIOXIA PM6-R Enterprise mit 1DWPD auch seit heute.
https://geizhals.de/?fs=KIOXIA+PM6-R+Enterprise&hloc=de&in=