RAID umstellen auf m.2 - aber wie?

[PMc]

Hi Leute,

wenn ich mich gegenwärtig bei den Händlern umschaue, wird die Anzahl verschiedener angebotener SATA-SSD immer weniger. Der Trend geht ja schon lange in Richtung m.2 Modelle.

Und ein größeres Problem ist, dass die angebotenen SATA-SSD immer schlechter werden. Wenn man dasselbe Modell alle jahre wieder kauft, ist die Qualität Jahr für Jahr mieser. Ich vermute, dass da u.a. stillschweigend von TLC auf QLC gewechselt wird, ohne den Modellnamen zu ändern (und zumindest Crucial hat das auch mal zugegeben).

Die Frage ist jetzt, ob und wie ich dem Trend folgen und auf m.2 wechseln bzw. erweitern könnte.

Das betreffende Board ist schon etwas älter; es hat einen m.2 Slot, aber nur für kurze 2242 - und eben nur einen. Platten konfiguriere ich (fast) immer in (software)RAID 2+1, für irgendwas sinnvolles bräuchte ich also mindestens 3, idealerweise 6 slots in etwa gleicher Technologie.

Wenn ich nach sowas suche, finde ich aber nichts was irgendwie weiterführen würde. Das scheint also nicht ganz trivial zu sein.
Dann finde ich aber noch was anderes, das ist u.2 - und das sieht eher so aus, dass es was ergeben könnte. Derzeit offenbar noch sehr high-end, edel&teuer, aber vielleicht geht's ja da hin? Z.B Delock 90585 liefert 4 solche Anschlüsse.

Also hab ich mich mal hier angemeldet, vielleicht gibts ja jemand der da mit brainstormen möchte?

 

[mykoma]

Erstmal willkommen im Forum.

Ich selbst nutze kein RAID, aber wenn ich dad richtig im Kopf habe, wird zu Hardware und nicht Software RAID geraten.

Zuerst solltest du deinen Usecase darlegen, vielleicht gibt es ja bessere Lösungen.
Zudem ist M.2 nur der Anschluss, den gibt es in unterschiedlichen Ausführungen sowohl was die physische Seite betrifft (B-Key, M-Key), als auch die Anbindung (SATA, PCIe), wobei mittlerweile SATA M.2 SSDs immer seltener werden.

U.2 geht in den professionellen Bereich, Workstation oder Server entsprechend selten findet man die Anschlüsse auf normalen Mainboards, in der Regel nur auf Server, Workstation oder HEDT Brettern.
Im Grunde vergleichbar mit SATA und SAS, es ist die aufgebohrte Version für den professionellen Markt.

 

[dvor]

Ich vermute, dass da u.a. stillschweigend von TLC auf QLC gewechselt wird, ohne den Modellnamen zu ändern (und zumindest Crucial hat das auch mal zugegeben).

Das passiert viel. Die Firmen kaufen Controller und Speicher, der gerade billig zu bekommen ist. Daraus stellen sie irgendwas her. "Irgendwas" ist wörtlich gemeint. Testberichte mit TLC bedeuten nichts wenn im Datenblatt des Herstellers diesbezüglich keine Angabe steht.

Aus meiner Sicht gibt es nur ganz wenige Firmen, von denen man SSDs kaufen kann.

RAID 2+1

Das benötigt 4 SSDs, nicht 3. Meinst du RAID 5?

Wenn du viele SSDs mit RAID verwenden willst, denk über VROC und Xeon nach.


Grundsätzlich kann man in jeden PCIe x1 Steckplatz eine M.2 SSD stecken.

Ergänzung (9. Juli 2023)

Das betreffende Board ist schon etwas älter

Austauschen.

es hat einen m.2 Slot, aber nur für kurze 2242

Ist der Steckplatz PCIe-fähig? Wenn ja, mit welcher Anbindung? Grundsätzlich kann man M.2 2242 Key M auf SFF-8643 adaptieren und anschließend sogar von U.2 auf M.2.

 

[PMc]

Ich selbst nutze kein RAID, aber wenn ich dad richtig im Kopf habe, wird zu Hardware und nicht Software RAID geraten.

Das überrascht mich. Da wäre interessant zu wissen wer dazu rät und warum.
Ich lese durchweg, dass man Hardware RAID abschalten soll und eventuelle SAS Controller, die sowas machen, unbedingt auf JBOD (d.h. Platten direkt zum OS durchreichen) umflashen soll. Es gibt sogar einen regelrechten Markt für solche umkonfigurierte Controller. Quelle: die Berkeley-User (Free-/Net-/...BSD) und vor allem die NAS-Leute (True-/Free-/...NAS).
Und für mich klingt das logisch - denn wenn der Hardware RAID Controller mal kaputtgeht, dann musst du genau denselben wieder auftreiben, sonst kommst du an die Daten nimmer ran.

Zuerst solltest du deinen Usecase darlegen, vielleicht gibt es ja bessere Lösungen.

Tja, da gibt es eigentlich keinen Usecase. Oder, wenn ich's geschwollen formulieren wollte: "evaluation&referencing site".

Vielleicht braucht das eine Erklärung: ich bin 1988 ans Internet gegangen, weil ich davon gehört hab und es haben wollte - in Europa gab es das damals noch praktisch nicht, und man musste alles selber programmieren.
Um die Jahrtsd.wende tauchten dann Leute auf und wollten wissen wie ich das mache. Das waren i.W. die DAX-Unternehmen, die ihre Mainframes im Keller ablösen wollten und auf Unix/Linux umstellen. Dann hab ich denen erklärt wie das alles geht und hab ihnen das konfiguriert, was sich für mich bewährt hatte. Und die waren überglücklich, dass da mal jemand technische Ahnung hatte und nicht bloß Business-Consultant war.
Das war eine geile Zeit, da hatte ich sogar mal einen Job.

Heute bin ich wieder arbeitslos. Technischer IT-Skill ist inzwischen verhaßt, den will niemand mehr haben; die wollen alle nur noch Cloud kaufen und die Märchen der Hersteller glauben.
Aber ich mach weiter das, was ich von Anfang an gemacht hab: technisch gute, robuste und sichere Infrastruktur entwerfen. Weil mir das Spaß macht. Z.B. IPv6, DANE/DNSSEC, kerberos-SSO, usw.

Meine Rechner laufen also gewissermaßen seit 1990 und werden nur immer wieder in Teilen modernisisert, wenn ich irgendwo was passendes finde.

Das passiert viel. Die Firmen kaufen Controller und Speicher, der gerade billig zu bekommen ist. Daraus stellen sie irgendwas her. "Irgendwas" ist wörtlich gemeint. Testberichte mit TLC bedeuten nichts wenn im Datenblatt des Herstellers diesbezüglich keine Angabe steht.

Wow, danke! Endlich mal jemand, der das klar und deutlich ausspricht, was ich in den SMART Daten zu lesen glaube. In den Datenblättern (die regelmäßig den Namen nicht verdienen) ist kaum was brauchbares, und wenn ich im Netz blättere, finde ich nur Testberichte wie toll doch alles ist, und nichts darüber dass wir ein echtes Problem haben, weil wir gar nicht mehr erfahren was wir eigentlich kaufen.

Das benötigt 4 SSDs, nicht 3. Meinst du RAID 5?

Ich hab mich schlampig ausgedrückt. Mit RAID meine ich RAID5 bzw. RAIDz. Gemeint ist hier RAIDz mit 2 Daten- und einem Parity-Block.
Das ist in mancher Hinsicht nicht das Beste, aber ein einfacher Kompromiß von Platzverbrauch und Ausfallschutz - insbesondere wenn man viele kleine statt einem großen Array nutzt. (Ich mache Arrays nicht größer als die größte vorhandene Platte, damit ich sie im Notfall auch mal zerlegen und reparieren kann.)

Wenn du viele SSDs mit RAID verwenden willst, denk über VROC und Xeon nach.

VROC ist interessant - da wird im Grunde das was der Hardware-RAID Controller macht in die CPU verlegt. Macht ja auch Sinn. Aber warum will man überhaupt Hardware RAID (außer auf Microsoft Servern, die kein ZFS können)?

Grundsätzlich kann man in jeden PCIe x1 Steckplatz eine M.2 SSD stecken.

Ja, aber eben nur eine. Und die Steckplätze sind rar und werden für vieles andere gebraucht.

Austauschen.

Äh hm. Haswell-EP dual XEON, 20/40core NUMA-CoD, 96GB regECC RAM wegschmeißen?
Das Teil hab ich erst vorletztes Jahr aufgetan, von einem Gamer der offenbar nicht wusste was man dafür noch kriegen kann. Davor über ein Jahr lang nach sowas gesucht. Und brauchen tu ich die Leistung eh nur, weil ich viel gepatched hab und deswegen das OS und alle Anwendungen lokal kompilieren muss. Aber jetzt sind 17 Platten drin und die Anschlüsse gehen langsam aus.
Außerdem, bevor ich groß neue Hardware kaufe, würde ich mir erstmal was zu Essen kaufen. Ich hab Hunger und das Brot ist unbezahlbar.

Ist der Steckplatz PCIe-fähig? Wenn ja, mit welcher Anbindung?

Angeblich ja, zur Anbindung steht da nix. Aber halt - es gibt ein Schaltbild! Demnach ist er an einem x1 am PCH/DMI2. M.a.W., kann man vergessen.

Grundsätzlich kann man M.2 2242 Key M auf SFF-8643 adaptieren und anschließend sogar von U.2 auf M.2.

Hm, was ist denn der SFF-8643 eigentlich genau? Ich finde da m.2 Adapter auf SFF-8643, ich finde breakout-Kabel von SFF-8643 auf 4x SATA, und Docs die sagen, es sei ein "high density SAS" connector. Also was nun, SAS, SATA, m.2? Oder alles ein bischen?

Update: jetzt hab ich den Sonntag damit verbracht, Produktmanuals zu wälzen, und es scheint sich etwa so darzustellen (unter Vorbehalt, offen für Korrekturen):

1. Der SFF-8643 connector scheint tatsächlich sowas wie ein "mädchen für alles" zu sein. Aber hinten raus kommt natürlich nur das was man vorne reinsteckt. Wenn man also SAS/SATA damit anschließen will, dann braucht man einen SAS Controller.

2. Wahrscheinlich kann man tatsächlich eine m.2/NVMe SSD in einen x1 PCI-e Slot stecken, aber für volle Bandbreite braucht sie normalerweise x4.
Es gibt auch Adapter für zwei oder vier solche SSD. Die brauchen dann entsprechend x8 oder x16. Und da ist dann das Problem, dass die zweite (dritte, vierte) SSD NICHT geht wenn die Lanes nicht da sind.
Dazu kommt, dass diese Adapter strohdoof sind und die PCIe Lanes nicht selber auf die SSDs aufteilen können, sondern das muss das BIOS machen. Man muss also erst dem BIOS sagen, dass in diesem Slot nicht ein x16 Gerät steckt, sondern vier x4 Geräte.
Das nennt man "PCI-e Bifurkation", und das BIOS muss das ermöglichen. Dabei gibt es noch eine menge weitere Fallstricke; die Details sind in diesem Artikel recht gut beschrieben.
In meinem BIOS (ASUS Z10PA-D8) gibt es dieses Feature nicht, es gibt aber eine Beschreibung, dass man dieses BIOS patchen kann. Dazu braucht es offenbar Windows (hab ich nicht). Und auch dann gingen höchstens dual Adapter, weil das Board eigene Switche in den Lanes hat, und diese reichen die Bifurkation nicht durch.

3. Das u.2 (oder u.3) ist im Grunde nur ein anderer Stecker, und funktioniert für NVMe nicht prinzipiell anders als m.2. Es wird, wie @mykoma oben schon angemerkt hat, für Server und WS verwendet, um SSDs in Backplanes einzubauen. Deswegen findet man da mehr Angebote für vierfach- oder achtfach-Adapter.
Das Problem mit den PCI-e Lanes und der Bifurkation ist da aber prinzipiell dasselbe.

4. Es gibt dann auch noch Adapter, die nicht strohdoof sind und die mehrere NVMe Geräte in einem einzigen PCI-e Slot (mit beliebieger Anzahl Lanes) anschließen können. Die gibt es vorwiegend für u.2, möglicherweise auch für m.2.
Diese Adapter haben einen PCI-e Switch eingebaut, der mehrere PCI-e Busse miteinander verbinden kann (zB Broadcom PEX8749 oder Asmedia ASM2824).
Diese Switche und entsprechend die Adapter sind aber ziemlich teuer, und wie gut sie funktionieren, müsste man auch erst noch herausfinden.