IBM X3650 M5 mit 12G SAS Controller - sehr hohe Plattenperformance im Raid gesucht

[justmicha]

Hallo Zusammen,

ich habe folgenden Server ungenutzten Server zur Verfügung:

IBM/Lenovo X3690 M%
2*Xeon E5-2640 V3
128GB DDR4 Ram
12G SAS/SATA IBM Serve Raid M5210 8-port
Raid: 0+1+10 sowie 5+50+6+60 mit feature key

Ich möchte mit diesem System eine bestmögliche Plattenperformance für ca 6TB permanent arbeitetende Platten, also 24/7 mit hohem Datendurchsatz bereitstellen. Die Geschwindigkeit soll daher möglichst Hoch, Latenz gering und Lebensdauer wenn möglich ebenfalls hoch sein.

Was würdet Ihr vorschlagen?

Machen 10* 600GB 12G SAS 15k Platten Sinn? Welche Geschwindigkeit kann man mit denen im idealen Raidsystem erreichen?

Oder sollte ich hier lieber direkt auf SSDs gehen? Welche Langlebigen SSDs würden hier in das System reinpassen? Macht es ebenfalls Sinn die SSD auch in ein Raid zu packen?

Best Grüße und einen sonnigen Start in den Tag wünscht Euch

Micha

 

[elefant]

Privat das ganze?
Budget?
Klar machen SSDs mehr Sinn, wenn man blind auf die Performance schaut.

 

[King_Rollo]

Auf jeden Fall SSDs! SSDs sind VIEL, VIEL schneller als jede Festplatte! Wenn es also um Performance geht, kommt man an SSDs nicht vorbei. Um es kurz mit Zahlen zu untermauern: eine SAS-Festplatte schafft vielleicht 300 IOPS; jede Baumarkt-SSD schafft heutzutage aus dem Handgelenk 30.000 IOPS und mehr!

Wenn du unbedingt auf Festplatten nutzen willst, empfehle ich dringend ein Raid 10, da bei Raid 5 die Schreibperformance um bis zu 75% nach unten geht!

Wofür wird denn diese maximal mögliche Performance überhaupt benötigt?

Und zum Thema Ausfallsicherheit empfehle ich eine News-Medlung der vergangenen Tage: https://www.computerbase.de/2021-05...-ausfallraten-von-hdds-und-ssds-im-vergleich/
Fazit: der Mythos, dass SSDs nicht lange genug halten, ist schon lange vorbei! Selbst die preiswerteste Kategorie namens "lese-optimiert" sind so ausgelegt, dass man sie die nächsten paar Jahre jeden Tag einmal komplett neu beschreiben könnte (wird angegeben in TWPD).

 

[derchris]

Wie viel IOPS brauchst du denn?

Da gibt es Berechnungstools für um das Storage System zu spezifizieren.

 

[Xes]

Was soll die Kiste denn später machen und was darf das Ganze kosten?
Ohne Info kann man eigentlich nur wild ins blaue hinein beraten.

 

[justmicha]

Hi, vielen Dank für die zahlreichen Antworten.

Dann möchte mich mal mein Vorhaben etwas untermauern... ja, das Ganze wird eine private Nutzung und zielt auf Krypto ab. Chia Plotting und Farming soll das Ganze werden.

Ziel ist um die 14 bis 15 plots gleichzeitig zu berechnen (das sollte der Prozessor und der Arbeitsspeicher zumindest hergeben). Das Ganze bedeutet in groben Daten: Ein Plot benötigt ca 330GB Platz auf der SSD, wobei während des Plottings ca 1.8TB an Daten geschrieben und gelesen werden). Das Ziel ist die Plots in möglichst geringer Zeit zu schreiben. Benchmark ist 4 Stunden pro Plot, normaluser schaffen aktuell ca 9-12 Stunden pro Plot. In meinem Fall sollen ja 15 Plots gleichzeitig geschrieben werden.

Ich hoffe dies wird keine Milchmädchenrechnung...
Gehen wir mal von grob15 Plots gleichzeitig und ca 6 Stunden Zeit aus... bedeutet also in 6 Stunden müssen 1,8TB*15Plots also 27TB an Daten geschrieben und gelesen werden... ergo 4,5TB pro Stunde??? Ist das so richtig?

 

[OliverL87]

Für den Anwendungsfall solltest du SSDs verwenden.

 

[konkretor]

Du brauchst sowas hier


https://www.overclock3d.net/news/st...ssd_with_64tb_of_storage_at_pcie_4_0_speeds/1

Ohne ordentlich Geld in die Hand zu nehmen wird das nix werden.

 

[justmicha]

ich habe zwei Intel P4500er mit je 4GB ziemlich günstig bekommen... Diese sind jedoch NVME... seht ihr eine Möglichkeit diese sinnvoll in das System einzubetten? also per adapter in das Raid reinzubekommen? Oder ggf. per PCIe/NVME Adapter? Ich denke im 5210Raid wären die Platter sicher super aufgehoben... nur wie bekomme ich die da rein?

 

[tRITON]

In deinem Fall gibts eh nur eine Konfig. RAID JBOD ....Anders kommst Du eh nicht auf deine 6TB bei 10*600GB ... Dein Server ist nicht für diese Aufgabe konstruiert worden. Mehr als 12 Laufwerksschächte hat das Ding also nicht.

Kauf die doch erst mal deine Laufwerke. Für die 600GB HDD zahlst du ca. 200€/Stk wenn du sie gebraucht kaufst. SSDs wirst Du nicht, kaum finden, die Supportet werden. Das heißt nicht, dass diese nicht laufen, aber dann sind wir wieder im Bereich des bastelns.

Ob das System 27TB / Stunde schafft? Kaum... selbst mit SSDs nicht, dazu ist der Controller zu klein der kann alleine nur 8 Laufwerke handeln. Ob du damit 10 überhaupt zusammen schließen kannst zu einem Drive?

 

[justmicha]

Du brauchst sowas hier


https://www.overclock3d.net/news/st...ssd_with_64tb_of_storage_at_pcie_4_0_speeds/1



Anhang anzeigen 1077040




Ohne ordentlich Geld in die Hand zu nehmen wird das nix werden.

geiles Teil

aber das wäre ja doch etwas überdimensioniert?!? ist das auf meine Aussage zu den 4,5TB pro Stunde bezogen oder einfach mal so als mögliches Monster in den Raum geworfen worden?

Ergänzung (7. Mai 2021)

Ob das System 27TB / Stunde schafft? Kaum... selbst mit SSDs nicht, dazu ist der Controller zu klein der kann alleine nur 8 Laufwerke handeln. Ob du damit 10 überhaupt zusammen schließen kannst zu einem Drive?

ich brauche ja die 27TB in ca 6 Stunden... also 4,5TB pro Stunde... wäre das mit den 4500ern (je4TB) erreichbar? und wenn ja, wie integriere ich diese von NVME auf die bestehenden SATA/SAS Schnittstelle

 

[Tornhoof]

Les dir https://www.storagereview.com/review/intel-ssd-dc-p4500-review durch von den Platten, du musst erstmal rauskriegen was der Workload deiner Anwendung ist, also was er wie schreibt (viele kleine Dateien, viele große Dateien usw). Wenn ich deine Plot Logik richtig verstehe gibts ja praktisch 15 parallele Writeoperationen zur gleichen Zeit, das könnte mit so oder so eng werden.

Mit Puffer brauchst du für deine 4.5TB sicherlich etwa 1.5GB/s. Je nach Workload wird das verdammt eng, wenn überhaupt möglich.
Die Platten haben einen U.2 Anschluss, der dürfte nicht kompatibel mit deinem Raid Controller sein. Aber U2 Adapterkarten für PCI-E sind nicht teuer. Für ein primitives Stripe Set ist dein Raid Controller eh overkill.

Wenn du also von 27TB in 6h ausgehst, also grobe 100TB am Tag, deine Disks aber nur 4.8PB an Endurance haben, die wahrscheinlich ja auch nicht neu sind. Dann sind deine Platten nach einem Monat am Endurancelimit und die Chance wird danach immer höher, wann sie dann wirklich ausfallen lässt sich nicht sagen, aber länger als zwei Monaten würde ich den Platten nicht geben

 

[nebulein]

Man kann den 3650 M5 ja noch upgraden mit mehr Laufwerkslots oder einem anderen bzw. 2. Raid Controller.

Es gibt zudem noch ein

PCIe extenders (for NVMe PCIe SSDs)

System x NVMe PCIe SSD Extender Adapter

Dort dürften aber nur 2 NVME SSDs Platz finden.

https://lenovopress.com/lp0068-leno...ne-type-8871#controllers-for-internal-storage

Das größere Problem sehe ich darin das der M5 schon seit 2014 gebaut wird, im Worst Case hat die Hardware schon 7 Jahre auf dem Buckel. Sowas 24/7 mit Volllast zu betreiben wird nicht ewig gut gehen.

Bei Plattenpreisen muss man halt schauen, einige Platten die sich besonders für Chia Mining eignen, sind schon nicht mehr lieferbar oder extrem in den Kosten in den letzten 2 Wochen explodiert. Hatte das Problem jetzt schon bei 2 Kunden, dass wir für das Backup NAS kaum noch Platten kriegen.

 

[Tornhoof]

Wenn ich mir https://www.storagereview.com/review/best-budget-chia-plotting-rig so durchlese, solltest du eher sowas bauen als auf ServerHW zu setzen.

 

[Rickmer]

Ich denke das wäre eine Anwendungsscenario für etwas wie die Western Digital Ultrastar DC SN640 - 2DWPD 3.2TB, ISE, U.2 oder sogar Intel SSD DC P4610 3.2TB, U.2

Bei 100TB/Tag bist du durch die 12PB der WD Ultrastar in 4 Monaten durch (auf 2 SSDs verteilt immerhin 8 Monate), der Aufpreis für die Intel könnte sich da lohnen. Kommt halt drauf an, was genau dein Ziel ist.
Bei 2-3 GB/s sustained writes sollten zwei Drives im JBOD die gewünschte Performance und Kapazität bringen. Notfalls halt mit u.2 Adaptern arbeiten.

Das mit den SAS Platten würde ich ganz vergessen, das könnte zu viel Frust führen und teurer als die SSDs ist es auch noch.

 

[Tornhoof]

Wenn ich https://chiacalculator.com/ so anschaue, frage ich mich da, wo du denkst damit Geld zu verdienen,
du musst ja die Plots aufheben, das heißt du die fertigen Plots (jeweils ~100GB wenn ich das richtig sehe) musst ja auf Platten schreiben und aufheben und du willst die ja nicht verlieren, d.h. dein erwarteter Storagespeicher wird sich verdoppeln, dazu noch Ausfälle von Platten und andererer HW, dazu Strom, Steuern, Transaktionsgebühren (wenn du Geld abziehen willst, du musst die Aktion ja finanzieren), alles in der Annahme der Preis bleibt einigermaßen gut für die Dinger. Ich komme nicht auf mehr als 200-400€ im Monat die du da rausziehen könntest.

 

[Rickmer]

Klar, wer 100TB/Tag plottet muss auch Storage haben wo das drauf kann

 

[Tornhoof]

Klar, wer 100TB/Tag plottet muss auch Storage haben wo das drauf kann

Sind ja nicht 100TB/Tag die er plottet, sondern 100TB/Tag die er auf SDD schreibt, weil das Plotten soviel IOPS braucht.

Gehen wir mal von grob15 Plots gleichzeitig und ca 6 Stunden Zeit aus

sind das 60 Plots am Tag, also grob 6TB am Tag die er auf die Storage HDD schreiben muss.

 

[Xes]

Ein Plot benötigt ca 330GB Platz auf der SSD, wobei während des Plottings ca 1.8TB an Daten geschrieben und gelesen werden). Das Ziel ist die Plots in möglichst geringer Zeit zu schreiben.

Ich habe da garnichts mit am Hut, aber so als Laie gedacht:
Macht es wenn man es "richtig" machen will bei derartigem Verschleiß von SSDs nicht Sinn ein System auf Basis der Epyc CPUs mit (mind.) 500GB RAM zu kaufen und das schreiblastige Mining in einer RAM-Disk laufen zu lassen?

 

[Tornhoof]

Für solche Zwecke war ja mal Intel Optane gedacht, die sollten bis zu 10-100 fache Endurance schaffen.

Wenn jeder Plot 300GB Speicher braucht und er 15 Plots parallel schreiben will braucht er halt auch wieder 5TB RAM und das kostet was.