Günstigster Einstieg für NVME Raid System / PCIE-Bifurcation

[Khorneflakes]

Ich hab mal ein System für ~20 U.2-SSDs gebaut, auf Basis von Sockel 3647. Die Grundkosten wirst du halt nicht los. Das ist immer teuer. Auch wenn die Hardware alt ist, TR1950X inkl. Board für 200€ ist nahezu geschenkt.

 

[clmns]

RAM: G.Skill 2x 16GB DDR3-3200 (F4-3200C16D-32GIS)

das Board ist DDR4.

Achte am besten auch auf ECC Support bei RAM und CPU (die APU Modelle haben das meist nicht)

Ergänzung (15. Oktober 2024)

Die Grundkosten wirst du halt nicht los

this. Wieviele SSDs kommen, rein, was kostet eine, sind die Grundkosten überhaupt soo relevant?

 

[Gohst]

Zu den Grundkosten:

NVME SSD sind 8 Stk. vorhanden (u.2 Disks).
Grundkosten wären dann nur für m.2 auf u.2 Adapter (z.B m.2-> oculink -> u.2).

Wobei ich für 4 u.2 Disks bereits alles Material haben, ebenso um 4 m.2 SSD zu verbauen (Asus Hyper m.2 x16 Karte).

Würde ich mir SAS3 fahren, wären min. 32 Disk für mein Szenario notwendig (Disk vorhanden).
Grundkosten dort wären die SAS HBA und Kabel.

 

[TorenAltair]

Ohne den Anwendungsfall zu kennen, ist das ganze Gerate unseriös. Sollen grosse Dateien übertragen werden, kleine Dateien, überhaupt welche. Stichworte Latenzen, IOPS, Consumerhardwarebeschränkungen bzgl RAID-Modi usw.

 

[Gohst]

@TorenAltair

Kein Hardware RAID, Ausfalltoleranz ist allgemein weniger relevant.
Niedrige Latenzen (daher All-Flash NVME), sehr hohe IOPS Zahl sind am wichtigsten (70% Read, 30% Write).

Ich habe nach Plattformen mit vielen PCIE Lanes für wenig Geld gefragt.
Das war die Einstiegsfrage.

Die Speicherhardware ist bereits vorgegeben (steht zur Verfügung), muss somit nicht beschafft werden.
Es ist auch nicht gefragt worden, welche Speicherlösung, welches OS oder gar welches Dateisystem.

Fest steht, 40Gbe Ethernet sollte ausgereizt werden können, explizit hohe Rechenleistung am Speichersystem ist nicht notwendig.

Ob es dann noch Caching via RAM geben soll (Thema ZFS SLOG/ZIL/L2ARC) usw. ist noch nicht relevant.
Es ist eine experimentelle Sache und vieles ist auch mir noch nicht klar.

Ich verstehe eine gewisse Grund-Neugier die bei so schleierhaft scheinende Vorhaben besteh.
Ebenfalls ist klar, dass optimale Beratung viel Informations-Input benötigt.

Ich orientiere mich an (massiven) Datenbank- und Virtual-Machine Anwendungs-Szenarien, in der Hoffnung bei der Hardware Auswahl auf den richtigen Pfad zu kommen.

 

[TorenAltair]

Der Punkt ist z.B. dass ein RAID 0 die Latenzen erhöht. Deswegen ist das schon relevant mMn.

 

[Gohst]

Ich gehe davon aus, dass es keine RAID geben wird. Und wenn, dann eines auf Software Basis mit möglichst geringem Penality ggü. Latenzen oder IOPS.

Ausfallsicherheit der Disks ist für das geplante Szenario (noch) nicht relevant.

 

[clmns]

@TorenAltair

Kein Hardware RAID

dann ZFS?! ->RAM würd schon an das Limit gehen was pro Riegel verbaut werden kann.

Ich habe nach Plattformen mit vielen PCIE Lanes für wenig Geld gefragt.

AM4 oder wenn du mehr brauchst n günstiges Epyc/TR Board + RAM + CPU kommst vielleicht auch das... da haste noch mehr Lanes

Ob es dann noch Caching via RAM geben soll (Thema ZFS SLOG/ZIL/L2ARC) usw. ist noch nicht relevant.

s.o. 2x32GB würd ich schon machen, min 32GB. wenn Consumer Mainboard kannst auch ggf. auf 3600MHz oder in der nähe gehen gehen wenns die günstig gibt

Ich orientiere mich an (massiven) Datenbank- und Virtual-Machine Anwendungs-Szenarien, in der Hoffnung bei der Hardware Auswahl auf den richtigen Pfad zu kommen.

RAM, evtl die 12-16 Core Modelle anschauen! min 8.

 

[TorenAltair]

Ich gehe davon aus, dass es keine RAID geben wird

Warum steht dann in der Überschrift RAID? Ich würde mir mal eine klare Anforderungsbeschreibung machen bzgl dessen was absolut gesetzt ist. So ist das doch ein Riesendurcheinander.

 

[clmns]

Warum steht dann in der Überschrift RAID? Ich würde mir mal eine klare Anforderungsbeschreibung machen bzgl dessen was absolut gesetzt ist. So ist das doch ein Riesendurcheinander.

Ich gehe davon aus, dass es keine RAID geben wird. Und wenn, dann eines auf Software Basis mit möglichst geringem Penality ggü. Latenzen oder IOPS.

??
Der TE meint kein Hardware RAID!

 

[Gohst]

@TorenAltair

Für NVME gibt es fast keine Hardware Raid Controller. Broadcom hat so spezielle Hybrid Dinger (NVME als Cache) aber bei NVME wird eigentlich nie von Hardware Raid gesprochen.

Der Titel kann verwirren, aber viel länger wollte ich ihn nicht machen.

Software Raid ist natürlich ok

 

[Child]

Na nimm doch das 200€ Threadrippersystem wenn du da genug Lanes in der gewünschten Geschwindigkeit hast. Klingt doch plausibel.

 

[TorenAltair]

RAID hat gar nichts mit Software oder Hardware zu tun. Es ist ein technisches Konzept.

 

[konkretor]

Schnell in Verbindung mit ZFS ist weniger möglich. Gerade wenn du die 40 Karten an die Wand fahren willst. Nimm XFS und LVM und schau dir mal VDO an, wenns um HA geht DRBD ist da hilfreich.

https://www.thomas-krenn.com/de/wiki/VDO_-_Virtual_Data_Optimizer

ZFS ist jetzt nicht das Rennpferd.
MDRaid ist definitiv zu langsam. Nvme Raid Controller kosten auch nur Performance.

 

[Gohst]

@TorenAltair

Wie ein Raid XYZ umgesetzt wird, ist eben auch ein Faktor.

Hast du einen Controller der z.B die Paritätsdaten berechnet (und meist auf eine gewisse Zahl an IOPS limitiert ist) oder übernimmt die CPU den Job, hast du schnelle Cache Disks oder Ram (sei es auf nem Controller oder nicht).

Und dann bei ZFS wo es sehr viele Möglichkeiten gibt mit Raid was zu tun oder nicht. Dort wird Raid nicht auf einem Controller umgesetzt.

Aber darum geht es ja nicht. Zuerst muss mal Hardware her. Aber keine Controller Karten (ausser es ginge um SAS/SATA).

 

[TorenAltair]

Zuerst muss mal Hardware her.

Genau das ist der Fehler. Zuerst muss eine klare, eindeutige Anforderungsliste da sein. Nimmst Du irgendein Consumerboard kann es sein, dass Du plötzlich irgendwelche Einschränken aufgrund der Treiber in Linux hast usw. Aber ich wünsche viel Erfolg.