Günstigster Einstieg für NVME Raid System / PCIE-Bifurcation

[Gohst]

Hallo zusammen

Für ein speziellen Use Case muss ich eine Plattform zusammenstellen die sehr viele m.2 bzw. u.2 Festplatten bei möglichst geringem Preis beherbergen kann.

Im Grund genommen muss das System relativ viele PCI-Express Lanes bieten. Üblicherweise lassen sich bei den meisten modernen Boards die PCIE Slots (x16, x8) mittels Bifurcation aufteilen, die m.2/u.2 SSDs benötigen im Grunde genommen immer 4-Lanes.

Es muss keine Server Hardware sein - ich denke allerdings, dass Server Plattformen die Anforderungen gut erfüllen.
Die Hardware muss nicht neu sein, sie wird nur zu Testzwecken laufen - auch nicht über mehrere Jahre.

Folgendes habe ich mir neu rausgesucht, was mir bezahlbar scheint:

• Mainboard: Gigabyte MC12-le0 (Board ist ECC fähig)
• CPU: Ryzen 5 5500
• RAM: G.Skill 2x 16GB DDR3-3200 (F4-3200C16D-32GIS)

Bei diesem System würde ich 6 Stk. m.2/u.2 SSD einbauen können, Preislich liegt das so bei ca. 200€ komplett.
Kühler, Gehäuse Netzteil etc. ist alles vorhanden.

Allerdings bin ich irgendwie grade ideenlos weil das sind dann doch relativ wenig m.2/u.2 Laufwerke die sich anschliessen lassen.

• Hat jemand eine bessere Idee für BEZAHLBRE Hardware die deutlich mehr PCIE Lanes bietet?
  Ziel ist es, min. 8 Stk. m.2/u.2 SSD anzuschliessen.

Alle AM4/AM5 Boards sind irgendwo stark bei den PCIE Lanes limitiert.
Server Boards (Sockel SP3, 3647 etc.) sind neu extrem teuer - von den CPUs ganz zu schweigen...

 

[mugam]

Meinst du MC12-LE0, ein MC2 ist nicht zu finden ?

 

[Zwirbelkatz]

Moin

Ist es das, was du suchst?

Beide Plattformen beginnen ab 200€.

Filter: ab 4x M.2
https://geizhals.de/?cat=mbam5&xf=11924_4

https://geizhals.de/?cat=mbp4_1700&xf=11924_5

• Hat jemand eine bessere Idee für BEZAHLBRE Hardware die deutlich mehr PCIE Lanes bietet?
  Ziel ist es, min. 8 Stk. m.2/u.2 SSD anzuschliessen.

Kürzlich EoL gegangene HEDT- oder Serverhardware, schätze ich.

€dit:
Damit hast du ja persönliche Erfahrung, wie ich anhand deiner Signatur sehe.

 

[stefan92x]

Finger weg vom Ryzen 5500, der ist eigentlich eine APU und hat zu wenig PCIe Lanes

 

[Gohst]

@mugam

Ja meinte das MC12-LE0

@stefan92x

Danke für den Hinweis, bei den vielen AMD "billig" Modellen bin ich mittlerweile verwirrt...

AM5 als Plattform wäre zu teuer in der gesamthaften Anschaffung. Auch da schwierig sehr viele m.2/u.2 Laufwerke ran zu bringen. Oft ist ja auch heftig Lane-Sharing zwischen m.2 und PCIE Slots-

Es sind asus hyper m.2 x16 vorhanden, wäre irgendwie cool wenn die Boards PCIE x16 anstatt viele m.2 Slots haben.

 

[wern001]

Alle AM4/AM5 Boards sind irgendwo stark bei den PCIE Lanes limitiert.

Das liegt daran: nicht die Boards sind limitiert sondern die CPU; 16 Lanes für GPU, 4 für Chipsatz, 4 für nvme.

Auch wenn die oben gennanten Boards mehrere nvme aufnehmen können läuft nur eine direkt an der CPU. Rest über Chipsatz und die Teilen sich dann die Bandbreite von 4 Lanes
Was man machen könnte wäre einen 4fach nvme Adapter in den GPU Slot stecken.

Würde einen Threadripper nehmen, hat genügend PCIe Lanes. Muss ja nicht die aktuelle Plattform sein. 1, 2 und 3er gibt es recht günstig.
Auf das Threadripper Board dann wieder einen 4fach nvme Adapter draufschnallen.
Die meisten Threadripper Boards haben zwei 16x Steckplätze wo auch wirklich mit 16x angebunden sind.

 

[Gohst]

@wern001

Guter Tipp bez. Thread Ripper Plattform.
Wie schlägt sich 1st und 2nd Gen der Threadripper denn heute noch?

Sind doch ZEN1 Kerne?

 

[wern001]

Es kommt auf das Anwendung Szenario an.
Willste nur einen kleinen Server der 10 gb/sek zuballern kann oder berechnungen die viel schnellen plattenplatz benötigen.

 

[stefan92x]

Danke für den Hinweis, bei den vielen AMD "billig" Modellen bin ich mittlerweile verwirrt...

Wenn dir CPU-Leistung egal ist und du eine AM4 Plattform voll ausfahren willst: Den Ryzen 3100 gibt es neu für knapp 50€, der hat die volle Anzahl PCIe-Lanes. Aber was dir bei AMD klar sein muss: Es gibt entweder eine iGPU, oder ausreichend PCIe-Lanes für dein Projekt. Sobald du einen Monitor anschließen musst, ist AMD also praktisch raus, das geht nur Headless (außer du setzt auf AM5 mit Ryzen 7000 oder Epyc 4004)

 

[Gohst]

Eine Grafikkarte ist nicht 100% notwendig, wäre aber sicher von Vorteil (Server Boards haben ja i.d.R eine Onboard Grafik mit ipmi).

Zur Frage wegen Threadripper resp. CPU Leistung:
das System sollte im Idealfall eine 40Gbit Netzwerkkarte versorgen können.

 

[stefan92x]

das System sollte im Idealfall eine 40Gbit Netzwerkkarte versorgen können.

Ja dann vergiss AM4/AM5 und Intels kleine Boards, die braucht ja auch noch PCIe-Lanes. Da kommst du leider nicht mehr wirklich günstig hin.

 

[wern001]

Wenn Du eine 40 Gbit Karte ansteuern wilst brauchst Du 8 Lanes nur für die NIC.
CPU Leistung ist da nicht viel nötig.

 

[Child]

Dann wohl doch Threadripper od. Epyc.
Möglicherweise reicht ja was gebrauchtes.

 

[h00bi]

Für ein speziellen Use Case

Server Boards (Sockel SP3, 3647 etc.) sind neu extrem teuer

Naja, das ist eben das Problem bei sehr speziellen Use Cases.
Davon abgesehen kommen ja selbst bei günstigem Consumer Grade Storage nochmal 50-60€ pro TB on top.

die sehr viele m.2 bzw. u.2 Festplatten bei möglichst geringem Preis beherbergen kann.

U.2 und günstig funktioniert eh nicht. Alleine die U.2 Verkabelung oder Backplane ist doppelt so teuer wie dein geplantes System.

Davon ausgehend, dass du mehr als die i.d.R. problemlos und günstig realisierbaren 8TB-12TB (NVMe) Storage willst, ist die einzige Lösung in deinem Budget (wenn man die angepeilte 200€ Basisconfig berücksichtigt) ist SSD Caching.
Selbst wenn du 16-24TB erreichen willst, bist du mit 2-3 8TB M.2 NVMe SSD (~80€ pro TB statt 50-60€ pro TB) immer noch günstiger, als mit irgendeiner Speziallösung um mehr, aber kleinere SSDs zu betreiben.

Außer natürlich du greifst auf gebrauchte Serverhardware zurück.

 

[wern001]

Hab bei mir seit etlichen Jahren ein Supermicro X10DRI-T mit 2x 10 gbit am laufen. Board, CPU, Ram ist inzwischen recht günstig geworden.
Da steckt auch ein 4fach nvme Adapter drauf mit 4x 2 TB

 

[Gohst]

Habe ein Angebot erhalten für Thread Ripper:

AMD TR 1950x + Asus X399 Board für ~200€.
Was meint ihr? Oder würde ich bei Server Plattformen sogar besser weg kommen?

Eigentlich mag ich die Xeon E5-26xx v3/v4 Serien sehr weil die CPUs komplett nachgeschmissen werden.
Die Netzwerkkarte hatte ich in meiner Rechnung ganz vergessen....

@h00bi

Du darfst davon ausgehen, dass ein Sammelsurium an m.2 Adapterkarten, paar u.2 Kabel etc. vorhanden ist.
Oft findet man SFF-8xxx Kabel und m.2 Adapterkarten auf Aliexpress sehr günstig.

Da diese Kosten für mich sowieso entstehen (abgesehen von vorhandenem Material) bezeichne ich diesen Teil mal grob als "Fixkosten die sowieso anfallen".

 

[JumpingCat]

Preislich liegt das so bei ca. 200€ komplett.

das System sollte im Idealfall eine 40Gbit Netzwerkkarte versorgen können.

Das passt nicht zusammen. Was ist den Anwendungsfall?

 

[stefan92x]

AMD TR 1950x + Asus X399 Board für ~200€.
Was meint ihr? Oder würde ich bei Server Plattformen sogar besser weg kommen?

Bei dem Preis kannste das auf jeden Fall machen, glaube kaum, dass du Serverplattformen günstiger bekommst. Ist natürlich die Frage, was mit Kühler und Netzteil ist und so, ist das dabei, oder hast du was passendes da? Und hast du eine kleine GPU rumliegen, die du noch reinstecken kannst (denn das X399 hat kein IPMI mit rudimentärer Grafik)?

 

[Gohst]

@JumpingCat

Temporär muss ein extrem schnelles und gleichzeitig grosses Storage System zur Verfügung stehen.
Zudem sind vorhandene u.2 nvme SSDs aus "alten" Serversystemen bereits vorhanden.

Plan B wäre, eine grosse Menge an SAS3 SSD (auch vorhanden) zu verwenden. Da müssten aber noch entsprechende SAS HBA Controller beschafft werden - und auch da, mehr als 2 SAS Disk pro 4-Lanes würden wenig Sinn machen puncto Flaschenhals.

Also egal welcher Weg es wird, viele PCIE Lanes sind eindeutig von grossem Vorteil.

Ein grosser Teil des Vorhabens beruht auf Neugier und der Idee was neues dazu zu lernen.

 

[Zwirbelkatz]

Asus X399 Board

140€

https://www.ebay.de/sch/i.html?_fro...+X399+Board&_osacat=0&LH_Complete=1&LH_Sold=1