Win 10: Software Raid 0 mit 4x NVME über Z270 Chipsatz 6 gb/s Datendurchsatz? Wie geht das?

[Vissi]

Hallo,

habe ein Z270 Board und habe 4 Stück NVME 970er Evo SSDs über die zwei Onboard-M.2-Steckplätze und zwei zusätzlichen M.2 PCIe-Adapter über pCIe-Port 2+3 angebunden.

Jetzt habe ich aus 4 NVME-970er evo Laufwerke ein Software Raid 0 erstellt.

Normal müssten doch alle NVME über den Chipsatz angebunden sein.

Aber der Benchmark mit ATTO zeigt Erstaunliches!

6 gb/s?? Wie geht das? Hat jemand eine Ahnung? Es dürfte doch nur maximal 4 Lanes-Speed sein und nicht 8 Lanes Speed !?!?

 

[entropie88]

Hast halt nicht genügend pci-lanes für die volle Leistung würde ich mal tippen.

 

[Vissi]

Es dürfte doch nur maximal 4 Lanes-Speed sein und nicht 8 Lanes Speed !?!?

 

[sLy]

4 SSD * 4 PCIE Lanes * 8 Gbit/s = 128 GBit / 8 = 16 Gbyte/s

 

[Nizakh]

Schau mal im Handbuch nach ob die M.2 Steckplätze über CHipsatz oder CPU angebunden sind.

 

[Vissi]

Die sind doch nur über den Chipsatz angebunden!?

 

[DocWindows]

Ich dachte du wolltest kein RAID machen und jetzt hast du doch ein Stripeset über 4 Platten erstellt? Also ein RAID-0

 

[Nizakh]

Die sind doch nur über den Chipsatz angebunden!?

Dann ist das Ergebnis nachvollziehbar. Zwischen Chipsatz und CPU besteht eine Verbindung mit 4x PCIe 3.0, dies scheint dann hier der Flaschenhals zu sein.

 

[Vissi]

Wegen der Trimm-Funktion, habe ich mich für Raid 0 entschieden. Wenn man die SSDs in einem Pool anordnet, werden die doch alle eine nach der anderen vollgeschrieben. Und da hatte ich die Idee, dass dann die Trim-Funktion nicht mehr funktioniert.

Wegen der Geschwindigkeit, ich habe gedacht, dass die 4 SSDs über den Chipsatz angebunden sind. Dann müsse das der Raid-0 Verbund doch genauso schnell sein wie eine NVME. Also über 4 Lanes angebunden.

Im Handbuch steht, dass der PCIe-Port 1 und 2 über die CPU angebunden ist.

Der PCIe-Port 3 und 4 über den Chipsatz.

jetzt habe ich doch einen NVME-to-PCIe-Adapter auf dem PCIe-Port 2 laufen und einen auf PCIe-Port 3.

Wenn man die drei m.2 Steckplätze benutzt, ist der PCIe-Port 4 offline.

Kann eigentlich nur so sein, dass wenn man ein 4 Lanes auf PCIe-Port 2 + 3 benutzt, beide an die CPU angebunden sind.

Was passiert, wenn ich jetzt die 5. NVME in das Raid 0 integriere? Also wenn man 3 Stück über den Chipsatz angebunden hat und zwei NVME über die CPU?


Sind dann alle 5 NVME SSDs auf 4 Lanes begrenzt?

 

[sLy]

Ahem 4 Lanes wären halt nur 3,2 GB/s

Ergänzung (20. September 2018)

Schau doch einfach ins Handbuch

beim Z270 Hast du entweder 16 Lanes an PCIE1, oder 8+8 oder 8+4+4.
die m.2 Laufen definitiv über den Chipsatz

mit deinem Setup könntest du bis zu 16 Lanes nutzen, welche 16 GB/s Durchsatz hätten, und hast 6,2 mit dem Software-Raid.

Was ist an 6,6 von 16 GB/s jetzt so erstaunlich?

 

[Vissi]

Weil 6 gb/s der Speed von 8 Lanes ist und nicht der von 4 Lanes.

Kann eigentlich nur so sein, dass wenn man ein 4 Lanes auf PCIe-Port 2 + 3 benutzt, beide an die CPU angebunden sind und nicht wie im Handbuch steht, dass der PCIe-Port 3 am Chipsatz angebunden ist.

Was ist, wenn ich die 5. NVME in das Raid-0 integriere, 2 Stück über die CPU und 3 Stück über den Chipsatz (4 Lanes) angebunden sind.

Reduziert sich dann der Speed auf 4 Lanes?

 

[sLy]

OK jetzt verstehe ich auf was du hinaus willst.

Ist der PCIe 3 ein "16x" Slot?
Falls nicht wird der am Z270 hängen.
Ich kenne kein Board welches die Lanes von Chipsatz an die CPU wechseln kann.
Lasse mich aber gerne eines besseren belehren

Und die 5. SSD sollte an sich garnichts an der Geschwindigkeit des RAID ändern, egal wo sie angeschlossen wird. (Ausser sie läuft dann nur im auf einer Lane)

bzw. dürfte der RAID nur dann den Durchsatz von 4 Lanes haben, wenn alle SSDs über den Chipsatz laufen.

 

[Vissi]

Wenn ich die 5. NVME in den Raid 0 Verbund mit rein nehme, sind dann 3 Stück NVME an denn 4 Lanes des Chipsatzes angebunden und 2 Stück NVME an die CPU.

Geht das überhaupt? Oder reduziert sich der Speed dann auf den kleinsten Nenner - 4 Lanes?

 

[sLy]

Es sollte sich nur dann auf die 4 Lanes begrenzen wenn du keine der SSDs mehr über die CPU versorgst.

 

[Vissi]

Du meinst keine zusätzlich 6. NVME, dass man 3 Stück am Chipsatz und 3 Stück an die CPU hängen hat?

 

[Renegade334]

So wie es aussieht (Seite 22 Handbuch) hängen die 3 M2 Slots am Chipsatz, teilen sich also den DMI 3.0 Link (ca. PCIe 3.0 x4). Port 2 läuft über die CPU und hat auch PCIe 3.0 x4.
Also hast du die Leistung von ca. 2x PCIe 2.0 x4, was in etwa 8GB/s wären. Mit sonstigem Overhead passen deine 6-6,7GB/s doch ganz gut.
Wenn du mehr Speed willst, schmeiß die GPU raus und bau die 4 M2 auf den PCIe 3.0 x16 Slot
Da sich alle M2 in den Onboard Slots die Bandbreite teilen, lohnt es sich höchstens eine der SSDs mit der in dem Adapter in ein Raid0 zu packen. Und auch das lohnt nur bedingt, wenn die Daten von einer der anderen 2 SSDs kommen. beim Kopieren wirst du so bei max. 3,5GB/s landen , egal ob Raid oder nicht. Beim reinen Lesen hast du im Idealfall vom Raid dann ca. 7GB/s.

 

[sLy]

Da muss man erstmal drüber nachdenken.

Wenn wir davon ausgehen das der Flaschenhals die Anbindung von Chipsatz zu CPU ist dann:
Sollte der "volle" 8 Lane Speed beim RAID 0 erreicht werden, wenn die SSDs symmetrisch auf CPU und Z270 aufgeteilt werden.
Wenn die SSDs asymmetrisch aufgeteilt sind,
zb. 1 CPU 3 Chipsatz, dürfest du so bei 5,3 Lanes sein.
bei 2 CPU 3 Chipsatz so ca. 6,6

Wie ich darauf komme:
Die Stripes im RAID 0 sind ja gleich groß, werden also auf alle SSDs "gleichzeitig" verteilt.
die 1 an der CPU muss ja aber warten, bis die 3 am Chipsatz ihre Datenhäppchen bekommen haben.

 

[Vissi]

Meine Graka will ich natürlich behalten.

Was ist, wenn ich 3x NVME über den CHipsatz und 2x Stück über die CPU angebunden habe?

Geht das überhaupt, mit 5x NVME im Raid 0? Müsste ja funktionieren. Bin ich dann richtig in der Annahme, dass 5 Stück NVME im Raid 0 dann nur mit 4 Lanes angebunden wären?

Ich müsste also die Graka rausschmeißen und jeweils 3 Stück über den Chipsatz und 3 Stück über die CPU anbinden, um eine 6 gb/s ANbidung zu bekommen. Oder geht das auch mit den 5 NVMEs?

Ergänzung (20. September 2018)

Wenn die SSDs asymmetrisch aufteilt, zb. 1 CPU 3 Chipsatz, dürfest du so bei 5,3 Lanes sein.
bei 2 CPU 3 Chipsatz so ca. 6,6

Eine interessante Frage. Ist es dann nicht so, dass sich alles auf den kleinsten Nenner reduziert? Weil wenn das so wäre, würde ich natürlich auch gerne die 5. NVME da mit in den Raid-0 Verbund packen.

Ergänzung (20. September 2018)

So wie es aussieht (Seite 22 Handbuch) hängen die 3 M2 Slots am Chipsatz, teilen sich also den DMI 3.0 Link (ca. PCIe 3.0 x4). Port 2 läuft über die CPU und hat auch PCIe 3.0 x4.
Also hast du die Leistung von ca. 2x PCIe 2.0 x4, was in etwa 8GB/s wären. Mit sonstigem Overhead passen deine 6-6,7GB/s doch ganz gut.
Wenn du mehr Speed willst, schmeiß die GPU raus und bau die 4 M2 auf den PCIe 3.0 x16 Slot
Da sich alle M2 in den Onboard Slots die Bandbreite teilen, lohnt es sich höchstens eine der SSDs mit der in dem Adapter in ein Raid0 zu packen. Und auch das lohnt nur bedingt, wenn die Daten von einer der anderen 2 SSDs kommen. beim Kopieren wirst du so bei max. 3,5GB/s landen , egal ob Raid oder nicht. Beim reinen Lesen hast du im Idealfall vom Raid dann ca. 7GB/s.

Das stimmt ja nicht mit drei NVME über den Chipsatz und eine NVME an Port 2.

Ich habe ja im Raid-0 Verbund zwei NVMEs über das Mainboard (Chipsatz) und zwei NVME über Port 2 + 3. Eine NVME am Mainboard läuft einzeln. Wobei offenbar auch Port 3 über die CPU läuft. Sonst könnte ich ja nicht auf 6,6 gb/s beim Schreiben kommen.

 

[sLy]

5 Laufwerke im RAID 0 geht auf jeden Fall schon mal.

Der kleinste Nenner sind ja quasi die 2! 4-Lane "Kanäle" (CPU+Chipsatz)
Je größer das Ungleichgewicht zwischen diesen beiden (also Verteilung der SSDs), desto länger muss ein Kanal auf den anderen warten.

Schau doch einfach mal mit welcher Anbindung die Grafikkarte noch läuft.
Wenn sie auf 8x läuft ist 1 SSD an der CPU, und wenn sie auf 4x läuft sind 2 SSDs an der CPU

 

[Vissi]

4-fach geht nicht, das gibt das Handuch nicht her. 8x8x4. Vor allem kriege ich dann eine Kriese . Das darf also nüsch sein .

Wie überprüfe ich die Anbindung der Graka?