Raid 0: Software vs. Mainboard Chipsatz vs. Raidcontroller

[tackleberry]

Servus,

ich überlege gerade zwei bis vier 4 TB PCIe 4.0 Datacenter SSDs in einem Raid 0 auf meinem Threadripper Pro System zu vereinen. Welche Vor- und Nachteile hätten eine Software Lösung unter Windows bzw. Linux, via Mainboard Chipsatz (Asus WRX80) und dedizierten Raid Controller? Welche Option wäre die beste wenn maximale Bandbreite Priorität hätte und welche wenn Latenzen am wichtigsten wären?

Soweit ich das verstehe, entlastet der dedizierte Raid Controller primär die CPU aber wäre das bei einem Threadripper Pro überhaupt relevant? Nur wenn der PC im Softwarelimit läuft?

 

[coasterblog]

der eigene Controller kann immer ersetzt und auch in einem anderen System verbaut werden. Und er entlastet das System. Raid 0 ist aber kein echtes Raid

 

[up.whatever]

Bei RAID-0 gibt es keine Parity zu berechnen, dafür einen Raid Controller zu verwenden ist Blödsinn. Und so ganz allgemein ist ein RAID-0 nur sehr selten sinnvoll.

 

[conf_t]

Das RAID via Mainboard ist auch ein reines Software Raid manche nennen das auch Fake-RAID.

 

[DFFVB]

Also ich hab das gerade getestet - mit nem 10 Gbit Netzwerk, 950 PRO / 970 EVO. Funktioniert leidlich. Lesend 1 GB/s; schreiben so um die 400 MB/s - Windows und Intel Rapid Storage. Unter FreeNAS kamt er auf ca 800 MB/s schreibend.

 

[Humptidumpti]

Wie schon gesagt. Raidcontroller aufgrund fehlender parity Berechnung absolut nutzlos. Nimm einfach ein Chipset Fake Raid. Ist am einfachsten und vermutlich schneller als ein Raidcontroller.

 

[wern001]

4x m.2 pcie ssd mögen zwar schnell sein bei einzelnen großen Dateien aber sind langsamer bei vielen kleinen. Denn die Daten müssen ja auf mehrere Platten/SSDs aufgeteilt und wieder zusammengefügt werden.

Was nützen 24 GB/sek wenn man das nur im Benchmark erreicht?

 

[Grimba]

Welche Option wäre die beste wenn maximale Bandbreite Priorität hätte und welche wenn Latenzen am wichtigsten wären?

Bandbreite: Raid
Latenzen: kein Raid, weil Overhead

Geht's dir nur um die blanken Zahlen oder gibt's auch irgend einen richtigen Zweck, der dem Thread hier zugrunde liegt?

 

[tackleberry]

Bandbreite: Raid
Latenzen: kein Raid, weil Overhead

Geht's dir nur um die blanken Zahlen oder gibt's auch irgend einen richtigen Zweck, der dem Thread hier zugrunde liegt?

Erstmal Theorybuilding. Primär Videoarbeitung von ProRes in 4K. Habe aber noch andere Hobbies wo das ein oder andere mir einen gewissen Wettbewerbsvorteil bringen würde weil 99.999% der Competition mit M.2 SSDs arbeitet.

 

[Ned Flanders]

Ein RAID0 mit mehr als zwei Platten ist eigentlich nicht state of the art. Da macht man eher ein Raid5 oder 10 und dafür lohnt sich ein Hardware Controller

 

[wern001]

Erstmal Theorybuilding. Primär Videoarbeitung von ProRes in 4K. Habe aber noch andere Hobbies wo das ein oder andere mir einen gewissen Wettbewerbsvorteil bringen würde weil 99.999% der Competition mit M.2 SSDs arbeitet.

Ich schätze mehr Rechenleistung bringt mehr als schnellere Platten und 1x pissen gehen und der Wettbewerbsvorteil ist dahin.

 

[tackleberry]

Ich schätze mehr Rechenleistung bringt mehr als schnellere Platten und 1x pissen gehen und der Wettbewerbsvorteil ist dahin.

SSD Bandbreite ist Bottleneck...

 

[Ned Flanders]

SSD Bandbreite ist Bottleneck...

Ein Raid5 ist auch schnell aber halt nicht so extrem anfällig wie ein Raid0

 

[wern001]

SSD Bandbreite ist Bottleneck...

Mach halt RAM-Disk. Gibt ja Borads mit 2 TB oder mehr Speicher

 

[tackleberry]

Mach halt RAM-Disk. Gibt ja Borads mit 2 TB oder mehr Speicher

Hast Du eine Ahnung was RAM kostet, den man braucht um überhaupt ein System mit bis zu 2TB zu konfigurieren? Ich überlege gerade 512 GB RDIMM zu kaufen. Die kosten 3000 Euro.

Aber wenn 2TB reichen würden, würde ich nicht zwei 4 TB Datacenter SSDs für je 800 Euro das Stück kaufen, oder?

Generell war die Idee mit Ramdisk nicht schlecht aber in meinem Fall nicht praktikabel.

 

[snaxilian]

Musst du am Stück bis zu 8 TB schreiben? Wenn es eher nur paar Hundert GB sind: ZFS mit normalen SSDs und ner entsprechenden Optane oder vergleichbarem als ZIL/SLOG. Gerade für deinen Anwendungsfall Latenz ist dies ein guter Weg.

Hardware-Raid ist sinnvoll wenn das Betriebssystem keine zufriedenstellende und performante Möglichkeit bietet (Windows vor Storage Spaces, ESXi, etc).
ZFS kommt schon sehr nah an das Maximum der Geräte ran, korrekte Einrichtung vorausgesetzt. Zumindest ein mdadm spielt es in den meisten Anwendungsfällen an die Wand.

 

[tackleberry]

Musst du am Stück bis zu 8 TB schreiben? Wenn es eher nur paar Hundert GB sind: ZFS mit normalen SSDs und ner entsprechenden Optane oder vergleichbarem als ZIL/SLOG. Gerade für deinen Anwendungsfall Latenz ist dies ein guter Weg.

Hardware-Raid ist sinnvoll wenn das Betriebssystem keine zufriedenstellende und performante Möglichkeit bietet (Windows vor Storage Spaces, ESXi, etc).
ZFS kommt schon sehr nah an das Maximum der Geräte ran, korrekte Einrichtung vorausgesetzt. Zumindest ein mdadm spielt es in den meisten Anwendungsfällen an die Wand.

Ja, können auch gerne mal 2-4 TB große Dateien sein. Pro einzelne Datei... Optane kriegst Du aktuell nicht und wird dann auch brutal teuer. Habe ne offene Bestellung für eine P5800X. Sollte vor 2 Wochen kommen. Seitdem Lieferdatum unbekannt. =)

Aber danke für den Input. Werde mir die einzelnen Technologien mal angucken. Gerade erstmal RDIMM bestellt. Yolo.

 

[wern001]

Das ausgesuchte Board hat ja auch so einen 4x m.2 Adapter dabei. Das gleiche von MSI hatte mein MSI Creator dabei.
Ich hab in meinem 4x 1 TB als SoftwareRaid0 (Im Prinzip ist HardwareRaid nichts anderes als Software in auf einen extra Controller gebannt) und damit Chia geplottet. Das ging sehr gut.
Solange man nur Raid 0 oder 1 oder Mischung aus beiden macht ist ein Raid-Controller nicht von nöten. Die Verwaltung ist nur minimal dass da eine CPU entlastet wird.

Bevor du los legst müsstet Du halt Testen was schneller ist Raid0 oder die Speicherpool Funktion von Windows

 

[Salierfähig]

Gerade erstmal RDIMM bestellt. Yolo.

Mein Mann! Man(n) gönnt sich ja sonst nichts! Viel Erfolg beim Tüfteln

 

[snaxilian]

Optane kriegst Du aktuell nicht [...] P5800X

Muss es immer die aktuellste Version sein? Eine P4800X oder Optane 900P oder eher 905P ist auch ein gutes ZIL/SLOG Gerät und hat niedrigere Latenzen als die meisten "normalen" SSDs.
Andererseits sind die größten Zuwächse bei der Performance eher im Bereich random IO oder kleineren und vielen Daten.
ZFS skaliert relativ gut linear über die Anzahl der VDEVs. Hier ein Beispiel mit klassischen HDDs, alle als single VDEVs konfiguriert und damit vergleichbar mit einem Raid 0 (https://arstechnica.com/gadgets/202...ht-ironwolf-disks-two-filesystems-one-winner/).
Anstatt also wenige extremst teure/große/leistungsstarke SSDs zu nehmen, sprich ein Scale-Up Prinzip, wäre ggf. ein Scale-Out auch denkbar.
Beispiel: Wenn eine 2 TB SSD mit 1 GB/s write 100€ kostet und zwei je 1 TB SSDs mit 750 MB/s write zusammen auch 100€ kosten, hättest du die gleiche Kapazität mit einem ZFS Pool aus single VDEVs aber vermutlich mehr Durchsatz. Latenz ist vermutlich minimal höher als ein einzelnes Laufwerk aber dafür gibt's da ZIL/SLOG dies wirklich störend sein sollte.
Brauchst halt mehr Schnittstellen aber das ist nichts, was man nicht mit ein paar HBAs lösen kann^^