Mehrere NVME SSD Sinnvoll mergen

[YukoTama]

Hallo Community,

Ich habe keinen richtigen Thread dazu gefunden und bevor hier gleich jemand schreit mimimi "Raid bringt dir gar nix bei Consumer nvme" , hear me out

Ich habe das Asus 570 Creator Wifi und darin sind Verbaut, 3x Samsung 980 Pro 2TB, weil ich eben viel SSD Storage haben wollte für Lossless Videos und deren Bearbeitung. Ich hab also 3 Laufwerke:
C-System = Alles was so anfällt Programme, Benutzerdaten und Userfolder, Virtuelle Maschinen wird Regelmäßig gesichert

D-Daten = Synchronisierte Clouddaten, Fertig bearbeitete Videofiles, temporäre Daten zum Arbeiten, Games - wird auf Filelevel Ebene ausgewählt gesichert

V-VideoEdit = Riesige Lossless Files, Temp Folder von Programmen - Keine Sicherung

jeder der mit vielen einzelnen Laufwerken/Sticks oder externen Platten hantiert, weiß das man irgendwann ne Art Liste braucht was wo liegt, oder die Schnellzugriffsleiste zukleistert mit Shortcuts. Außerdem ist dann oftmals ein Laufwerk Fast Leer das andere Riesig voll aber um das System zu wahren sucht man irgendwas zum löschen.

Ich persönlich fände es cool, wenn ich die Möglichkeit hätte eine Laufwerk zu haben, meinetwegen auch C das halt dann "6TB" groß..Anfangs dachte ich mir halt pff eazy Raid 0 tägliches Backup drauf (Nas mit 120TB vorhanden) und fertig ist der Lack. Dann schau ich Youtube und hier im Forum zu dem Thema und nur mimimi das man damit alles nur schlechter macht.

Also jetzt die Frage...wie sehr fällt das CONTRA ind Gewicht zum PRO des meiner Meinung nach besseren Workflows und der besseren Ressourcennutzung. Gibt es möglichkeiten die Platten zu Mergen ohne deren EIgnschaften zu sehr in Mitleidenschaft zu ziehen?

Vllt können Erfahrene User nochmal das Raid 0 beschreiben und warum es ein NoGo ist?
Was wäre mit einem rainen Span aka JBOD...müssten hier nicht alle Eigenschaften erhalten bleiben? Werden die Platten hier wirklich nur nacheinander beschrieben oder wie verhält sich die TRIM Technik ?

Irgendwie fehlt mir hier ein Lösungsansatz für ein Zeitalter wo man sich 50 Platten in den Rechner schrauben kann. Die berühmten QUAD NVME PCIE Karten kennt ja jeder, auch hier muss es ja einen Sinnvollen Usecase geben sonst wäre das ja alles Käse.

Über eure Ideen und Meinungen würde ich mich freuen.

PS: Ich brauche keinen Ultimativen Highend Speed, also irgendwelche Raid 0 Geschichten und 25000MB/sek oder so ...ist mir klar das hier alles Marketing Käse ist. Ich möchte einfach zuverlässige Geschwindigkeiten und IOPS als auf meiner NAS

 

[redjack1000]

Vllt können Erfahrene User nochmal das Raid 0 beschreiben und warum es ein NoGo ist?

Die Antwort ist einfach, fällt eine Disk im Raid0 aus, Daten "unwiderruflich" weg. Das gleiche gilt für einen JBOD.

CU
redjack

 

[michi_z1981]

Ich hab's letztens einem IT Abstinenzler erklärt, je mehr Platten ja im RAID 0 laufen, umso größer das Risiko des Ausfalls.

Wir sind dann, wir waren gerade beim Pizza essen, bei folgendem Beispiel gelandet.

Du bestellst 1000*1 Pizza, da ist die Chance minimal das deine falsch ist.

Wenn du aber 1*1000 Pizzen bestellst, ist die Chance um ein Vielfaches größer, das eine "defekt" ist.
Also im Sinne, das alles komplett sein muss, um perfekt zu sein.


Nicht ganz korrekt, aber er hat's "gefressen"


Aber ich kann da jetzt doch deinem Problem nicht so ganz folgen.

 

[WeisheitsTroll]

Irgendwie fehlt mir hier ein Lösungsansatz für ein Zeitalter wo man sich 50 Platten in den Rechner schrauben kann.

In einem Zeitalter wo es hdds mit 16TB und mehr, sowie SSDs mit 8TB und mehr gibt sind raid0 einfach nicht mehr zeitgemäß.

Ist halt bei raid0 das Problem das sobald ein Laufwerk kaputt geht alles weg ist.

 

[john.smiles]

Wenn es nur um das optische geht, Partionen lassen sich auch als Ordner anstatt von Laufwerksbuchstaben nutzen.

Ergänzung (26. Dezember 2022)

Ist halt bei raid0 das Problem das sobald ein Laufwerk kaputt geht alles weg ist.

Es muss nicht einmal das Laufwerk kaputt gehen, Raid Modi sind komplex und fügen eine Menge Fehlerquellen hinzu, die das Raid korrumpieren können, ohne Hardware defekt.

 

[Nizakh]

Letztendlich ist es eine Frage des Anwendungsfalls und der Wichtigkeit der Daten.

Es wird die Ganze Zeit von „lossless“ Videos geschrieben. Sind damit Files von einer Kamera gemeint, oder handelt es sich um Gameplay/Stream?

Wenn die Daten, auch temporär, wichtig sind und hohe eine Kapazität und Geschwindigkeit benötigt wird: RAID 10 (Dafür braucht man aber mindestens 4 SSDs)

Wenn die Daten nicht wichtig sind, dann kann man ein RAID 0 einrichten.

Frage: Warum schreibst du die „Lossless Videos“ nicht auf dein NAS und nutzt dann Proxy Video Dateien auf deiner SSD innerhalb deiner Videobearbeitungssoftware?

 

[prian]

Was mir neben "RAID0 würde ich nicht machen" noch wundert, warum man sich 3x die 980 Pro mit 2TB holt wo man doch nicht den "ultimativen High-Speed" braucht.
Wäre es da nicht sinnvoller gewesen, lieber eine NVMe für C: (gerne die Samsung) und den Rest dann mit SATA-SSDs zu machen, also z.B. 2x MX500 4TB (oder D: auch auf NVMe und zumindest nur V: auf SATA)?
Dann wären wirklich große Datenträger vorhanden für einen Aufpreis von 60 Euro ggü. NVMe.
Ist nur so ein Gedanke .... oder wären dann knapp ca. 550MB Leserate dann schon zu langsam?

 

[YukoTama]

Die Antwort ist einfach, fällt eine Disk im Raid0 aus, Daten "unwiderruflich" weg. Das gleiche gilt für einen JBOD.

CU
redjack

Reicht wohl nicht das ich ein Vollbackup fahre? Mir ist durchaus bewusst was Raid 0 ist...und ich hatte gehofft gebnau diese Frag ejetzt nicht wieder durchkauen zu müssen Himmel..

 

[redjack1000]

Mir ist durchaus bewusst was Raid 0 ist

Ach echt....? Und was soll dann diese Frage?

Vllt können Erfahrene User nochmal das Raid 0 beschreiben und warum es ein NoGo ist?

Aufgrund deiner Fragestellung bin ich davon ausgegangen, das Dir nicht bekannt ist, was ein Raid0 ist.

Über eure Ideen und Meinungen würde ich mich freuen.

Du hast nach Meinungen gefragt, diese hast Du bekommen, nicht mehr und nicht weniger.

Cu
redjack

 

[YukoTama]

Okay...Ich weil sich jetzt alle an dem Raid 0 festbeißen....Sorry aber was ist denn los hier, ich bin beruflich Systemadministrator in der Stadtverwaltung Ich weiß zum Teufel nochmal um die Risiken von Raid0.

Raid0 habe ich angesprchochen (und das bereue ich schon zutiefst) um eine Möglichkeit in Betracht zu ziehen viele Datenträger in ein logisches Volume zu vereinen und NICHT wegen Speed. Außerdem fahre ich Vollbackups...ich kann mein System binnen 20 Minuten 1:1 restoren...das ist das absolut kleinste Problem das ich habe wenn mir irgendwas abschmiert...egal ob raid 1 oder Raid 0 aus 10 Platten.

Warum ich kein Sata Platten verwende? Ganz einfach, ich bin WEG von behinderten SATA Kabeln Strom + Datenkabeln...ich habe hier ein Highend Board wo ich einen Haufen M.2 reinschrauben kann und das komplett kabellos mit einem weitaus performanteren Standart...ist das nicht Grund genug??

Auf Sata Platten umzusteigen wäre für mich ein doppelter Rückschritt...

Zu der Frage wegen dem Lossless, ein Teil ist MOV Lossless aus bekannten Programmen wie Davinci oder Topaz. Es ist eine Mischung aus GameStreams, Remuxes, Kameraaufnahmen und und und...fakt ist sehr große Dateien, die ich Schnell von A nach B schieben möchte wenn nötig.

Was sind Proxy VIdeodateien?...klingt für mich nach einer TEMP datei des Videos..was hab ich da gewonnen?
Die Bearbeitung direkt auf der NAS habe ich schnell sein lassen, die IOPS sind Katastrophal und sie ist und bleibt ein reiner Massenspeicher um originaldateien und Finishes zu halten. Falls die nächste Frage kommt, ja es ist ne 10GB Verbindung 8x18TB Raid 6, ist halt nur Sinnvoll beim verschieben großer Dateien, genau das wofür Sie da ist.

Ergänzung (26. Dezember 2022)

Ich hatte auf tieferes technisches Wissen gehofft wie zb was ist mit TRIM und SLC Cache im Raid 1/0/5 ...Werden die Zellen anders beschrieben oder beansprucht in einem Verbund, gibt es hier unterschiede bezüglich Hardware und Software Raid...oder bei der Auswahl von Blocksize?

Aber ja Danke Raid 0 = Schlecht, Danke für diese Ausführung

macht hier einfach zu bitte, ich suchhe weiter nach einer Lösung

Danke.

 

[yxcvb]

Der Mensch an sich kann nicht abstrakte Dinge verstehen:

Ausfallwahrscheinlichkeiten von RAID0-Platten, Bezug auf einen c’t-Artikel in der Ausgabe 24/05, Seite 126, mit der Behauptung, das sich die Ausfallwahrscheinlichkeit von 2 Platten im RAID0-Verbund mindestens verdoppelt:

Die Ausfallwahrscheinlichkeit einer Platte sei P. Dann ergibt sich:

P(RAID0) = p*p (beide Platten fallen aus) + 2*(p * (1-p)) (jeweils eine Platte fällt aus)

Das lässt sich umformen zu

P(RAID0) = 2p – p2

Die Ausfallwahrscheinlichkeit eines RAID0 aus 2 gleichen Festplatten liegt also immer niedriger als das Doppelte der Ausfallwahrscheinlichkeit einer einzelnen Platte und niemals mehr als doppelt so hoch.

Zu dem Problem des TE: Du brauchst kein RAID, du kannst unter Windows deine Laufwerke zu einem großen zusammenfügen.

https://www.giga.de/downloads/windo...latten-zusammenfuegen-speicher-pool-so-gehts/

 

[michi_z1981]

Also ich sehe da keinen Grund ausfällig zu werden.

Du hast in deinem Post keinerlei Ausführungen drin gehabt, die irgendwo Ahnung signalisieren.


Sorry aber wenn du RAID 0 kennst, dann musst du deine Formulierung anders stellen und vielleicht deine Frage präziser.

Hab jetzt deinen Beitrag mehrfach gelesen, und verstehe dein Problem immer noch nicht.

RAID 0 ist ja nicht schlecht. Es ist nur überflüssig. Bei dir in Zeiten von NVMEs.
Aber man kann es als Antriebsplatz/Temp Verzeichnis schon nehmen. Wenn weg dann weg. Das weißt du ja offensichtlich.

Aber was das mit deiner Auflistung in Sachen Partition/Ordner und gleichmäßiger Auslastung der Laufwerke zu tun hat.....


Keine Ahnung.

Edit.
Da ich da auch nicht kannte, hab ich's Mal gelesen, scheint aber auch eine nur eine Art Software RAID zu sein.
Zitat aus dem oben verlinkten Artikel


" sind die Daten des gesamten Pools verloren"

 

[YukoTama]

Danke yxcvb, das kannte ich noch nicht ich werde mir die Speicherpools genauer ansehen.

Das ich hier eine Diskussion über Datenträgerausfall und Redundanz lostrete war genau nicht was ich wollte ..

 

[mibbio]

Was sind Proxy VIdeodateien?...klingt für mich nach einer TEMP datei des Videos..was hab ich da gewonnen?

Damit hat man gewonnen, dass die großen Rohdaten auf einem NAS mit viel Speicherplatz liegen können und man trotzdem mit diesen Daten lokal arbeiten kann, ohne dass die Anbindung des NAS das Bottleneck wird.
Proxydateien sind im Grunde vom Schnittprogramm automatisch erstellte lokale Kopien der Originaldaten mit geringerer Qualität (und damit Platz- & Performancevorteilen), die dann während der Bearbeitung als Platzhalter verwendet werden. Beim finalen Rendern ersetzt das Programm die dann selbständig wieder mit echten Daten in der vollen Qualität.

 

[redjack1000]

Das ich hier eine Diskussion über Datenträgerausfall und Redundanz lostrete war genau nicht was ich wollte

Ganz ehrlich, wieso steht das nicht im Ausgangsposting?

Cu
redjack

 

[muentzer]

Ich persönlich fände es cool, wenn ich die Möglichkeit hätte eine Laufwerk zu haben, meinetwegen auch C das halt dann "6TB" groß.

Schau dir den DrivePool von StableBit an.

 

[Hito360]

raid5 mit 3laufwerken = speed von 2 ssds (addiert sofern der raidcontroller hinterherkommt) mit sicherung/paritaet

 

[Iqra]

hatte auf tieferes technisches Wissen gehofft wie zb was ist mit TRIM und SLC Cache im Raid 1/0/5

Da bist du hier falsch, die Erfahrung mußte ich auch schmerzhaft machen.

Eine Möglichkeit ist Ein HBA mit oder ohne RAID Option. Dabei drauf achten, dass dieser nvme unterstützt, das ist keine inhärente Eigenschaft. Ansonsten gibts jede Menge Verluste und ggfs fehlenden trim support.

Jbod wäre damit auch realisierbar. Backups sind ja da.

Auch möglich ist ein externes Gehäuse, cf DAS. Oder Nas natürlich. Hier dann mit passender backplane. Exports als iscsi disks die ja auch auf nem raid liegen können. Oder als ZFS Pool für Nas mit Samba oder nfs.

Alle Optionen haben das “Problem” dass m2 nicht die primäre Zielgruppe ist, eher u2/u3 oder dergleichen. Adapter gibts. Vor dem Neukaufen aber ein Auge haben ob etwas außer m2 eine Option wäre.

 

[Humptidumpti]

Ich spreche jetzt mal aus meiner Erfahrung aus Jahrzehnten der Nutzung von Raid 0 Arrays. Ich denke es spricht nichts dagegen wenn man weis was man macht. Backups sind so oder so Pflicht wenn man seine Daten mag. Da ist es vollkommen wurscht ob jetzt eine einzelne Festplatte oder ein Raid 0 verwendet wird. Wenn das ganze sogar noch mit SSDs läuft ist man fast fein raus. Es ist heutzutage wirklich selten dass eine SSD mal abraucht.

Es spricht also hier in dem Fall eigentlich nix dagegen ein Raid 0 zu nutzen. Ob es da jetzt einen höheren Nutzen gibt sei mal dahin gestellt. Es wäre ganz klar sinnvoller gewesen wenn man von vorn herein einfach ne größere SSD gekauft hätte. Auch brauch man sich von nem Raid 0 mit NVME SSDs hier in dem Fall nicht viel Geschwindigkeit versprechen. Zwar verlangt Asus viel Geld für das Board und schreibt fleißig "Pro Art" und "Zuverlässigkeit" überall drauf aber letztendlich ist es dennoch nur ein normaler X570 sogar ohne E Consumer Chipsatz mit allen Limitierungen. Und das wäre hier ganz klar die PCIe 4.0 4x Anbindung des Chipsatzes an die CPU. Mehr geht nicht durch. Das ist der Flaschenhals.

@YukoTama
Zu deinen Frage. Trim: Vermutlich nein. Ist ein ATA Befehl und es würde mich wundern wenn das in nem NVME Array vom OS an die Platten weitergeleitet werden kann. SLC Cache läuft SSD intern und hat absolut garnix mit nem Array zu tun. Funktioniert also.