Passende RAID - NAS

[Schlee]

Hallo Zusammen,

Ich bin seit 3 Tagen am studieren welche RAID ich auf meinem neuen QNAP Server einrichte (4 Bay).

Anforderung:

• Speichern von Daten und Bilder (eher viele kleine Dateien)
• Zugriff auf Bilddaten direkt aus Photoshop mit Workflow Makro laufen lassen auf eine Vielzahl an Bilder
• Schneller Zugriff soweit wie möglich - ja kleinere Dateien haben einen starken Einfluss auf die Lese-Gechwindkeit
• Technisch ist alles aufgesetzt (QNAP Switch) und ready für 2.5Gbit - 10Gbit.
• Ich habe 2 x 12TB und würde optional noch ein drittes kaufen.
• Als Backup möchte ich mein Synology 216+ verwenden.
• Ich will den Speicher Flexibel erweitern können.

Nun habe ich über alle die verschiedenen Raidtypen gelesen und vom Gefühl her ist folgendes passend, aber gerne hätte ich hier noch die Meinung von ein paar Profis.

Raid 0 - hier aus den verschiedenen 2-3 HDD's ein grosser Speicherpool machen und als BackUp, den Synology einbinden.

Doof?

Danke und Gruss

 

[Skudrinka]

Ich bin seit 3 Tagen am studieren welche RAID ich auf meinem neuen QNAP Server einrichte

Keins!

Ein Raid ersetzt kein Backup.
Ein Raid erhöht nicht die Datensicherheit, sondern nur die Verfügbarkeit.
Raid hat immer Nachteile (wie auch in bestimmten Rahmen Vorteile)

Backups sind das entschiedene.

Für Geschwindigkeit kannst du gerne Raid 0 benutzen, hat aber eine riesen Ausfallwahrscheinlichkeit.
Eine weitere NAS, die permanent am Netz hängt, am gleichen Ort, ist kein Backup!

 

[Atkatla]

Auf einem 4 Bay NAS mit 3 Laufwerken würde ich RAID5 nutzen, da lässt sich flexibel ein viertes Laufwerk hinzufügen. Wenn eine Platte mal kaputt geht, kann man sie tauschen, ohne das Backup wieder einspielen zu müssen.

Das Backup ist dann für den Fall, dass das NAS oder mehr als eine Platte kaputt geht.

 

[H3llF15H]

Über welches NAS reden wir überhaupt?

 

[Schlee]

TS-473A​

 

[nubi80]

RAID5 mit 3 oder gar 4 Festplatten
Backup davon auf die zweite NAS

 

[Phunkberater]

Um ehrlich zu sein würde mich überraschen, wenn Du mit der Lösung glücklich wirst. Tendenziell würde ich für so eine Anforderung die aktuellen Daten auf einer SSD (im Rechner oder im NAS) halten um darauf zu arbeiten und die großen Platten als Datengrab für alles, was nicht mehr regelmäßig bearbeitet/gebraucht wird, verwenden.
Raid würde ich in dem Fall ohnehin lassen. Ein Riesen-Volume mit 20+TB mit vielen kleinen Dateien, und das auch noch auf langsamen Platten, spricht für mich sehr gegen schnellen Zugriff und wird Bearbeitungs-Makros (und tendenziell sogar das Browsen) ziemlich ausbremsen.
Backup auf Offline-Medium (z.B. USB-Platten) gehört ohnehin dazu.

 

[Mickey Mouse]

ich(!) halte RAID > 0 für Privat-Leute schlicht für reine Verschwendung!

und ja, ich habe selber seit Jahrzehnten NAS und auch früher RAID5 eingesetzt. Als mir mal eine HDD gestorben ist, hatte beim Recovery eine weitere Aussetzer und das ist komplett den Bach runter gegangen.
am Ende musste ich also doch das Backup einspielen und unterm Strich hat mich die angebliche bessere Verfügbarkeit sogar mehr Zeit gekostet als ohne RAID.

und wenn man nicht auf den Cent gucken muss, dann nimmt man heute doch lieber Thunderbolt SSDs "zum Arbeiten" und eine NAS nur für die Backups.

 

[foofoobar]

Bzgl. silent corruption unterscheiden sich diese beiden Ansätze nicht.

 

[Schlee]

--Bitte die Zitierregeln beachten--

--Bitte die Zitierregeln beachten--

Das würde bedeuten, eine Thunderbolt SSD (extern oder intern auf der NAS) wie diese zum mit aktiven Files und Makros arbeiten:

Extern
https://www.digitec.ch/de/s1/product/sandisk-professional-pro-g40-4000-gb-externe-ssd-24420906

Intern in NAS
https://www.digitec.ch/de/s1/product/samsung-870-evo-4000-gb-25-ssd-14599189

und den Output, dann als BackUp/Storage in der NAS im RAID 5 Verfahren hinterlegen?

Grundsätzliche Frage:
Die NAS hat zwei NVMe SSD Steckplätze. Die werden soviel ich weiss für Caching verwendet. Ich kenn mich überhaupt nicht aus, aber würde die Installation dieser SSD'd nicht indirekt dieses Problem lösen bzw. zielt exakt darauf ab? Aktive hungrige Prozesse wie eben Makro-Prozesse würden über diese temporär laufen?

Was soll ich kaufen?

• 3 x 14TB für RAID 5
• 2 x NVMe SSD (im NAS)
• und zusätzlich eine SATA SSD für den vierten BAY im NAS?

Unsinnig?

Tausend Dank

 

[Banned]

und ja, ich habe selber seit Jahrzehnten NAS und auch früher RAID5 eingesetzt. Als mir mal eine HDD gestorben ist, hatte beim Recovery eine weitere Aussetzer und das ist komplett den Bach runter gegangen.

Dann hattest du halt ziemlich Pech. Das ist dann eben der worst case bei RAID5.

Doof?

RAID0 ist keine gute Variante. Die erhöht sogar die Ausfallwahrscheinlichkeit. Ist eine Platte hinüber, sind auch die Daten auf den anderen wegen des Striping (bis auf evtl. ganz kleine Dateien) unbrauchbar. RAID0 dient nur der Geschwindigkeit. Eine höhere Lesegeschwindigkeit kannst du allerdings auch mit anderen RAID-Varianten erzielen.

Wenn du RAID im Hinblick auf Datenintegrität einsetzen möchtest, würde sich hier ein RAID5 und regelmäßige Scrubs empfehlen (am besten mit ZFS- oder BTRFS-Dateisystem - keine Ahnung, ob QNAP eines davon anbietet). Hier erhöht sich auch die Lese-, aber nicht die Schreibgeschwindigkeit.

 

[Schlee]

--Bitte die Zitierregeln beachten--

--Bitte die Zitierregeln beachten--

@Phunkberater @Mickey Mouse

Würde das Sinn machen, da Ihr SSD erwähnt habt...?!

Danke und Gruss

 

[snaxilian]

Raid: 0 oder 1 ist aus Sicht des möglichen Durchsatzes fast identisch, sequentielle Vorgänge vorausgesetzt. Bei random IO wirst immer warten müssen und wenn die vielen kleinen Dateien nicht am Stück geschrieben wurden dann sind die im worst case kreuz und quer auf den HDDs verteilt und damit wird's langsam.

Wenn du eine etwas höhere Verfügbarkeit brauchst dann 1, wenn du mehr Speicherplatz brauchst dann 0.

Schön wie fast alle das Thema Backup erwähnen aber du hast dich ja bereits im Eingangspost damit befasst wobei eben eine dauerhaft verbundene und erreichbare Synology (fürs Backup) Optimierungspotential hat.

SSD Cache: Ja. nein. vielleicht.
Beim schreiben wird dieser helfen, beim lesen nur bedingt. Das NAS kann nie wissen welche Dateien du als nächstes lesen willst und diese in vorauseilendem Gehorsam auf die SSDs packen. Je nachdem wie QNAP hier das Thema Lese-Cache implementiert hat gibt es drei Möglichkeiten:
1. Die zuletzt gelesenen Daten werden im Cache gehalten damit dann ein zweiter und erneuter Zugriff schneller erfolgen kann.
2. Die am häufigsten gelesenen Daten werden im Cache gehalten damit weitere Zugriffe schneller erfolgen können.
3. Aufteilung des verfügbaren Speicherplatzes für den Lese-Cache für die zuletzt und am häufigsten gelesenen Daten.

Wenn du vor dem erstellen deines Beitrags mal ein bisschen die Suchfunktion des Forums genutzt hättest, hättest du dir einen Großteil deiner Fragen sparen können denn du bist bei weitem nicht der Erste der glaubt es sei eine gute Idee seine Bilder direkt vom NAS bearbeiten zu wollen.
Jegliche Diskussion dazu bringt keinerlei neuen Erkenntnisgewinn, da dieses Thema mehr als einmal durchgekaut wurde. Nutze daher bitte die Suche und entscheide dann ob du bereit bist mit den höheren Latenzen zu leben oder ob du einfach Daten zur Bearbeitung lokal am PC vorhalten willst/kannst.

 

[Araska]

Für Geschwindigkeit kannst du gerne Raid 0 benutzen, hat aber eine riesen Ausfallwahrscheinlichkeit.

Was spricht an dieser Stelle gegen Raid 5?
Mehr Geschwindigkeit
Großes Volume
Nicht die erhöhte Ausfallwahrscheinlichkeit von RAID0

 

[Donnerkind]

Ein Raid ersetzt kein Backup.

Ehrlich gesagt nervt es mich, dass immer gleich als erstes wie ein Beißreflex dieser Satz kommt. Auch wenn er nicht falsch ist, aber insbesondere hier hat der TE doch direkt gesagt, dass er ein Backup eingeplant hat. RAID hat definitiv Vorzüge, auch für Normalos, vor allem dass man mehrere Platten zu einem großen Pool vereinen kann, sodass man sich das organisatorische Verteilen der Daten sparen kann. Solange die technische Komplexität eines RAIDs gut beherrscht wird, entweder durch den Nutzer selbst oder durch die Appliance, sag ich "wieso nicht".

@Schlee Da du aktuell nur zwei Platten hast, hast du technisch drei Möglichkeiten:

• Platten einzeln nutzen. Vorteil: raucht eine ab, muss nur diese wiederhergestellt werden. Nachteil: du musst dich händisch um das Aufteilen der Daten auf die beiden Platten (ergo Verzeichnisse) kümmern und beim Backup berücksichtigen.
• Raid 0: intern schneller, aber zumindest mit 2,5 Gbps noch kein wirklicher Vorteil, außer vielleicht auf den inneren Plattensektoren, wo die Einzelplatte deutlich langsamer werden.
• Raid 1: halber Platz, aber durch Redundanz bist du bei einem Ausfall trotzdem sicherer bzw. brauchst im Idealfall nicht aus dem Backup wiederherzustellen. Wenn der Platz kein Problem ist, würde ich damit anfangen. Es ist schlicht eine weitere Schicht Sicherheit ohne Zusatzkosten.

Ich hatte mit meinem NAS damals mit zwei Platten im Mirror angefangen und als die voll wurden, habe ich zwei weitere gekauft und auf ein Raid mit zwei Parity-Platten migriert. Ich wollte den besten Schutz, den ich bei meiner Ausstattung durch RAID kriegen kann, weil ich absichtlich und wissentlich kein Backup habe, denn das NAS ist eigentlich nur ein Medienarchiv. Ein Totalverlust wäre ärgerlich und frustrierend, aber nicht kritisch. (Meine vollständigen Systembackups liegen nach 3-2-1-Regel und mit Borg versioniert auf USB-Platten.)

Als mir mal eine HDD gestorben ist, hatte beim Recovery eine weitere Aussetzer und das ist komplett den Bach runter gegangen.

Solche Einzelschicksale gibt es immer. Genau wie manchen Leuten eine Festplatte stirbt, obwohl die Mehrheit sagt, das sei ein sehr zuverlässiges Modell. Ja, sowas kann passieren und die Wahrscheinlichkeit eines Ausfalls im Rebuild steigt mit der Größe der Platten (deshalb nutze ich ja auch RaidZ2 trotz nur vier Platten). Aber das heißt nicht, dass man es deswegen ein RAID gar nicht erst in Betracht ziehen sollte.

 

[Mickey Mouse]

Solche Einzelschicksale gibt es immer.

ich höre immer mal von solchen "Einzelschicksalen".
Gerade bei den "closed shop" NAS Kisten hat man dann ja kaum noch Möglichkeiten manuell einzugreifen. Wenn man sich selber einen Server aufbaut und damit auskennt, dann ist man da flexibler.

Aber das heißt nicht, dass man es deswegen ein RAID gar nicht erst in Betracht ziehen sollte.

so war das nicht gemeint. Man sollte sich aber die Vor- und Nachteile bewusst machen.
meine Meinung/Überzeugung ist, dass es sich in den allermeisten Fällen für Privat-Leute nicht lohnt und es mehr eine Spielerei (oder Selbstbetrug) ist.
völlig anders sieht es aus, wenn ich 100 hoch bezahlte Ingenieure oder eine Massenfertigung habe, die bei einem Schluckauf des "NAS" ihre Arbeit komplett einstellen müssen und jede Minute (zig)tausende an Euro kostet. Da rechnet man natürlich ganz anders.
wenn ich mir zu zwei 8TB HDD für je 200€ noch eine dritte für ein RAID5 kaufe, dann sind das 200€ "totes Kapital" nur um im Falle eines Falles einen Tag schneller wieder an meine Daten auf dem NAS zu kommen.

und da bin ich der festen Überzeugung, dass das Geld und die Gedanken wesentlich besser darin investiert sind, sich über das Backup statt den RAID Level zu kümmern. Und dann sind wir wieder bei dem "RAID ersetzt kein Backup"

 

[Banned]

wenn ich mir zu zwei 8TB HDD für je 200€ noch eine dritte für ein RAID5 kaufe, dann sind das 200€ "totes Kapital" nur um im Falle eines Falles einen Tag schneller wieder an meine Daten auf dem NAS zu kommen.

Aber das ist doch nicht alles, worum es geht!

Mit einem redundantem RAID (bzw. mit Parität) kann man Scrubs durchführen, bei denen im Falle eines Fehlers (z.B. durch silent data corruption) automatisch eine Korrektur - eben aus der (erzeugten) Redundanz - stattfindet.

Das ist eine einfache und komfortable Methode, um zur Integrität der Daten beizutragen. Beim ZFS-Dateisystem findet sogar bei jedem bloßen Lesen ein Prüfsummenabgleich mit ggf. Korrektur statt (weiß nicht, wie es bei BTRFS ist).

Was wäre denn die Alternative? Ich lege mir manuell Prüfsummen an / lasse mir diese anlegen und diese werden dann mit den Dateien abgeglichen (oder man nimmt halt einen ZFS-Pool ohne Redundanz). Im Falle eines Fehlers wird dann gar nichts automatisch korrigiert, sondern ich muss den Fehler bzw. die fehlerhafte Datei erst mal ausfindig machen und durch die korrekten Daten ersetzen lassen. Dazu muss ich dann auch erst mal auf die gleiche Weise prüfen, ob mein Backup überhaupt noch okay ist. Das ganze Überprüfen findet dann - wenn man nicht ZFS oder BTRFS nutzt - auch noch auf Datei-, und nicht auf Blockebene statt, und dauert deshalb ewig.
Alles umständlich und langwierig.

 

[M@rsupil@mi]

ich höre immer mal von solchen "Einzelschicksalen".

Wer keine Probleme hat bzw. sein Problem durch Laufwerk raus, neues rein + 2 Klicks beheben kann, der muss sich auch nirgendwo melden / von seinen Problemen berichten.

für Privat-Leute nicht lohnt [...] "totes Kapital" nur um im Falle eines Falles einen Tag schneller wieder an meine Daten auf dem NAS zu kommen

Nicht ausschließlich. Gerade im privaten Umfeld sind Backups eher eine Seltenheit (ohne Frage eine höhere Priorität als RAID) und selbst wenn an die Datensicherung gedacht wird, so macht das kaum eine Privatperson alle X Stunden oder gar täglich. Fällt somit eine HDD aus (nur eine Frage der Zeit, keine HDD hält ewig), dann sind alle Daten zwischen Datenstand aktuell und letztem Backup weg.

Davon ab ist es auch im Privatbereich doch sehr viel bequemer, wenn man die Daten nur in einem (großen) Datenpool speichert und nicht über X Datenträger verteilt / verschiebt, wo man gerade ausreichend Platz frei hat.

 

[Phunkberater]

@Schlee:
Ich bleib etwas higher level, da ich nicht im Detail weiß, wie Du arbeitest und vor allem Deine Daten aussehen - ich würde auf einer SSD (bevorzugt intern im Rechner) arbeiten und dann auf ein NAS schieben (z.B. per freefilesync o.ä.).
Im NAS würde ich auf RAID verzichten, weil der Mehrwert (hinsichtlich Performance, Verfügbarkeit, Datensicherheit und auch Komfort) überschaubar ist und ein einzelnes riesiges Volume durchaus auch einige Nachteile haben kann. Ich unterstelle dabei einmal, dass es bei HDDs >10TB im privaten Umfeld keine große Herausforderung ist die Daten logisch zu verteilen. Damit erleichtert man sich tendenziell auch das Erstellen von Offline-Kopien für Backup-Zwecke.

Im Unternehmensumfeld würde die Empfehlung natürlich ganz anders aussehen, aber da gibt es einige fundamentale Unterschiede zum privaten Bereich.

 

[Schlee]

Wenn du vor dem erstellen deines Beitrags mal ein bisschen die Suchfunktion des Forums genutzt hättest, hättest du dir einen Großteil deiner Fragen sparen können denn du bist bei weitem nicht der Erste der glaubt es sei eine gute Idee seine Bilder direkt vom NAS bearbeiten zu wollen.
Jegliche Diskussion dazu bringt keinerlei neuen Erkenntnisgewinn, da dieses Thema mehr als einmal durchgekaut wurde. Nutze daher bitte die Suche und entscheide dann ob du bereit bist mit den höheren Latenzen zu leben oder ob du einfach Daten zur Bearbeitung lokal am PC vorhalten willst/kannst.

Das ist das spannende, ich habe dieses Setup gewählt "exakt" weil ich mich hier im Forum informiert und alte Beiträge gelesen habe. Fazit war, geht und ist schnell, solange man das richtige Hardware Setup hat. NAS / SWITCH und ENDGERÄT hat.

Ich bleib etwas higher level, da ich nicht im Detail weiß, wie Du arbeitest und vor allem Deine Daten aussehen - ich würde auf einer SSD (bevorzugt intern im Rechner) arbeiten und dann auf ein NAS schieben (z.B. per freefilesync o.ä.).
Im NAS würde ich auf RAID verzichten, weil der Mehrwert (hinsichtlich Performance, Verfügbarkeit, Datensicherheit und auch Komfort) überschaubar ist und ein einzelnes riesiges Volume durchaus auch einige Nachteile haben kann. Ich unterstelle dabei einmal, dass es bei HDDs >10TB im privaten Umfeld keine große Herausforderung ist die Daten logisch zu verteilen. Damit erleichtert man sich tendenziell auch das Erstellen von Offline-Kopien für Backup-Zwecke.

@Phunkberater - Gefällt mir! Einziges Problem ist, dass Dritte im Netzwerk Zugriff haben müssen, wenn mein PC nicht Online ist.

Aber dann würde ich in der Tat folgendes Setup einrichten, auch mit dem Input von @Donnerkind, da eigentlich das NAS ein Medienarchiv ist. Ich hätte gerne direkt darauf zugegriffen für aktive Working loads... aber dann komme ich davon etwas weg....

• Aktive Files die bearbeitet werden müssen auf einer "internen oder externen SSD".
• Daily Sync dieser Dateien auf die NAS
• Zugriff auf NAS als Daten- und Medienarchiv, sodass die SSD immer sauber geleert ist.
• Für Overnight Jobs kann ich immer noch direkt über den NAS arbeiten lassen.
• Raid 5 » Ich habe mir nun eine Dritte Platte gekauft mit 14TB und mache RAID 5 und einmal Wöchentlich Backup auf die alte Synology NAS - Doppelt abgesichert

Das einzige, dass mich im Moment wirklich stört sind die extrem lauten Geräusche der WD Red Pro Festplatten...... - hat da jemand einen Trick? Solche isolierten Server Boxes wären eine schlaue idee?

Danke und Gruss