NAS Box / File Server: Storage Spaces vs FakeRAID

[StefanDinslaken]

Hallo zusammen,

Ich werde demnächst mein QNAP NAS durch einen vollwertigen File Server ersetzen und spiele dabei mit folgenden Optionen. Meine Anforderungen an das System sind:

• Windows Server
• Erhöhte Verfügbarkeit durch Parität für 3-4 8TB HDDs
• SMB-Performance, die Gigabit (annähernd) auslastet

Das Backup vom Gerät wird aus Sicherheitsgründen nicht vor Ort lagern, sondern regelmäßig durchgeführt und dann außer Haus gebracht. Daher ist dies nicht immer binnen kürzester Zeit zugreifbar und ich halte ein RAID5 oder etwas ähnliches für notwendig, um die Datenverfügbarkeit bei Diskausfall sicherzustellen (Notwendig, da hier berufliche Daten liegen).

Bei der Zusammenstellung betrachte ich zwei verschiedene Möglichkeiten. Hier mal eine Auflistung aus meiner Perspektive, mit den Vor- und Nachteilen die ich sehe, die aber nicht richtig sein müssen.

Konfiguration 1: FakeRAID5

• RAID 5 über A88X Chipsatz
• Windows Installation auf SSD oder direkt ins RAID, noch zu überlegen
• Vorteil: Ich vermute, so ein RAID hier ist weniger empfindlich als Storage Spaces und bringt mehr Performance
• Vorteil: Windows hängt mit im RAID
• Nachteil: Teurere Hardware
• Nachteil: RAID ist vom Board äbhängig
• Nachteil: Recht hoher Stromverbrauch

Konfiguration 2: Parität über Storage Spaces

• Windows Installation auf SSD
• Zusätzliches Daten-Volume mit Parität
• Vorteil: Flexibler
• Vorteil: Billigere Hardware, da Chipsatz nicht so toll sein muss
• Vorteil: Geringerer Stromverbrauch, da AM1 Plattform
• Nachteil: Performance?
• Nachteil: Zusätzliches System-Volume

Hat jemand von euch Erfahrung auf dem Gebiet? Wo kann man mit einer stabileren Lösung im Fehlerfall rechnen? Wie sind eure Einschätzungen bzgl. der Performance? Gibts vllt. noch ganz andere Ideen, wie man sowas aufsetzt? Auch subjektive Erfahrungen zu eurer Einschätzung sind erwünscht.

 

[HominiLupus]

Billige SSD fürs OS (64GB reichen da schon, sind eigentlich zuviel). Dann Software RAID via Windows oder Linux für die Datenfestplatten. Das FakeRAID ist ja auch nur SoftwareRAID mit nur noch mehr Nachteilen.
Damit kannst du Hardwarezusammenstellung 2 mit RAID nutzen.

 

[Banned]

"HP ProLiant MicroServer" ist in dem Preissegment eigentlich unschlagbar.

 

[StefanDinslaken]

"HP ProLiant MicroServer" ist in dem Preissegment eigentlich unschlagbar.

Hatte ich auch schon drüber nachgedacht, mit dem ginge aber nur letztere Variante, also mit Software RAID auf OS Ebene. FakeRAID5 kanns wohl nicht. Und dann ist mir was eigenes glaube ich lieber, dann kann man auch mal nach Belieben was aufrüsten, was dann auch immer noch ins Gehäuse passt (z.B. ne PCI Karte o.ä.). Ist ja preislich auf einem Niveau mit der zweiten Konfiguration.

 

[Masamune2]

SMB-Performance, die Gigabit (annähernd) auslastet

Lesend oder schreibend?

- Bei 8TB Platten ist zu überlegen ob ein Raid 5 (Single Parity) noch Sinn macht oder ein Raid 6 (Dual Parity) nicht praktikabler ist. Fällt dir eine Platte aus müssen 8TB rebuilded werden und die Chance das dabei eine weitere Platte ausfällt oder auch nur ein Lesefehler auftritt ist relativ hoch.
- Die Schreibperformance bei Storage Spaces ist ohne SSDs als Write Back Cache recht bescheiden, mehr als 40MB/s bekommst du da nicht hin. Für einen Schreibcache brauchst du min. zwei SSDs mit 10GB Speicherplatz.
- Welches Dateisystem soll es werden? Wenn du keine NTFS Spezialitäten wie Junctions brauchst würde ich hier ReFS nehmen, dann fallen Fehler beim rebuild des Raid wenigstens auf da die Prüfsummen nicht mehr stimmen. Die Dateien die dadurch kaputt gegangen sind kann man aus dem Backup zurück holen.

 

[StefanDinslaken]

Bei 8TB Platten ist zu überlegen ob ein Raid 5 (Single Parity) noch Sinn macht oder ein Raid 6 (Dual Parity) nicht praktikabler ist. Fällt dir eine Platte aus müssen 8TB rebuilded werden und die Chance das dabei eine weitere Platte ausfällt oder auch nur ein Lesefehler auftritt ist relativ hoch.

Dual Parity würde ich mir gern aus Kostengründen sparen. Wenn eine weitere Platte ausfällt, muss das Backup her, das ist klar. Aber wenn ein Lesefehler auftritt, ist der Rebuild dann fehlgeschlagen, oder sind "nur" die betroffenen Dateien korrupt?

Die Schreibperformance bei Storage Spaces ist ohne SSDs als Write Back Cache recht bescheiden, mehr als 40MB/s bekommst du da nicht hin. Für einen Schreibcache brauchst du min. zwei SSDs mit 10GB Speicherplatz.

Ah, okay. Wäre es eine Möglichkeit, von der 120 GB System SSD hierfür Partitionen zur Verfügung zu stellen oder müssen das echte einzelne SSDs sein?

Welches Dateisystem soll es werden? Wenn du keine NTFS Spezialitäten wie Junctions brauchst würde ich hier ReFS nehmen, dann fallen Fehler beim rebuild des Raid wenigstens auf da die Prüfsummen nicht mehr stimmen. Die Dateien die dadurch kaputt gegangen sind kann man aus dem Backup zurück holen.

Wenn du mit Junctions diese symbolischen Verknüpfungen meinst, dann brauche ich das nicht. Das RAID-Volume ist ein pures Datengrab. Wie muss ich mir das beim Rebuild mit ReFS vorstellen?

 

[Banned]

Ich habe zwar keine ahnung, was fake raid ist.

Aber für raid 5 (wo ja datensicherheit schon eine rolle spielt), solltest du ecc ram nehmen.

Hier einige konfigurationen.

http://www.technikaffe.de/anleitung...gen_fuer_4_bis_16_festplatten_auf_einen_blick

Dort am besten die expert variante.

Mit so einem mainboard oder anderem p9 modell.
http://geizhals.de/asus-p9d-x-90sb0380-m0uay0-90sb0380-m0uay5-a957331.html

 

[Wilhelm14]

Das Backup vom Gerät wird aus Sicherheitsgründen nicht vor Ort lagern, sondern regelmäßig durchgeführt und dann außer Haus gebracht. Daher ist dies nicht immer binnen kürzester Zeit zugreifbar und ich halte ein RAID5 oder etwas ähnliches für notwendig...

Hallo,

Backup außer Haus ist gut. Wie schnell muss bei einem Ausfall die Verfügbarkeit wiederhergestellt sein? Statt RAID und Backup außer Haus, könntest du auch einfach kein RAID machen und zwei Backups haben, eins außer Haus, eins im Haus.

Manche Fertig-Server können auch nachgrüstet werden. Manche wandeln Dell T20 in kleine Spielerechner um, indem sie eine Grafikkarte dazu stecken.
http://www.hardwareluxx.de/community/f101/dell-poweredge-t20-1031138.html

Den kleinsten gibt es gerade ab 185 EUR.
http://geizhals.de/dell-poweredge-t20-20-3685-a1064515.html?hloc=de
Mit Cashback wären das nur noch 135 EUR.
https://plus.delltradetosave.com/de/de/pages/promotions/qualifying

 

[HominiLupus]

Ich habe zwar keine ahnung, was fake raid ist.

FakeRAID ist RAID via Intel oder AMD Chipsatz im Gegensatz zu einem echten Hardware RAID Controller. Auch billige "RAID" Controller gehören natürlich zur FakeRAID Gattung.
Der Unterschied ist: es ist reines Software RAID mit etwas BIOS Magie damit man auch vom RAID booten kann. Aber am Ende des Tages ist es eben immer noch Software RAID mit den Nachteilen von Hardware und Software RAID vereint in einem Produkt ohne deren Vorteile. http://skrypuch.com/raid/ Typischerweise kommt dieser Begriff aus dem Umfeld von Linux.

 

[StefanDinslaken]

Backup außer Haus ist gut. Wie schnell muss bei einem Ausfall die Verfügbarkeit wiederhergestellt sein? Statt RAID und Backup außer Haus, könntest du auch einfach kein RAID machen und zwei Backups haben, eins außer Haus, eins im Haus.

Im Idealfall ist die Verfügbarkeit nicht unterbrochen. Gibt's denn einen Vorteil bei der Variante mit zwei Backups statt Redundanz im Server? Ich meine die Daten sind ja eh sicher durch das eine Backup und ein weiteres erhöht ja nicht die Verfügbarkeit.

Manche Fertig-Server können auch nachgrüstet werden. Manche wandeln Dell T20 in kleine Spielerechner um, indem sie eine Grafikkarte dazu stecken.

Bei denen würde man dann auch ein Storage Space nehmen oder können die auch FakeRAID? Wie ist denn deine Meinung, welche RAID Methode man hier nehmen sollte?

 

[Masamune2]

Aber wenn ein Lesefehler auftritt, ist der Rebuild dann fehlgeschlagen, oder sind "nur" die betroffenen Dateien korrupt?

Beim Raid des Chipsatzes ist der rebuild dann fehlgeschlagen. Mit Storage Spaces und ReFS sind dann nur einzelne Stripes kaputt und der nächste File Integrity Check meldet Fehler.

Wäre es eine Möglichkeit, von der 120 GB System SSD hierfür Partitionen zur Verfügung zu stellen oder müssen das echte einzelne SSDs sein?

Es müssen schon einzelne Platten sein. Die sollten auch ein paar Schreibzyklen mitmachen sonst hat man sie relativ schnell kaputt geschrieben.

Wie muss ich mir das beim Rebuild mit ReFS vorstellen?

Ich hab es selbst noch nicht getestet aber damit kannst du nach dem rebuild anhand der Prüfsummen für jede Datei testen ob sie noch in Ordnung ist. Wenn nicht meldet der Integrity Check das und du kannst die Datei ersetzen.

 

[StefanDinslaken]

Beim Raid des Chipsatzes ist der rebuild dann fehlgeschlagen. Mit Storage Spaces und ReFS sind dann nur einzelne Stripes kaputt und der nächste File Integrity Check meldet Fehler.

Ah, spannend. Hier sehe ich dann einen klaren Vorteil gegenüber dem FakeRAID.

Es müssen schon einzelne Platten sein. Die sollten auch ein paar Schreibzyklen mitmachen sonst hat man sie relativ schnell kaputt geschrieben.

Hmm, schade. Das treibt die Kosten dann wieder höher, da man nicht nur zusätzliche SSDs braucht, sondern entsprechend auch ein Board, das mehr SATA Ports hat. Da könnte man schon fast AM1 adé sagen. Etwas äquvivalentes bzgl. Preis und Effizienz ist mir nicht bekannt. Oder einfach noch mehr SATA Ports via billiger PCIe Karte hinzufügen? Warum sagtest du sollte man noch zwei SSDs zusätzlich als Cache nehmen und nicht nur eine?

Ich hab es selbst noch nicht getestet aber damit kannst du nach dem rebuild anhand der Prüfsummen für jede Datei testen ob sie noch in Ordnung ist. Wenn nicht meldet der Integrity Check das und du kannst die Datei ersetzen.

Das klingt doch dann gut. Dann könnte man nach dem Rubuild in Ruhe bei Zeiten die Daten durchgehen und prüfen, welche korrupt sind.

 

[d4nY]

Ich würde ein Next-Gen Filesystem (ZFS, BtrFS, ReFS) einem Software/Fake-RAID definitiv vorziehen

Muss es Windows sein? Wenn nein, dann schau dir auch mal FreeNAS (für ZFS) oder irgendein Linux (für btrfs) an. Du hast Checksums, Integritätschecks und du musst bei einem Rebuild nur die Daten wiederherstellen, die du auch wirklich geschrieben hast.
Dazu gibt's noch die Optionen für Lese- und Schreibcache

Und du kannst das RAID an jedem PC mit dem entsprechenden OS wieder einlesen

 

[Masamune2]

Warum sagtest du sollte man noch zwei SSDs zusätzlich als Cache nehmen und nicht nur eine?

Ist Vorgabe von Microsoft. Damit bei Ausfall einer SSD genauso die Redundanz gewahrt bleibt wie bei Ausfall einer HDD brauchst du mindestens zwei davon.

Windows ist leider nicht die aller beste Lösung wenn es um einen Fileserver geht, irgendwelche Nachteile gibts immer.

 

[HominiLupus]

ReFS kenn ich zu wenig, aber BtrFS würde ich ganz sicher nicht einsetzen wollen. Selbst wenn es mittlerweile funktionieren würde: Oracle. Mich erinnert BtrFS irgendwie an HURD. Mir ist auch kein RAID ähnliches Feature dafür bekannt.
ZFS ist natürlich eine verlockende Wahl, aber dann braucht man auch sofort eine Plattform mit ECC was den Preis hochtreibt. Wenn das aber geht, wäre wohl ZFS mit RAIDz die Plattform der Wahl.

 

[StefanDinslaken]

Ich würde ein Next-Gen Filesystem (ZFS, BtrFS, ReFS) einem Software/Fake-RAID definitiv vorziehen

Ja, wenn ich hier so lese, bekomme ich so langsam auch die Idee, dass das von mir zuvor favorisierte onboard RAID keine gute Idee ist.

Muss es Windows sein? Wenn nein, dann schau dir auch mal FreeNAS (für ZFS) oder irgendein Linux (für btrfs) an. Du hast Checksums, Integritätschecks und du musst bei einem Rebuild nur die Daten wiederherstellen, die du auch wirklich geschrieben hast.
Dazu gibt's noch die Optionen für Lese- und Schreibcache. Und du kannst das RAID an jedem PC mit dem entsprechenden OS wieder einlesen

Ich würde mich mit Windows sicherer fühlen, da ich hiermit immer gearbeitet habe, auch im Server Bereich. Mit Linux bin ich nur bzgl. Webservern ein wenig vertraut. Soweit mir bekannt ist, kann ich bei den Storage Pools die Platten doch auch an jeden bel. Rechner hängen, und die werden wieder erkannt, oder?

Ergänzung (20. Juni 2016)

Ist Vorgabe von Microsoft. Damit bei Ausfall einer SSD genauso die Redundanz gewahrt bleibt wie bei Ausfall einer HDD brauchst du mindestens zwei davon.

Achso, ich dachte das ist nur der Cache, der so schnell es geht auf die HDDs geschrieben wird?

Ergänzung (20. Juni 2016)

ZFS ist natürlich eine verlockende Wahl, aber dann braucht man auch sofort eine Plattform mit ECC was den Preis hochtreibt. Wenn das aber geht, wäre wohl ZFS mit RAIDz die Plattform der Wahl.

Ich bin hier für solche Lösungen, auch wenn Sie sicherlich Vorteile habe, wohl zu nah am Low-End Bereich unterwegs.

 

[Masamune2]

Achso, ich dachte das ist nur der Cache, der so schnell es geht auf die HDDs geschrieben wird?

Ist er auch aber solange die Daten in diesem Cache stehen und noch nicht auf Platte liegen wären sie bei einer einzelnen SSD ja gefährdet. Fällt die aus sind die Daten weg.

 

[HominiLupus]

Nein. Es ist "schick" für Hobbyisten ihre eigenen ZFS basierten NAS zu haben. Nur sollte man eben dann ECC nutzen wenn einem die Daten lieb sind. ZFS ist ganz sicher nicht high end, nicht mehr als ein RAID auch.

 

[StefanDinslaken]

Ist er auch aber solange die Daten in diesem Cache stehen und noch nicht auf Platte liegen wären sie bei einer einzelnen SSD ja gefährdet. Fällt die aus sind die Daten weg.

Ich glaub das Risiko könnte ich verkraften. Vermutlich lässt mich Microsoft aber nicht, korrekt?

Ergänzung (20. Juni 2016)

Nein. Es ist "schick" für Hobbyisten ihre eigenen ZFS basierten NAS zu haben. Nur sollte man eben dann ECC nutzen wenn einem die Daten lieb sind. ZFS ist ganz sicher nicht high end, nicht mehr als ein RAID auch.

Ah, okay. Ich glaube bzgl. Windows Kompatibilität und Kosten gehe ich dann lieber mit ReFS und Storage Pools.

 

[d4nY]

Ich würde mich mit Windows sicherer fühlen, da ich hiermit immer gearbeitet habe, auch im Server Bereich. Mit Linux bin ich nur bzgl. Webservern ein wenig vertraut. Soweit mir bekannt ist, kann ich bei den Storage Pools die Platten doch auch an jeden bel. Rechner hängen, und die werden wieder erkannt, oder?

Klar, das können die Storage-Pools natürlich auch. Ebenso musst du da nur bereits geschriebene Daten rebuilden. Checksummen und Integritätschecks bin ich mir nicht sicher, denke aber dass es die auch gibt.

Das schöne an FreeNAS ist, dass es quasi eine Appliance ist. Du kannst (und sollst) im BSD also gar nicht viel ändern. Für das Management gibt es eine Web-UI, die Doku dazu ist recht ausführlich und das Forum ist auch klasse.

ECC ist jetzt gar nicht so teuer. Die Pentium haben schon ECC-Support, alternativ Intel Avoton (C2550, C2750) als AiO-Plattform. ECC-RAM selbst ist auch nicht so teuer. Den Löwenanteil nehmen die Festplatten ein