möglich oder nicht? Externe USB-3 HDs als Server(NAS/Raid) Speicher nutzbar?

[Holt]

Die Lösung günstig + flexibel zusammenfassende HDs + ECC(Kaby Lake Celeron/Pentium+entsprechendes MB/Chipsatz + Raid (1/5/JBOD)

Wenn die Platten in ein RAID sollen, wäre man wieder bei dem Problem die HDDs aus dem Gehäuse ausbauen zu müssen und dann mit Platten dazustehen die für diese Anwendung eben nicht geeignet sind, denn dazu wären NAS Platten sinnvoll. Ein RAID über verschiedene Platten in USB Gehäusen hinweg würde ich nicht machen, da hätte ich noch mehr Bauchschmerzen.

Was Holt schreibt stimmt schon so aber man kann es auch anders machen

Klar kann man es anderes machen und es wird erstmal laufen, aber wie lange wird es ohne Probleme laufen? Das macht den Unterschied.

betreibe u.a. ein Raid 5 aus WD Green 3 TB Platten. Das System läuft seit inzwischen 5-6 Jahren, die Disks haben inzwischen an die 19k Stunden Laufzeit.

So bei 20.000 Betriebsstunden fängt oft der Ärger mit einfachen Desktopplatten an, was dann aber auch den Betriebsstunden entspricht für die sie bei den vorgesehenen 2400 pro Jahr über 7 Jahre gebraucht hätten, also mehr als die 5 Jahre der geplanten Nutzungsdauer. Man sieht also das da Toleranz vorhanden ist und gerade die älteren halte meist noch besser, wie die Entwicklungsgeschichte der Barracuda Reihe zeigt wurden immer mehr kostenoptimiert und wegen der damit einhergehenden Verluste bei Eigenschaften wurden eben die anderen Baureihen wie NAS Platten geschaffen. Einer Green aus der Zeit bevor die Red erschienen ist, würde ich daher mehr zutrauen als einer neueren, bei der man eben keine Anwendungen mehr berücksichtigen musste für die nun die Red Reihe vorgesehen war. WD hat damals nicht zufällig die Garantiedauer der einfache Desktopplatten von 3 auf 2 Jahre verkürzt und Seagate genauso, sondern weil das Risiko von Garantiefällen bei 3 Jahren Dauerbetrieb mit solchen Platten die dafür nicht gedacht sind, einfach zu hoch geworden wäre.

Ja ich weiß, dass es mir höchstwahrscheinlich bei nem Rebuild um die Ohren fliegen wird aber ich habe von den wichtigen Daten ein Backup und ich weiß explizit was ich da mache.

Dann ist ja auch alles in Ordnung, schlimm ist wenn die Leute dies nicht wissen und dann auch noch ohne Backup dastehen.

Dann wärst du z.B. mit einem kleinen 2-Bay NAS mit ECC + BTRFS + externer HDD für Backups für wichtiges und $Selbstbau für unwichtiges besser dran.

Kleine NAS mit ECC Unterstützung gibt es meines Wissen leider nicht, die großen NAS Hersteller schlagen bei denen mit ECC RAM Unterstützung mächtig zu und wenn man dies haben will, ist der Selbstbau zumeist deutlich billiger.

Bei einer Selbstbau-Lösung braucht es aber idR Wissen oder den Willen sich dieses anzueignen. Alternativ schreibst irgendwelche Anleitungen aus dem Netz ab und frickelst herum bis es funktioniert

Es gibt fertige Distributionen wie FreeNAS, NAS4Free oder OpenMediaVault, da muss man nicht groß rumfrickeln.

Willst du einen Schutz vor Bit Rot? Dann ist ECC-RAM und ein entsprechendes Dateisystem (ZFS oder BTRFS) Pflicht.

ECC RAM ja, aber ein Filesystem wie ZFS oder BTRFS sehe ich da nicht als Pflicht an, ein md SW RAID und ext4 drauf geht auch und hat den Vorteil besser um neue HDDs erweiterbar zu sein. Es ist nicht so wie die ZFS Fanboys immer schreiben das HDDs dauernd korrupte Daten zurückliefern würden, dies kann bei FW Bug (der HDD oder auch des Host Adapters) passieren, aber der Normalfall ist, dass sie bei Problemen einen Sektor korrekt zu lesen eben einen Lesefehler statt korrupter Daten zurückgeben und dann wird das md RAID die Daten aufgrund der Parity rekonstruieren und den Sektor der betroffenen Platte überschreiben, womit der schwebende auch sofort wieder verschwindet.

Zusatzfrage: Nein, ein interner Hub macht es nicht besser sofern alle Platten an diesen angeschlossen sind. Der Flaschenhals ist ja der USB-Hub (egal ob intern oder extern)

Wobei ich wie gesagt von einem RAID über USB Platten hinweg Abstand nehmen würde und außerdem sind auch die vielen Ports der Chipsätze / USB Host Controller meist nur Port interner Hubs, die Anzahl der USB Root Controller ist nämlich meist kleiner als die der Ports dieser Chips.

 

[Quox]

Danke an Snaxilian und Holt!

Aua... USB Lösung ist natürlich erledigt ebenso eine reine NTFS-Lösung.

Von einer Kombination aus NAS/Server u. mediaplayer bin ich auch runter.

Und ja - es wird teurer, deutlich teurer als erhofft - und fast jede Einzelentscheidung beeinflusst die jeweils Anderen.

In den letzten Tagen hatte ich jeweils andere Dateisysteme favorisiert... er ist entscheidungsschwach, verwirrt und wankelmütig.

Dachte sinngemäß ECC sei bei ZFS und Btrfs pflicht... bei ext4 ging ich (bis Holts Aussage) davon aus, dass es ECC garnicht braucht bzw. wirklich sinnvoll unterstützt. Denn die unzähligen Plastik-NAS haben sowas doch nie?

---
Spräche was dagegen 2x 8TB z.B. WD red zu besorgen, unter Win7 ext4 formatieren, in vorh. Tower zu nutzen und diese dann später 90% gefüllt in den Server zu schmeißen?

 

[snaxilian]

Immerhin hast inzwischen eingesehen, dass deine Bastellösung Schrott ist.

Ja, ZFS oder BTRFS machen ohne ECC keinen bzw weniger Sinn wenn man den Fokus auf Datensicherheit legt. Kostet halt mehr und das können die Marketing-Abteilungen der NAS-Hersteller eben offensichtlich nicht verkaufen. BTRFS würde ich nur bei nem Raid 1 einsetzen, 5 und höher gilt nicht ansatzweise als stabil, gewisse Verwaltungstools sind ebenfalls noch nicht fertig. Red Hat hat nicht ohne Grund BTRFS wieder als Standard entfernt.
Bei ZFS musst du im Vorfeld deinen benötigten Speicherplatz gut planen, da mit mehr Platten erweitern oder Plattengröße tauschen nicht ganz so einfach ist.
Snapraid ist da zwar flexibler aber Parities müssen manuell oder per Cronjob oder wie auch immer regelmäßig erstellt werden und nach wie vor meine Empfehlung für dich, da auch unter Windows lauffähig. Auch hier macht natürlich ECC Sinn.
Ja, ein mdadm + ext4 oder xfs oder so ist flexibel und ja Bit Rot ist unwahrscheinlich und taucht statistisch gesehen nur alle ~12 TB auf. Wenn du diese Wette eingehen möchtest: Bitte, es hält dich keiner davon ab. Hängt aber auch immer von den Daten ab. Sind es nur ISOs der DVDs die im Schrank stehen ist es vertretbar. Bilder der Hochzeit würde ich nicht verwetten, trotz Backup etc.

Windows und ext4? In welcher Welt lebst du und bitte bitte gib uns was von deinem Gras ab und von welchem Server redest du auf einmal? Windows kann FAT und NTFS und manchmal aus Versehen noch ReFS, das war es dann aber auch schon. Bau die Platten direkt in den Server, Raid+Filesystem oder was auch immer geplant sein soll drauf, Samba-Server konfigurieren, Daten per Netzwerk drauf schaufeln, fertig.

So ziemlich jeder(!) deiner Posts in diesem Thread offenbaren dein Mangel an Wissen zu Dateisystemen, Raid und Serverdiensten. Das ist okay, muss ja nicht jeder wissen aber dann versuche dich nicht an Lösungen die deinen Horizont übersteigen und die du zwar mit viel Google, Foren und ausprobieren zwar aufgesetzt bekommst aber nur Probleme haben wirst, wenn etwas mal nicht so klappt, wie es soll. Du kannst ruhig ein OpenMediaVault, Freenas oder sonst was nutzen aber dann teste dies vorher mal in einer VM aus, teste den Fehlerfall, Backup-Prozess, informiere dich im Vorfeld wie Updates/Upgrades funktionieren etc. Kannst oder willst du dies alles nicht dann bleib bei Windows oder kaufe eine gut dokumentierte Fertig-Lösung mit Support durch den Hersteller.

 

[Holt]

Dachte sinngemäß ECC sei bei ZFS und Btrfs pflicht... bei ext4 ging ich (bis Holts Aussage) davon aus, dass es ECC garnicht braucht bzw. wirklich sinnvoll unterstützt.

Kein Filesystem verlangt explizit nach ECC RAM oder unterstützt es in irgendeiner Form, aber ECC RAM ist eben die Grundlage für Datensicherheit. Gerade bei ZFS welches viele Metadaten im RAM hält, ist es aber besonders sinnvoll, denn RAM Fehler können einem jedes Filesystem korrumpieren und bei ZFS kann es bei aktiver Fehlerkorrektur sogar Daten korrumpieren. ZFS wurde für Server entwickelt und die haben immer ECC RAM, es geht also immer davon aus das das RAM immer korrekte Daten liefert. Werden nur Daten im RAM korrumpiert weil ein Bit kippt, dann unterstellt es die Daten auf der Platte wäre falsch gewesen und die müssten korrigiert werden, dabei werden sie dann in Wahrheit verfälscht.

Bei ext4 passiert sowas nicht, da werden dann zwar auch die korrupten Daten weitergereicht, aber es "korrigiert" die korrekten Daten auf der Platte nicht kaputt. Außerdem ist es ohne ECC RAM immer möglich das eine Datei schon beim Schreiben auf das NAS durch RAM Fehler korrupt wird, bevor sie überhaupt ans Filesystem gereicht wird, eben weil die Daten ja beim Kopieren über Netzwerk auch erst ins RAM kommen und dort kann es schon passieren. Dann wiegt ein Filesystem mit Prüfsummen den Nutzer nur in eine falsche Sicherheit.

Denn die unzähligen Plastik-NAS haben sowas doch nie?

Die Hersteller der Platiknasen lassen sich dies teuer bezahlen, meist gibt es dieses Feature erst bei Modellen die ab 4 stelligen Beträgen den Besitzer wechseln, während bei den klassischen Herstellern von Servern wie HP oder Dell selbst die billigsten Microserver für teils unter 200€ wie damals HP ProLiant G8 Mircoserver und nun dessen Nachfolger HP ProLiant G10 alle nur mit ECC RAM daherkommen. Im Serverbereich geht es ohne ECC RAM nicht, da man sonst eben keinem Ergebnis trauen kann, denn man weiß eben nie ob und wo ein RAM Fehler zuschlägt.

Spräche was dagegen 2x 8TB z.B. WD red zu besorgen, unter Win7 ext4 formatieren, in vorh. Tower zu nutzen und diese dann später 90% gefüllt in den Server zu schmeißen?

Ohne Zusatzsoftware kann man unter Windows kein ext4 ansprechen und daher natürlich auch nicht erstellen. Nimm doch eine VM und weise der die HDDs direkt zu, dann würde es gehen. Die andere Frage ist, wie man so gefüllte HDDs dann auch ohne Datenverlust in einen Server und erst recht in ein Fertig-NAS bekommt.