Frage; Dateiformat für unRAID (SSD caching und storage array) ist empfehlenswert?

[Reflexion]

Hi zusammen,

ich habe folgende Komponente zusammen für den Media Server;
Gehäuse Lian Li PC-Q18 DTX,
ASRock H370M-ITX/ac Intel H370 So.1151,
Intel Core i3 8100,
1x G.Skill DIMM 8 GB DDR4-3000,
FSP Hexa 85+ 350W
2x Crucial BX300 SSD 480GB(caching),
4x WD My Book Desktop 8 TB,
Software unRAID Server OS "Basic-Up to 6 attached storage devices")

Hauptsächlich möchte ich den Server (NAS) nutzen für Video/Musik/Bilder sowie als Backup Ablage ( Smartphone, Familie) Einbindung erfolgt dann vida ShieldTV/Kodi/coreELEC ect.

Die beiden SSDs werden im RAID1 betrieben um "etwas" Sicherheit zu bieten (Mir ist bekannt dass ein RAID kein Backup ersetzt), Daten werden auch individuell auf das Array geschrieben, muss nicht täglich ~3 Uhr sein (per USB wird dann auf HDD Backup gesetzt). ECC-RAM habe ich keinen, ich bin mir im klaren darüber dass ein gekipptes Bit bei RAR Archiven Probleme bereiten kann, bei Media-files sollte das zu verkraften sein...

somit wäre ich dann beim eigentlichen anliegen;

"btrfs" bieten Vorteile für das Verwenden von snapshots, was vlt bei Verwendung von VMs/Docker Cont. sinnig sein kann. Zunächst soll aber nur OpenVPN anliegen (VMs beschäftige ich mich wenn da alles läuft), irgendwie muss ich ja auch unterwegs auf meine Medien gesichert zugreifen können. Weiterer Vorteil ist die Datenintegrität, für btrfs, zfs spielt keine Rolle, frisst zu viel RAM.

Meine Frage ruht hier nach etwas Erfahrung, insbesonderen was den Umgang für Anfänger, pro/contr. mit unRAID, und das Erweitern des arrays. Bisher wurde mir empfohlen für die SSD(caching) als auch HDD array xfs zu wählen. Wenn ich richtig liegen hat Ex4 den Vorteil dass es nicht Fragmentiert.

 

[Skynet7]

XFS für die Datenplatten ist korrekt. Bei den Cache SSDs würde ich aber BTRFS einsetzen. Ach und nicht das Trim Plugin vergessen! Ohne degradieren deine SSDs mit der zeit.

PS: um das fragmentieren würde ich mir keine sorgen machen. Datenbanken und fequente sachen gehören eh auf SSD und das bissel was auf deinen Datenplatten fragmentiert kannst links liegen lassen. Und wenn dich das dennoch stört könnte man auch hier mit dem Unbalance Plugin nachhelfen.

PPS: Und falls du deinen platten nicht traust (bit flip/bit rot). Gibt es da noch das File Integrity plugin was von allen files im Array Checksummen anlegt und bei bedarf prüft. So hast du quasi ein fast vollwertiges ZFS ohne dessen nachteile.

 

[Reflexion]

Danke dir, Btrfs auf sie SSD cache um die mögliche Korruption der Daten zu reduzieren? Werde ich dann so umsetzen. Wenn ich einen Platte dazu setzen möchte, muss ich hier anders vorgehen als üblich mit ntfs/ex4?

 

[Skynet7]

Nein deshalb nicht, aber XFS wurde damals (1994) für eher Große Dateien optimiert und Flash NAND war damals auch noch so gut wie nicht verbreitet. BTRFS ist für Flash NAND eher geeignet und wird meines wissen's nach auch von den UnRaid Jungs für die Cache SSD empfohlen.

Für das hinzufügen von neuen Platten empfehle ich dir das Preclear Plugin. Damit wird die neue oder gebrauchte Platte intensiv geprüft und passend formatiert. Das schöne dabei ist, du hast Gewissheit das alle Sektoren funktionieren und du kannst dir den Parity Sync Sparen da dies das Plugin ebenfalls in einem Durchgang erledigt.

Und nicht vergessen. Platten die du hinzufügst dürfen nicht größer sein als deine Parity Platte/n

 

[Reflexion]

Vielen Dank für den Tip. Im Grunde nutzt unRAID ja kein RAID Verband, ich hatte nur die sorge dass durch das Hinzufügen weiterer Platten es zu Konflikten kommen kann. Einigen Platten habe ich mit tools wie HDDScan unter Windows bereits getestet. Ich hoffe dass xfs die Platten auch nochmals live im Betrieb prüft. Werde S.M.A.R.T natürlich laufen lassen.

 

[Skynet7]

Richtig, unRaid ist kein Raid. Somit ist jede platte als eigenständig anzusehen. Mal angenommen es fallen mehr platten aus als es deine Parity Platte(n) verkraften können, könntest du die Daten der übrigen platten behalten. Bei einem Richtigen Raid wäre spätestens hier, alles weg. Ein weiterer vorteil ggü einem Raid ist das nur die Platten anlaufen die auch gerade eben gebraucht werden. Das hilft gerade bei gut bestückten Home-Servern immens beim Energie sparen. unRaid ist daher meiner Meinung nach der Goldstandard bei den Homeserver Systemen gerade auch wegen der excellenten integrierung von Docker und VM's.

 

[Reflexion]

Jap, ich finde das Un/Raid Konzept klasse aus den von dir beschriebenen Gründen. Auch was die Sicherheit Aspekt anbelangt (USV Ausfall, Nt Überspannung). Es klasse dass man so Platten trennen kann., wenn man sich bspw. mal im Urlaub befindet. Geschwindigkeit die man beim RAID 5 und 01 hätte kann man durch das SSD caching gut ausgleichen. Im Grunde sehe ich keinen negativen Punkt. Auch das mit der Pariti. finde ich klasse gelöst. Genau wie dass im Ausfall nicht alle Daten verloren wären, wie es ja bei RAID 0 der Fall wäre. Ich danke dir für die Tipps, vlt Frage ich dich noch weiteres. Muss jetzt nach na geeignete USV schauen.... eine VI muss es wohl sein....

 

[Skynet7]

Nur zu, was unRaid angeht tausche ich mich gerne aus.
Nachfolgend ein paar Bilder wie es bei mir momentan ausschaut.
Ich habe so ziemlich alles an Diensten im Haushalt auf diesen einen Server Virtualisiert bzw. Dockerized. Und das mit gerade mal ca. ~65 Watt im idle. Besser gehts kaum

 

[Reflexion]

Zunächst schöne Hintergrundfarbe.^^ Und Danke für die Bilder, da kommen dann noch mehr Fragen auf... hoffe es wird dir nicht zu nervig werden... nett dass du dir die Zeit nimmst. (Englisch ist nicht so meine Stärke leider). Ich beschäftige mich ggf. heute Nacht/Morgen mal mit drt Einrichtung. Ich hatte gestern versucht die beiden SSDs als Raid 1 zu setzen, klappte aber nicht, muss nochmals genauer schauen. Was ich im Gegensatz zu Openmediavault eigenartig finde ist dass man so auf das Dashboard kannn ohne Login. Nur wenn man auf den Server selbst dir Benutzeroberfläche möchte, und dass mit root, wird nach den angelegten Login/Pass. gefragt. Wenn ich außerhalb via OpenVPN auf dir Oberfläche zugreife oder ftp/smb so mag das "noch" sicher sein. Nur wird man extern sich einfach per Domain auf die Oberfläche setzen können.... finde ich nicht so gut. Aber vlt gibt es dafür auch wieder Erweiterungen.

 

[Skynet7]

Also wenn es wegen der Cache-Disk bei dir so ausschaut ist alles in Ordnung und es hat geklappt.

Ich weiß nicht genau was du meinst. Also ich werde immer per Aufruf über http:// oder https:// nach dem Login gefragt.

 

[Reflexion]

Ich meinte dass generell wenn man auf das Dashboard möchte man keinen Login benötigt, wie es bei OMV zum Beispiel der Fall ist. Könntest du mir vlt sagen wo ich ftp/smb Freizugebende Ordner reinpacken muss? Ich bin mir da recht unsicher, möchte ja nicht dass irgendetwas überschrieben wird. Fein ist dass das SSD-caching standardmäßig auf RAID1 eingestellt ist.

 

[Skynet7]

Nee also das geht gar-nicht, ich denke mal das hier beim Setup evtl. kein "root" Passwort hinterlegt wurde? Wenn ja, dann schleunigst nachholen!

Wegen den Freigaben das steuerst du idr. alles über das "Shares" Menü im Header der Frontend WebGUI. Eine Ausnahme bildet hier nur das "Unassigned Devices" Plugin was separate Freigabe Einstellungen erlaubt.

 

[Reflexion]

Ich habe bei "root" wiederholt ein Passwort hinterlegt, jetzt funkt. es. Danke Was mich wundert, ftp ist zwar auswählbar in unRAID, aber eben doch nicht vorhanden es sei denn Docker Container via Filezilla. Kein Weltuntergang aber in den eigenen 4 Wänden zum scannen der Metadaten/Bibliothek für Kodi wäre ftp mir lieber als smb.. geringerer Overhead. Könntest du mir bitte mal deine Vorgehensweise schildern bei den Optionen von "Preclear Plugin", was wählst du bei einer neu hinzukommenden Platte alles aus ?

 

[Skynet7]

Der FTP dienst ist nach einem Neustart auch wenn man ihn vorher Deaktiviert hat immer aktiv. Findest du unter Settings -> Network Services. Hier einfach die Benutzer unter "FTP users" getrennt mit Leerzeichen eintragen die den FTP nutzen dürfen. Root geht hier wenn ich mich nicht irre nicht.

Wegen PreClear. Lass es auf Standard, sollte ja deinem Anhang entsprechen. Wenn du zeit sparen willst kannst du die zwei letzten punkte aktivieren. Würde ich bei Brandneuen Platten nicht machen. Aber kann man bei gebrauchten Platten die man gut kennt, schon öfter voll geschrieben hat und die nie Problemen gemacht haben durchaus Aktivieren um ein paar Stunden zu Sparen.

 

[Reflexion]

Ok, ist durchgelaufen... glaube der Zirkus hat bei einer 8TB Platte fast 2 Tage gedauert.. die zwei letzten Punkte habe ich deaktiviert gelassen., und die HDD zu der anderen HDD gesellt deren Kapazität dich dem Ende neigt. Was mich jetzt etwas verunsichert ist, wie soll ich meinen Video-Ordner den ich in Kodi per smb anbinde denn jetzt weiter vergrößern, ich dachte dass auf der neuen Platte dazu packe und die Freigabe sich dann vergrößert, also logische HDD -Volumen Bündelung.

 

[Skynet7]

Na ist es doch auch, sag dem Share einfach das er die neue Platte mitbenutzen darf.

 

[Reflexion]

Hi, bist du zufällig im "kodinerds" aktiv ? Das mit den share hatte ich hinbekommen. Ich konnte dies zuvor nicht auswählen da eine Platte als Global Share aktiv war, habe ich deaktiviert und konnte so meine Medienfreigabe auf weitere Platten verteilen,. doof nur dass die erste Platte ~700GB ungenutzt, und lieber ab der 2ten Platte weiter-geschrieben wurde... echt mies. Aber das ist alles 2. rangig ... ich hoffe nur du hast die Beta (6.6.0-"rc4" ) nicht aktiviert... bei mir geht gar nichts mehr und ich hoffe ich komme irgendwie an meine Daten, wichtige sind zwar extern gesichert aber eben nicht alle... kurz gesagt, die Kiste bootet nicht mehr, und wenn dann bekomme ich eine Apipa 169... das lustige, die bringt mir nichts.. auch damit komme ich nicht auf die Webui..richtig geil sowas. Meine feste IP wurde somit ignoriert/gelöscht... könnte ko``en. Nie wieder Beta.

 

[Skynet7]

Sry für die späte Reaktion, hab etwas stress...

Hi, bist du zufällig im "kodinerds" aktiv ? .

Bin dort angemeldet aber nicht oft aktiv.

doof nur dass die erste Platte ~700GB ungenutzt, und lieber ab der 2ten Platte weiter-geschrieben wurde... echt mies.

Warum? Das hat was mit der voreingestellten "Allocation method" zu tun. In dem fall "High Water". Also ich habe mich damals bei der Einrichtung damit beschäftigt und finde sie von allen die beste.
Desweiteren kannst du mit "Split level" entscheiden ob er Ordner Splitten darf. Hier will ich Ordnung haben und habe mich für "Manual" Entschieden. Sofern kein Einzelner Ordner Größer ist wie eine Festplatte bzw. deren Restkapazität, kann hier nichts schief gehen. Ausserdem kannst du mit Tools wie zB. WinSCP auch im nachhinein deine Daten auf den Datenträgern Intern Verschieben wie du lustig bist. Es ist also nichts in stein gemeißelt

Aber das ist alles 2. rangig ... ich hoffe nur du hast die Beta (6.6.0-"rc4" ) nicht aktiviert... bei mir geht gar nichts mehr und ich hoffe ich komme irgendwie an meine Daten, wichtige sind zwar extern gesichert aber eben nicht alle... kurz gesagt, die Kiste bootet nicht mehr, und wenn dann bekomme ich eine Apipa 169... das lustige, die bringt mir nichts.. auch damit komme ich nicht auf die Webui..richtig geil sowas. Meine feste IP wurde somit ignoriert/gelöscht... könnte ko``en. Nie wieder Beta.

Bei einem Produktiv System würde ich so etwas auch nie tun! rc4 ist auch nur ein Release Candidate.
Aber hey. Warum hast du nicht einfach einen Neuen oder den gleichen USB Stick mit der aktuellen Final erstellt? Du kannst damit easy in wenigen Minuten dein Array wieder in Betrieb nehmen. Selbst Deine Shares mit allen Einstellungen werden wieder eingelesen.

 

[Reflexion]

Danke, ich habe "High Water" so verstanden dass erst die 1. Platte voll läuft und dann die Nächste erst, als Freizubleibender Grenze habe ich 30GB gewählt.. Dennoch bleibt es bei den ~700GiB. Ich habe keine Kopie des Sticks angefertigt da ich gelesen habe dass man nur 1x im Jahr ein Backup machen kann auf einen weiteren Stick und ich war mir nicht sicher wie ich das umsetzte, sprich ob ich vom USB Stick eine .iso ziehen kann sodass auch wirklich alle Dateien dabei sind. Zur Zeit geht aber nichts mehr.. ich bekomme kein Unraid ans laufen bzw durchgebootet. Helfen konnte mir da bisher auch keiner.. ich vermute es liegt an den Uefi Einstellungen, " Fehlermeldung; "MSI-X interrupts. 2 rx queue(s), 2tx queue(s)" irgendetwas das mit der Netzwerk Option dort zu tun hat.

 

[Skynet7]

Danke, ich habe "High Water" so verstanden dass erst die 1. Platte voll läuft und dann die Nächste erst, als Freizubleibender Grenze habe ich 30GB gewählt.. Dennoch bleibt es bei den ~700GiB..

Nein, "High Water" füllt erst mal alle zugewiesenen Platten bis 50%, wenn das durch ist bis 75%, dann 87,5% usw. Damit erreichst du eine schöne homogene Befüllung ohne das eine Platte frühzeitig Voll ist. Die 700GiB bleiben so weil es vermutlich über den 50% liegt und somit erst mal alle anderen Platten zu 50% steigen müssen usw.

Ich habe keine Kopie des Sticks angefertigt da ich gelesen habe dass man nur 1x im Jahr ein Backup machen kann auf einen weiteren Stick und ich war mir nicht sicher wie ich das umsetzte, sprich ob ich vom USB Stick eine .iso ziehen kann sodass auch wirklich alle Dateien dabei sind. Zur Zeit geht aber nichts mehr.. ich bekomme kein Unraid ans laufen bzw durchgebootet. Helfen konnte mir da bisher auch keiner.. ich vermute es liegt an den Uefi Einstellungen, " Fehlermeldung; "MSI-X interrupts. 2 rx queue(s), 2tx queue(s)" irgendetwas das mit der Netzwerk Option dort zu tun hat.

Na wenn du zum Testen einen neuen Stick nimmst hast du ja wegen der neuen UUID eh wieder Trial.
Mann kann 100% Abbilder per Image (*.img) von Sticks erstellen, das kann man dann sofern der neue Stick nicht kleiner ist wie der alte, wieder eins zu eins zurückspielen.

Ich seh gerade deinen Unraid Thread bezgl. der Interuppts. Ist die Karte onBoard oder gesteckt?