Selbstbau NAS im 10 Zoll Rack

[mgutt]

Daten die neu sind werden erstmal auf die SSDs geschrieben, wenn dann Zeitspanne X abgelaufen ist wird es auf die Platten migriert.

Vom Prinzip ist das das Konzept von Unraid, allerdings holt Unraid (erneut) heiße Dateien nicht zurück auf den SSD Cache. Der Mover läuft einfach alle x Stunden und ist der SSD Cache voll, landen die Dateien sogar direkt auf den HDDs. Das müsste man also selbst per Skript lösen. Ich plane bereits so eines zu schreiben. Bei Unraid gibt es nämlich einen simplen Trick. Ist die Datei auf SSD und HDD, dann überspringt Unraids Mover diese Datei.

Der übliche Weg ist aber, dass man ein SSD RAID als Cache hat und da permanent die heißen Daten selbst drauf ablegt. Also zb Container und VMs. Man kümmert sich dann selbst um Backups.

Nein, ich meine Docker Volumes

Du kannst ja einem Container beliebig viele Pfade zuordnen. Da die SSDs und HDDs auch direkte Pfade in Unraid besitzen, kannst du sie gezielt zuordnen. Beispiel:

/mnt/user/Filme
Das ist der Share mit dem Namen "Filme". Dieser ist für den Nutzer über \\tower\Filme erreichbar und wenn bei diesem der Cache aktiviert wurde, dann landen hochgeladene Dateien erstmal dort:

/mnt/cache
Das ist der direkte Pfade zum SSD Cache. Shares, die den Cache nur temporär zb für Uploads nutzen, werden durch den Mover auf die dem Share zugeordneten HDDs verschoben:

/mnt/disk3
/mnt/disk4
/mnt/disk5
Das sind die direkten Pfade zu den HDDs des Arrays, die beispielhaft dem Share "Filme" zugeordnet wurden. Wo die Dateien gerade liegen, kann der Nutzer über \\tower\Filme nicht sehen. Für ihn ist das also ein normaler Ordner.

Ob du nun deine Container Datenbank auf den SSDs und der HDD ablegen kannst, hängt jetzt natürlich von dem Container ab. Also ob der in zwei verschiedene Pfade schreiben kann.

Ähnliches nutze ich zb beim Plex Container. Da habe ich zb den Pfad /tmp/plextranscode für das Transcoding hinterlegt. Dieser Pfad ist eine RAM Disk (tmpfs). Die restlichen Pfade zielen allgemein auf den Share /mnt/user/appdata und da für diesen der Cache auf permanent eingestellt wurde, landen die Datenbank, Cover usw auf dem SSD RAID (welches ich zusätzlich per RSYNC inkrementell auf die HDDs sichere).

Btw, geht mit unraid eigentlich auch doppelte Parität wie bei Raid6

Ja, das ist dann aber auch das Maximum. Aktuell kann man noch nicht mehrere Arrays anlegen. Also zb 2x 12 HDDs mit jeweils 2 Paritäten (außer mit einer Unraid VM). Aktuell gingen nur 1x 24 HDDs mit 2 Paritäten. Aber dieses Feature ist bereits geplant. In der neusten Beta kann man bereits mehrere RAID Pools anlegen und sich einen davon als Cache aussuchen. Dadurch kann man neben dem HDD Array auch ein performanteres HDD RAID betreiben. Ich kaufe mir aber lieber mehr SSDs und sorge so für mehr Platz für heiße Daten.

Es gibt halt wie gesagt da kein stripeing über mehrere Platten.

Korrekt. Daher hast du bei Unraid nur zwei Möglichkeiten:
A) deinen SSD Cache groß genug planen und das evtl mit 64/128GB RAM kombinieren
B) neben dem HDD Array + SSD Cache auch ein HDD RAID einplanen. Das RAID ist dann aber ohne SSD Cache. Hier wäre viel RAM also besonders nützlich.

Es gibt sogar Nutzer, die haben einen kleinen USB Stick als Array und betreiben im Cache ein großes HDD RAID, also auch ohne SSDs. Geht alles aber dann muss man sich logischerweise vom Stromsparen verabschieden.

Hast du denn überhaupt so viele heiße Daten, das sie nicht auf einen 1 bis 2TB großen SSD Cache passen?

 

[v3nom]

Ich werfe nochmal einen Sonderweg ein:
ZFS unter unRAID. Geht mit einem Plugin muss dann aber rein über die Konsole gewartet werden.
Habe ich bei mir laufen parallel zu nem unRAID Pool.

 

[Reflexion]

Finde diese These genau wie die zahlreichen in unRAID Forum seitens m(gut)t klasse, hilfreich. Danke dafür.

Was Jellyfin (docker) betrifft, so bin ich mit unRAID recht happy, mein Intel Pentium G4560 auf einem billig Board (ich mag es dennoch) Asrock h110m-dgs koste gebraucht jeweils um die ~20€ mit aktiven IGPU transc. und das schaufeln in den zu 50% bereitgestellten RAM läuft gut, 4k H.265 ließ sich auch auf dem AFTS 4k mit Jellyfin-client gut wiedergeben. Wenn es Probleme gibt oder kein trans. erwünscht ist, einfach in den client Optionen auf dem jeweiligen device den gemappten player ersetzte dann läuft es wie bei einer smb Freigabe durch, ohne trans..

Persönlich versuche ich immer ECC-RAM beim Server zu berücksichtigen, deshalb landen alle files auch auf meinen xeon mit RDIMM ECC. Von da aus dann wie oben beschrieben zum G4560 also 2tes live Redundanz.

Derzeit suche ich einen Kompromiss aus Kriterien; "effizient, Leistung&Verfügbarkeit und geringen Kosten". Irgendwas ist aber immer. "ipmi 2.0 with kvm" wäre schon wichtig, WoL allein bringt zu wenig Sicherheit unterwegs mit dem aufschalteten Lappy, schmiert hier das OS ab oder bleibt an VMs stecken läuft die Kiste dann out of control locker 12 Stunden unbemannt durch. vPro findet sich oft als alternative, aber hier wäre mit ECC mindestens Xeon nötig und soweit ich es verstehe läuft es auch als VM in vmware.. ich bin mir nicht sicher ob ich das auch vor unRAID gesetzt bekomme sodass die Kiste aus der Ferne gestartet&verwaltet werden kann. Vorteil bei vPro ist lediglich dass die Boards günstiger sind. Was ryzen betrifft, ist es zum heulen, schön dass AMD Ryzen 3 PRO 4350G so fein effizient im Idle ist.. nur bezahlbare Asrock-rack&Micro boards kenn ich nicht. Außerdem hatte ich mit der ersten Ryzen 7 1700 schon mächtig ärger unter unRAID. Wenn alle Stricke reißen, kaufe ich mir das "ASUS Z10PA-D8 Motherboard, DualXEON 2011-3 Sockel" (https://www.ebay.de/itm/ASUS-Z10PA-D8-Motherboard-DualXEON-2011-3-Sockel/383609519204?ssPageName=STRK:MEBIDX:IT&_trksid=p2060353.m1438.l2649)..die Leistungsaufnahme wird natürlich der Horror sein, je nach single cpu werde ich wohl um die 60Watt Idle liegen (wie gut dass die Kiste nicht 24/7 läuft). Remote server management wird ja aber wohl ganz akzeptabel zu nutzen sein, hoffe ich.

Sollte mein Beitrag zu unpassend, störend sein. Einfach löschen/melden.

 

[snaxilian]

Nein, ich meine das hier

Tearing != Tiering

Ansonsten hat mgutt ja schon die meisten Fragen beantwortet. Für ein tiering würde sich eher ZFS anbieten mit entsprechend viel RAM und sobald da das Limit erreicht ist SSDs als L2ARC.
Die Lösung von Unraid zielt mMn eher auf einen anderen Anwendungsfall ab. Energiesparsamer Storage wo keine superduper Performance benötigt wird bzw. wenn dann über dedizierten SSD-Pool.

 

[mgutt]

"ipmi 2.0 with kvm" wäre schon wichtig, WoL allein bringt zu wenig Sicherheit unterwegs

Das ist zwar die harte Methode, aber ich habe bei mir im BIOS eingestellt, dass der Server hochfährt, wenn er Strom bekommt und sollte ich von unterwegs mal nicht drauf kommen (nachdem ich mich per VPN mal lokal verbunden und geschaut habe), kann ich einfach die Holzhammer-Methode nehmen und die smarte Steckdose aus- und einschalten. In meinem Fall eine Fritz DECT 200. Brauchte ich noch nie. Daher ist IPMI absolut unwichtig für mich. Aber im Fall der Fälle wird es funktionieren.

Was ryzen betrifft, ist es zum heulen

Ja noch. In der neuen Beta soll es ja AMD Treiber zum Einschalten geben. Allerdings weiß ich nicht ob die auch mit der iGPU harmonieren oder nur mit einer dGPU. Außerdem ist Plex immer noch nicht so weit, aber wenn du Jellyfin nutzt, ist das ja kein Problem für dich. Da soll die iGPU ja nutzbar sein.

Wenn AMD, würde ich aber nur einen 4000er nehmen. Eben weil effizient und iGPU. Auf 50W und mehr hätte ich echt keinen Bock. Dann lieber Intel. Oder man nimmt einen 5000er und eine GTX 1050 Ti. Die ist ja meine ich im Idle die sparsamste GPU, die man kaufen kann. Aber was wäre das bitte für ein NAS-Monster ^^ Wird echt Zeit für billige kleine AMD APU/CPUs.

 

[Reflexion]

Standardmäßig nutzt unRAID nicht "stripeing" allerdings gibt es die Möglichkeit optional die Daten auf mehreren Platten zu verteilen wie bei RAID5. Über Windows soll mit Vaapi auch die APU befeuert werden können für Transc. allerdings werden immer 2 Grakas benötigt, so bleibt man gleich bei Intel iGPU oder nutzt für bessere Quali. dann die Gtx 1050/Ti...1060..ect. solange nur der dec. am werkeln ist ist auch die Leistungsaufnahme nicht groß verschieden. In einer PCGH war sogar mal eine 1060 effizienter als eine Gtx 1050Ti im Yt mode.

 

[Skysnake]

Hmm ich habe noch ne ganz interessante Alternative zum Gigabyte C246M-WU4 gefunden.

Ist aktuell ca 60€ günstiger im Handel Asus P11C-M-4L

Hat folgende Vor-/Nachteile
Pro:
-BMC
-4x 1G LAN
-Günstiger
-sata immer voll nutzbar
-1x Sata Dom (also sata port der keine Power braucht)
-vieles über jumper configurierbar wie lan Ports etc (low Power?)

Contra:
-M2 "nur" mit PCIe 2x statt 4x
-6x SATA gegen 7/8 je nachdem ob man u2 mit 4x nutzt oder nicht
-kein DVI etc sondern nur VGA
-kein Sound

Was meint ihr dazu? Sieht doch eigentlich ganz gut aus oder?

 

[mgutt]

Asus P11C-M-4L

• BMC kostet 30 € extra und zieht auch ohne durchgehend 5W, selbst im WoL Zustand. Willst du das wirklich?
• SATA Dom bringt dir real nichts, weil solche Dom Platten teuer sind und nur wegen einem Kabel mehr zahlen machst du eh nicht.
• 6x SATA gibt es auch beim günstigeren Fujitsu D3644-B
• Low Power? Glaube ich erst wenn es einer gemessen hat. Ich tippe auf 15W. Also 10W mehr als das Fujitsu.
• VGA: der ist mit dem BMC verbunden. Du kannst also keinen Monitor mit der iGPU verbinden.
• kein Sound: braucht man ja eh nicht bzw für VMs nutzt man eh besser USB Soundkarten
• M.2 x2: Für VMs fänd ich es doof, aber sonst auch nicht weiter tragisch

Ich schließe grundsätzlich alle Boards mit BMC aus. Ich nehme lieber einen HDMI Capture Stick und meinen Lappi, falls ich mal dran muss. BMC ist was für Admins, die mehrere Server verwalten.

 

[Skysnake]

Den BMC kann man ja abschalten soweit ich das auf die Schnelle aus dem Manual entnommen habe. Wenn die interne GPU aber nicht drüber geht wäre das wirklich doof

Ergänzung (1. Januar 2021)

Das Fujitsu hat aber nur 1x M2 und auch nur 1x Lan. Das sehe ich nicht ganz vergleichbar an.

Die 22€ Mehrpreis sehen ich für 1x M2 und 3x Lan als angemessen an.

 

[mgutt]

Den BMC kann man ja abschalten

Physisch? Ich vermute, dass man damit nur den LAN Port deaktiviert. War beim Supermicro auch so. Richtig abschalten ging nicht.

Die 22€ Mehrpreis sehen ich für 1x M2 und 3x Lan als angemessen an.

Keine Frage. Der Knackpunkt ist aber wie so oft das BMC. Viele LAN Ports sind ok. Man kann sie ja per SMB Multichannel kombiniert nutzen. Hätte man also 400 MB/s wenn dein Client 5G LAN hat.

Gibt es eigentlich einen M.2 x4 auf 2x M.2 x2 Adapter?

 

[laber_90]

Guten Abend Zusammen und ein frohes neues Jahr.

Muss man am Mainboard noch etwas für die Anbindung der Platten über den Mini SAS Port einstellen?

Ich bin im Handbuch des Mainboards über den Punkt "Storage Mode for Mini SAS HD" gestolpert.
Der Hintergrund der Frage ist dass alle Platten die per Mini SAS Kabel verbunden sind nicht erkannt werden.

 

[Skysnake]

Physisch? Ich vermute, dass man damit nur den LAN Port deaktiviert. War beim Supermicro auch so. Richtig abschalten ging nicht.

Also wenn ich das Manual richtig verstanden habe ist der BMC wohl ein Hardware Modul, muss ich mir aber nochmal in Ruhe anschauen.

Keine Frage. Der Knackpunkt ist aber wie so oft das BMC. Viele LAN Ports sind ok. Man kann sie ja per SMB Multichannel kombiniert nutzen. Hätte man also 400 MB/s wenn dein Client 5G LAN hat.

Es wäre mal ein Anfang. Wenn es einem nicht mehr reicht, dann kann man ja auf 10G aufrüsten.

Gibt es eigentlich einen M.2 x4 auf 2x M.2 x2 Adapter?

Hmm kann sein das ich sowas mal gesehen habe, aber dann kann man halt nur kurze M2 verbauen.

Kenne das eigentlich nur von PCIe Karten. Man muss die wegen der Kühlung ja nebeneinander packen. Übereinander geht nicht.

 

[mgutt]

Also wenn ich das Manual richtig verstanden habe ist der BMC wohl ein Hardware Modul, muss ich mir aber nochmal in Ruhe anschauen.

Nein, der BMC Chip ist der Aspeed AST2500:

Das Modul ist nur eine Art Hardwareschlüssel. Verbraucht also noch mal extra Strom. Oder der Strom läuft durch das Modul und dann erst zum Aspeed. Das wäre dann ein physischer Schalter. Das wäre dann geil.

 

[Skysnake]

Ja ist die Frage...

Vielleicht schreibe ich mal ASUS an. Dann kann ich auch mal schauen ob meine Kontakte noch existieren.

Ich verstehe echt nicht wie selbst bei Serverboards die Doku so schlecht sein kann... an sich kostet das ja nichts. Die Infos sind ja da....

 

[snaxilian]

Man kann sie ja per SMB Multichannel kombiniert nutzen. Hätte man also 400 MB/s wenn dein Client 5G LAN hat.

Hast du da reale eigene Erfahrungen oder eine Quelle/Wiki/Blog/technet/was-auch-immer für mich? Soweit ich das selbst überblicke, funktioniert SMB Multichannel nur wenn Sender und Empfänger beide mehr als eine NIC haben. Bisher konnte ich nirgends einen bestätigten Hinweis darauf finden, dass SMB Multichannel funktioniert mit mehreren NICs am Server und einer einzelnen dafür schnelleren NIC am Client.

 

[Reflexion]

Capture Stick futtern aber auch gerne ihre 5Watt und mehr, für die gelegentlichen BIOS Einstellungen würde ich auch eher eine Graka kurzeitig einstecken. Wenn neben der Aspeed AST auch Remote iKVM vorhanden ist, Software angeboten wird, wäre das ein ungleicher Vergleich ansonsten wäre iKVM solo wohl sinniger. Natürlich muss auch ein Steckplatz für die Graka noch vorhanden sein, das Problem soll ja der KVM chipsatz lösen..

Schlussendlich muss jeder das Risiko für sich selbst abschätzen, die Holzhammermethode per power off smart-Stechdose seinen Server abzuschießen mitsamt seinem Array ist mit persönlich aber dann zu gewagt, schlimm genug dass ich das schon beim RPi4 mehrfach so handhaben musste, Dank Bootschleifen.^^

 

[mgutt]

Hast du da reale eigene Erfahrungen

Ja, selbst schon getestet:
https://www.hardwareluxx.de/communi...n-wlan-bei-win10.1147988/page-3#post-27795502

Am Ende des Posts auch noch mal eine Tabelle, die Testergebnisse anderer Nutzer enthält.

Ergänzung (2. Januar 2021)

Capture Stick futtern aber auch gerne ihre 5Watt und mehr

Korrekt, aber den stecke ich ja nur dran, wenn ich ihn brauche. Das BMC läuft dagegen immer. Selbst wenn der Server im Standby ist.

Ergänzung (2. Januar 2021)

die Holzhammermethode per power off smart-Stechdose seinen Server abzuschießen mitsamt seinem Array ist mit persönlich aber dann zu gewagt,

Wenn der Server abschmiert, machst du über das BMC nichts anderes.

Ich brauchte den Zugriff bisher, weil:

• der Server durch zu aggressives Undervolting abschmierte
• ich die Netzwerkeinstellungen verhauen habe

Im ersten Fall geht es auch per BMC nur per Holzhammer und beim zweiten war ich vor Ort und habe den Capture Stick verwendet.

Wenn man von unterwegs den Server unerreichbar macht, dann hilft natürlich das BMC ohne Holzhammer. Allerdings fummel ich einfach nicht an den Einstellungen herum, wenn ich unterwegs bin.

Auch denkbar ist ein RPI mit HDMI Capture Stick, RealVNC und WoL. Dazu gibt es bald sogar eine fertige Hardware:
https://pikvm.org/

 

[mgutt]

Ich verstehe echt nicht wie selbst bei Serverboards die Doku so schlecht sein kann.

Ich verstehe vor allem nicht warum die nicht grundsätzlich einen Jumper verbauen, mit dem man das BMC komplett stromlos schalten kann.

Allerdings mache ich mir selbst dann keine allzu großen Hoffnungen wegen dem Stromverbrauch. Zb das Asrock C246 WSI kam trotz fehlendem BMC (was man auf der Platine sieht, da die Stelle frei ist) nicht mal ansatzweise an den Verbrauch des Gigabyte dran:
https://www.computerbase.de/forum/threads/selbstbau-nas-im-10-zoll-rack.1932675/page-6#post-24619214

Und das wundert mich doch schon sehr, da Asrock ja normalerweise sehr sparsame Boards baut.

 

[Reflexion]

Danke für den Tipp mit dem RPi, wobei am Ende auch entscheidend ist, was die Bastelei real umsetzt und kostet.
"Wenn der Server abschmiert, machst du über das BMC nichts anderes." Es ist aber doch ein Unterschied, ob ich die Möglichkeit habe bei fehlerhaften Booten/Endlosschleifen (was leider in Vergangenheit öfters vorkam) den Strom-abschalte oder aber versuche via BMC herunterfahre, ggf. neu anpasse. Nicht immer bin ich zu Hause um auf meinen Server herumzubasteln. Die Problematik ist für mich, dass ich nicht vorhersehen kann wie rund das Board am Ende läuft. Bei einigen half es das Nt ein/aus zu schalten dann funktionierte alles recht rund. Davon möchte ich aber weg.

 

[mgutt]

Es ist aber doch ein Unterschied, ob ich die Möglichkeit habe bei fehlerhaften Booten/Endlosschleifen (was leider in Vergangenheit öfters vorkam) den Strom-abschalte oder aber versuche via BMC herunterfahre

Ja und mein Argument ist, dass man sowas nicht von unterwegs macht. Gerade die Ersteinrichtung. Basteln tue ich zb nur in VMs. Und wenn die abschmiert, egal. Unraid läuft stabil.

Ist ja auch egal. Jeder kann ja ruhig das kaufen, was ihm am besten gefällt. Es hat ja auch nicht jeder so einen Fokus auf einen niedrigen Stromverbrauch wie ich.