Selbstbau NAS im 10 Zoll Rack

[snaxilian]

Die c't hatte mehrere sparsame Server & NAS Bauvorschläge, idle Stromverbrauch ohne HDDs war afaik um die 10-15 Watt meine ich mich zu erinnern. Die waren jeweils mit nem Celeron oder Pentium also 2C4T bestückt. Chipsatzbedingt gibt es da aber dann nur 6x SATA, weitere müsstest über eine entsprechende Karte oder HBA nachrüsten. Boards mit Gaming-Blingbling-LEDs verbrauchen natürlich mehr Strom.

Das perfekte Board für dich wäre vermutlich das hier gewesen: https://www.gigabyte.com/Server-Motherboard/MA10-ST0-rev-11#ov aber soweit ich sehe ist das nirgends mehr erhältlich für Privatpersonen, war wohl zuwenig Nachfrage.

MiniITX, 8+ SATA und 10G gibt's leider nur zu Mondpreisen.

 

[mgutt]

@snaxilian
Ja das Gigabyte und das Supermicro wären total genial gewesen. Aber Intel ruft auch echt heftige Preise für die größeren Atom CPUs auf. Bei Wikipedia steht, dass der C3558 75 Dollar kostet und der C3758 gleich mal 193 Dollar. Die nächste Stufe mit dem C3858 dann sogar 332 Dollar. Ist ja kein Wunder, dass die Boards dann so teuer werden.

Was ich mich nur immer frage: Wie findet man nun heraus wie viel Performance das RAID bieten wird. Also schafft jetzt das ASRock Rack C3558D4I-4L die 10G mit einem RAID5 auszulasten oder ist das Board dann überlastet? Meine DS1618+ schafft es ja mit der selben CPU, aber ich weiß nicht ob da die CPU oder irgendein RAID Chip die Arbeit erledigt?!

Leider hat das Asrock auch keinen M.2 Steckplatz. Entweder für die Betriebssystem SSD oder für spätere PCI-E Upgrades per Adapterkabel.

EDIT:
Also es gibt im Grunde zwei Boards. Das C3558D4I-4L:
https://www.asrockrack.com/general/productdetail.asp?Model=C3558D4I-4L#Specifications

Und das C3758D4I-4L:
https://www.asrockrack.com/general/productdetail.asp?Model=C3758D4I-4L#Specifications

Letzteres unterstützt ebenfalls 13 Festplatten und kostet ca 450 €. Verfügbarkeit ist aber auch sehr mager. Also evtl auch überteuert.

EDIT2:
So ich hab das C3558D4I-4L jetzt einfach mal bestellt. Die Mini SAS Kabel sind laut Anleitung dabei. Ich check dann gleich mal wie viele Fächböden ich noch brauche. Muss ich beim Netzteil wegen der vielen Platten irgendwas beachten oder geht irgendein SFX Netzteil? EDIT: Eine Platte zieht 5V zwischen 0,4 und 0,6 A und 12V zwischen 0,5 und 0,6 A. Also sollte das mit einem SFX Netzteil gar kein Problem sein. Ich muss nur SATA Stromkabel finden, die etwas länger zwischen den Steckern sind. Meistens hat man da nur 10cm Abstand. Da ich aber die Platten nicht übereinander, sondern nebeneinander montiere wird das natürlich zum Problem. Mal sehen was ich da finde.

EDIT3:
Laut Anleitung unterstützt das Board folgenden RAM:

- 4 x 288-pin DDR4 DIMM slots

• Support up to 128GB DDR4 RDIMM (32 GB w/8Gb DRAM)
• Support up to 64GB DDR4 UDIMM (16 GB w/8Gb DRAM)

Also folgenden 32GB RDIMM bestellt:
https://www.samsung.com/semiconductor/dram/module/M393A4K40BB2-CTD/

Bleibt in Zukunft auch noch genug Platz für Upgrades.

 

[snaxilian]

ob da die CPU oder irgendein RAID Chip die Arbeit erledigt

Das ist ganz einfach: Sofern nicht explizit angegeben ist, dass dort ein expliziter Raidcontroller verbaut ist, ist dort immer nur ein simpler SATA-Controller verbaut oder alle Ports sind direkt über die CPU/Chipsatz angebunden. Supermicro zum Beispiel gibt explizit an wenn manche Ports nicht über die CPU angebunden sind sondern einen extra Chip und welcher dies ist, z.B. ein Broadcom 3008 und dann auch welche Raidmodi per CPU bzw. "Fakeraid" wie es manche nennen und/oder Zusatzchip möglich sind.

Deine Synology macht das, was so ziemlich jedes 0815 NAS von der Stange macht: Das zugrunde liegende Linux nutzt die Software-Raid Lösung mdadm für die Verwaltung des Raids. Wenn deine jetzige CPU die benötigte Geschwindigkeit schafft, dann schafft es auch jede bessere andere CPU. Wirklich Last wird da sowieso nur bei Checks und Rebuilds benötigt, im reinen Betrieb ist dies zu vernachlässigen.

Zum Thema "auslasten": Was definierst du denn als Last? Ein einzelner Datenstream? Mehrere parallele? Oder ganz viel random IO? Welches Dateisystem willst du nutzen, ggf. welche Möglichkeiten eines Caches werden verwendet? Du siehst: die eine Auslastung gibt es nicht. Für mehrere parallele read/write Zugriffe oder random IO ist ein Raid 5 sowieso das falsche. Bei deinen Datenmengen sowieso aber das Thema Datensicherheit & -integrität scheinst du wie viele Privatanwender zu vernachlässigen. Ich gehe ja mal davon aus, dass du getestete Backups hast und machst oder das die Daten nicht so wichtig sind, von daher ist der Punkt auch eher nebensächlich. Wenn du viel Last erwartest dann wäre sowieso ein Raid 10 sinvoll, also bei 8 HDDs je vier Mirror und darüber ein Stripe. Wenn es weniger "Verschnitt" sein soll ggf. ein Raid 50. Ein Raid 5 oder 6 ist das Mittel der Wahl wenn man keine random IO hat und/oder der netto verfügbare Speicherplatz im Vordergrund steht, z.B. bei Backupspeichern.

Noch einmal zu den Boards: Das sind Boards, die für Server gedacht sind, das ist dir hoffentlich bewusst. Server haben idR halbwegs fähige Admins, die genau wissen was sie wollen und die im Laufe ihres Berufslebens gelernt haben, keinerlei Vermutungen anzustellen sondern Fakten zu vertrauen. Da ich bei dir davon ausgehe, dass du ambitionierter Hobbybastler bist was IT angeht gebe ich dir den Hinweis und Rat: die Intel C3xxx Reihe bietet sehr sehr oft immer deutlich mehr Funktionen auf so einem Board als am Ende parallel nutzbar sind da die Lanes im BIOS/UEFI je nach Bedarf selbst zuweisbar sind. Bedeutet im konkreten Fall für die zwei ASRock Rack Boards: Du kannst entweder den PCIe Slot nutzen oder den zweiten miniSAS HD Stecker. Also entweder 1x PCIe Karte, z.B. für 10G Ethernet und 8x HDDs oder keine PCIe Karte und 12x HDDs.
Steht im Handbuch, für die Zukunft und weitere Recherche: Erst genau informieren und dann kaufen, das schützt vor Enttäuschungen durch falsche Annahmen.

Ob und wie sparsam das am Ende ist hängt natürlich auch massiv vom verwendeten OS ab und welche Dienste du darauf alles betreiben willst.

Zu den Stromkabeln: Natürlich montierst du diese "übereinander". Ja, du hast immer zwei nebeneinander aber eben auch 4 übereinander

 

[mgutt]

Zum Thema "auslasten": Was definierst du denn als Last? Ein einzelner Datenstream?
...
Welches Dateisystem willst du nutzen, ggf. welche Möglichkeiten eines Caches werden verwendet?

Einzeln. ZFS da FreeNAS. Cache keiner außer dem RAM. Du siehst: Ich kann Fragen konkret beantworten.

Für mehrere parallele read/write Zugriffe oder random IO ist ein Raid 5 sowieso das falsche. Bei deinen Datenmengen sowieso aber das Thema Datensicherheit & -integrität scheinst du wie viele Privatanwender zu vernachlässigen. Ich gehe ja mal davon aus, dass du getestete Backups hast und machst oder das die Daten nicht so wichtig sind

Du solltest nicht verallgemeinern. Ich sichere in eine WebDAV Cloud und auf zwei 4-Bay NAS an zwei verschiedenen Standorten (um von da auch in die Cloud laden zu können). Es ist ein simpler Hash-Abgleich, aber mehr brauche ich privat tatsächlich nicht. Mehr als RAID5 brauche ich auch nicht, da ich keinen nennenswerten Random Access produziere. Ich überlege nur mehrere Volumes zu nutzen um einzelne regelmäßig schlafen schicken zu können. Bei FreeNAS soll das wohl gehen, sofern ich das erste Volume zB mit einer SSD aufsetze.

Noch einmal zu den Boards: Das sind Boards, die für Server gedacht sind, das ist dir hoffentlich bewusst. Server haben idR halbwegs fähige Admins, die genau wissen was sie wollen und die im Laufe ihres Berufslebens gelernt haben, keinerlei Vermutungen anzustellen sondern Fakten zu vertrauen. Da ich bei dir davon ausgehe, dass du ambitionierter Hobbybastler bist was IT angeht gebe ich dir den Hinweis und Rat: die Intel C3xxx Reihe bietet sehr sehr oft immer deutlich mehr Funktionen auf so einem Board als am Ende parallel nutzbar sind da die Lanes im BIOS/UEFI je nach Bedarf selbst zuweisbar sind. Bedeutet im konkreten Fall für die zwei ASRock Rack Boards: Du kannst entweder den PCIe Slot nutzen oder den zweiten miniSAS HD Stecker. Also entweder 1x PCIe Karte, z.B. für 10G Ethernet und 8x HDDs oder keine PCIe Karte und 12x HDDs.
Steht im Handbuch, für die Zukunft und weitere Recherche: Erst genau informieren und dann kaufen, das schützt vor Enttäuschungen durch falsche Annahmen.

Dein Text wirkte nun ein wenig von oben herab, aber danke für den Hinweis. Tatsächlich hatte ich das ja richtig vermutet, aber @Spillunke widersprach mir, weshalb ich dann ehrlich gesagt nicht mehr ins Handbuch schaute. Allerdings hast du auch nur teilweise recht, denn es ist sogar noch schlimmer. Beim C3558 bleiben bei Nutzung des PCIE Slots sogar nur 5 SATA übrig, obwohl in der technischen Zeichnung nur ein miniSAS optional dargestellt wird. Dagegen kann man beim C3758D4I-4L problemlos 13 SATA nutzen, sofern man mit 4x leben kann und die reichen ja für die 10G Karte:

Allerdings sind wir dann ja wieder bei fast 500 € und die 10G Karte kommt noch dazu. Dumm gelaufen. Bleibt also doch erstmal nur der Storno. Also gibt es doch nichts für 300 € mit genug SATA und 10G?

Zu den Stromkabeln: Natürlich montierst du diese "übereinander". Ja, du hast immer zwei nebeneinander aber eben auch 4 übereinander

Ja, aber dann kann ich sie nicht rausnehmen. Ich habe zwar seitliche Türen, um von hinten dran zu gehen, doch das wäre mit entsprechender Fummelei verbunden. Für den Anfang wäre es okay, aber dauerhaft hätte ich schon gerne längere einzelne Kabel.

 

[snaxilian]

Gute Wahl mit ZFS, FreeNAS an sich ist leider nicht sehr sparsam was das angeht, gibt auch nicht wirklich ein Standby. An oder eben nicht^^

Bei FreeNAS soll das wohl gehen, sofern ich das erste Volume zB mit einer SSD aufsetze.

Jain, entscheidend ist wo dein system-dataset inkl. allem Logging liegt. Mein Selbstbau FreeNAS startete mit einem raidz2 Pool aus HDDs, irgendwann kamen noch zwei SSDs als Mirror hinzu. System-Dataset auf den Mirror verschoben, standby/spindown für die HDDs gesetzt, kein Zugriff auf die Dateien aus HDD-Pool > "Disks fahren runter"

Ja, mag sein das mein Text von oben herab lesen mag wenn man dies hinein interpretiert. Die meisten Anfragen in einem Forum wie diesem kommen von Leuten, die zwar einen PC gut bedienen und zusammen bauen können und höchstwahrscheinlich IT-affiner als der Durchschnitt der Bevölkerung sind aber allzu oft prallen Welten aufeinander wenn sich $Threadersteller einen Server oder Serverhardware zulegt und diese sich nicht wie der Gaming-PC unterm Schreibtisch verhält War auf jeden Fall nicht als "Angriff" oder wie auch immer gegen dich gerichtet.

Du könntest AliExpress o.ä. abklappern oder den Gebrauchtmarkt ob du da ggf. etwas passendes findest aber ansonsten würde ich sagen, dass es leider mau aussieht für dein Vorhaben, zumindest wenn es viel SATA, 10G, miniITX, unter 500€ und 10" Schrank-kompatibel sein soll. Entweder Budget erweitern oder bei einem der Kriterien etwas ändern.

 

[mgutt]

Entweder Budget erweitern

Vom Prinzip hilft nicht mal das. Ich mein außer ich will gleich 1000 € ausgeben für das Board. Denn die 500 € Boards mit 10G sind nirgends verfügbar. Also was heißt Mehrzahl. Aktuell kenne ich da nur das Supermicro A2SDi-H-TF oder eben das C3758D4I-4L nehmen und da 10G nachrüsten.

EDIT: So, ich habe das C3558D4I-4L storniert und das C3758D4I-4L bestellt. 450 € bei "Future-X" und dann kommt da eben die 10G Karte aus dem NAS drauf. Ich hoffe das passt jetzt ^^

Leider ist die CPU nicht bei CPUBenchmark gelistet, aber aus dem Benchmark entnehme ich, dass der C3758 doppelt so schnell ist wie der C3558. Dann wäre mein "nice to have" ja auch gleich erfüllt.

Geplant habe ich aktuell zwei Volumes. Eines exklusiv für Plex Storage und das andere für PC Backups etc.

Ich bin mal gespannt wegen dem Spin-Down. Also ob das dann wirklich nur hochfährt, wenn ich per Plex drauf zugreife. Ich lass in einem Thread, dass es egal sei welcher User sich auf dem FreeNAS anmeldet und der fährt dann alles hoch. Ich hatte gehofft, dass das nur für den User passiert, der auch Rechte auf dem jeweiligen Volume hat. Hast du da Erfahrungswerte?

 

[snaxilian]

Mein HDD Pool umfasst mehrere Datasets, die per SMB freigegeben sind mit unterschiedlichen Berechtigungen für diverse Benutzer. Zugreifende Clients sind Windows und Linux Systeme. Solange die Shares nur an den Clients gemountet sind aber keine Dateien oder Ordner im Zugriff sind (egal ob schreibend oder nur lesend oder in Ordnern nach Dateien suchen, etc), gehen die Disks nach gewünschter Zeit in den Spindown.

Sobald ein beliebiger User, der natürlich über die ACLs berechtigt ist, einen Share browsen will oder Daten schreiben will, laufen die HDDs des Pools natürlich wieder an sofern die Daten nicht im ARC liegen. Ebenso wenn von FreeNAS aus ein Scrub oder Replikation etc startet oder sonstwie ein Jail, Plugin, VM oder sonstiges externes System darauf zugreift (bei S.M.A.R.T.-Tests bin ich mir gerade nicht sicher). Eben jedweder Zugriff.
Wenn dein System-Dataset sowie Speicherplatz aller Jails und/oder Plugins ebenso auf deinem HDD-Pool liegt, wirst da immer mehr oder weniger Zugriff drauf haben und keinen Spindown erreichen.
Wenn du Plex bzw. den Plex-Server auf einem anderen Gerät laufen hast und Plex nur dein Plex-Volume mountet dürfte dieses afaik nur aufwecken wenn Plex auf die Daten zugreift aber dafür kenne ich die Funktionsweise von Plex nicht, da ich es nicht verwende.

 

[v3nom]

Also ich nutze unRAID mit nem Supermicro SoC Board und ner Atom CPU. Das reicht sogar noch für VMs...
Frag dich ob du die 10GbE wirklich brauchst. Mit den kleinen Boards kommst du mit link aggregation ggf. schon auf ausreichende 2-4GbE.

 

[mgutt]

Frag dich ob du die 10GbE wirklich brauchst.

Da kannst du auch jemanden fragen ob er von einer M.2 NVME auf SATA wechseln möchte. Das hat ähnlich geringe Auswirkungen, aber wenn man ein Downgrade macht, merkt man das eher als das Ugprade ^^

Außerdem ist das ja dann voll abhängig von SMB Multichannel. Ich kann zB nicht per FTP (warum auch immer) die Bandbreite erhöhen.

Also ganz klar. Ich möchte wieder 10G haben. Außerdem sehe ich das nun so. Ich habe 150 € Aufpreis bezahlt, dafür 10G und eine doppelt so starke CPU. Das ist doch ok.

Ergänzung (27. März 2020)

Sobald ein beliebiger User, der natürlich über die ACLs berechtigt ist, einen Share browsen will oder Daten schreiben will, laufen die HDDs des Pools natürlich wieder an sofern die Daten nicht im ARC liegen. Ebenso wenn von FreeNAS aus ein Scrub oder Replikation etc startet oder sonstwie ein Jail, Plugin, VM oder sonstiges externes System darauf zugreift (bei S.M.A.R.T.-Tests bin ich mir gerade nicht sicher). Eben jedweder Zugriff.
Wenn dein System-Dataset sowie Speicherplatz aller Jails und/oder Plugins ebenso auf deinem HDD-Pool liegt, wirst da immer mehr oder weniger Zugriff drauf haben und keinen Spindown erreichen.
Wenn du Plex bzw. den Plex-Server auf einem anderen Gerät laufen hast und Plex nur dein Plex-Volume mountet dürfte dieses afaik nur aufwecken wenn Plex auf die Daten zugreift aber dafür kenne ich die Funktionsweise von Plex nicht, da ich es nicht verwende.

ARC ist bei FreeNAS der RAM-Cache? Was ist denn, wenn man Shares für Nutzer ausblendet, die keine Berechtigung dafür besitzen. Dann sollte das doch gehen. Dann würde ich die Videos nur mit dem Plex User und einem separaten Editor User freigeben. Aktuell dürfen zwar alle lesend darauf zugreifen, aber das wollte ich sowieso abstellen, da meine Kinder ja irgendwann PCs haben und so den Jugendschutz umgehen könnten.

SMART muss man irgendwas deaktivieren. Hatte ich flüchtig was im FreeNAS Forum gelesen. Ich glaube die regelmäßige Prüfung mit größerem Timeout oder so. Das sollte aber zu schaffen sein.

Sonstige externe Dinge wird es nicht geben. Ich lasse zB aktuell meine komplette Musik-Sammlung auf eine SSD an der Fritz!Box syncen und Sonos greift nur auf diese SSD zu. Auf die Art fungiert die Fritz!NAS Funktion als eine Art Cache und das NAS kann schlafen.

Nur Plex wäre eine Anwendung die ständig aktiv wäre. Man kann in den Einstellungen ja so einiges abschalten. Also zB den Watch-Dienst der Verzeichnisse. Der indexiert dann automatisch, wenn man neue Filme hinzufügt. Dann müsste man eben manuell neu indexieren lassen, wenn neue Inhalte dazu kommen. Aber ich weiß, dass die Plex Prozesse immer mal wieder anlaufen um die Datenbank aufzuräumen. Keine Ahnung ob das dann auch "getrennt" ist, wenn ich Plex auf dem Haupt-Volume, also der SSD, installiere und der "extern" auf das zweite Volume zugreift. Schreiben tut Plex ja in der Regel nur, wenn man Inhalte vorab transkodiert und selbst dann kann man ja meine ich ein anderes Volume als Ziel angeben. Also theoretisch dürfte Plex auch rein lesend funktionieren. EDIT: Ja das geht: https://forums.plex.tv/t/read-only-media-folder/383717 Also würde ich das Video-Volume einfach mit einem Plex User mit read-only Rechten versehen (sofern ich das lokale Volume mit einem externen SMB User öffnen kann, aber das sollte ja denke ich gehen). Datenbank und Transkodierungen kommen dann auf die SSD. Mal sehen ob das in der Realtität für einen dauerhaften Spin-Down reicht.

 

[v3nom]

Also ganz klar. Ich möchte wieder 10G haben. Außerdem sehe ich das nun so. Ich habe 150 € Aufpreis bezahlt, dafür 10G und eine doppelt so starke CPU. Das ist doch ok.

Auf jeden Fall. Nur schade das dann der PCIe Slot weg ist. Ich hab da eine Nvidia Quadro installiert für HW-Transcoding für Plex.
Schon ne Idee welches Gehäuse es wird?

 

[mgutt]

Nur schade das dann der PCIe Slot weg ist. Ich hab da eine Nvidia Quadro installiert für HW-Transcoding für Plex.

Schade ist, dass das Board keinen M.2 Slot hat. Sonst könnte man beides machen ^^ Solange ich aber keinen Fokus auf 4K lege ist mir das aber eh nicht wichtig. Meine 2K Inhalte sind alle so vorbereitet, dass sie nie transkodiert werden müssen. EDIT: Gerade mal im Plex Forum wegen der Quadro gelesen. Ich hätte nicht gedacht, dass die so effizient transkodiert. Gut zu wissen.

Schon ne Idee welches Gehäuse es wird?

Ja, das Rack selbst, wie geplant:
https://www.computerbase.de/forum/threads/selbstbau-nas-im-10-zoll-rack.1932675/#post-23886539

Dh alles kommt auf Fachböden. Ich bohre Gewinde rein und montiere Abstandsbolzen für das Mainboard

Bei den Festplatten muss ich mir noch überlegen wie ich die entkopple. Aktuell dachte ich daran unter die Platten M3 Gummipuffer zu schrauben:

Und auf die Fachböden schraube ich Gummifüße mit ausreichend großem Innenloch wo diese Puffer dann reinpassen:

Das ist günstig und sie sind vollständig entkoppelt. Den Rest erledigt dann die Schwerkraft. Allerdings habe ich festgestellt, dass zB WD Red und Purple die Gewinde an einer doofen Position haben:

Ich weiß nicht ob die dann zum Kippen neigen. Bei den HC520 sind die weiter auseinander:

Edit: So Bestellung auf A2SDi-8C+-HLN4F geändert. Das mit dem M.2 Port als PCIe ging mir nicht aus dem Kopf

Außerdem habe ich einen Satz Mainboard Distanzhülsen und einen anderen Fachböden mit Lüftungsschlitzen bestellt. Die Gummifüße und -puffer habe ich auch bestellt. Alles bei Ali. Dauert, aber günstig.

 

[SpiII]

Sorry für die Verwirrung wegen dem Mainboard. Ich hatte nachgesehen und geschaut wegen den nutzbaren SATA-Ports, aber hab da offensichtlich leider gefailed.

Ich würde es cool finden, wenn du den Thread dann mit neuen Infos und Bildern fütterst. Finde es sehr spannend.

 

[mgutt]

Ich würde es cool finden, wenn du den Thread dann mit neuen Infos und Bildern fütterst. Finde es sehr spannend.

So, heute kamen die letzten Teile. Also abgesehen von den Gummifüßen, die ich bei Ali bestellt habe.

Wie man sieht hat der Händler mir beide Boards geschickt. Das ASRock geht aber zurück.

 

[v3nom]

Welches Supermircro ist es jetzt geworden?

 

[mgutt]

@v3nom
Das Supermicro A2SDi-8C+-HLN4F
https://www.supermicro.com/en/products/motherboard/A2SDi-8C+-HLN4F

Also 4x 1G, PCIe, M.2 Slot und 12x SATA. Die Hardware passt jetzt also.

Allerdings bin ich wegen FreeNAS mittlerweile unsicher. Ich wusste nicht, dass man bestehende RAIDs nicht erweitern kann. Hat man zB ein RAID mit 5 Platten, dann braucht man nicht nur die 6. Platte, sondern noch mal 5 Platten um den bestehenden Datensatz zu sichern. Meine Backup NAS stehen an verschiedenen Standorten und sind ziemlich lahm. Für solche Aktionen sind die eigentlich nicht gedacht.

Dann habe ich bei OMV geschaut. Da geht das, aber nur per Kommandozeile. Ne, danke.

Das einzige OS, was in der Hinsicht absolut flexibel ist, ist Unraid. Dort ist im Grunde alles egal. Größe der Platten, neue hinzufügen, mit oder ohne Parität, usw. Auch ist die Effizienz mega gut, was mir ja wichtig ist. Läuft zB ein Film über Plex, dann rotiert nur eine Platte. Eigentlich alles gut, wäre da nicht die Performance. Beim Upload kann man sich mit einem SSD Cache behelfen, aber der Download ist auf die Geschwindigkeit einer Platte beschränkt. Außer die Datei liegt noch im SSD Cache, der nur 1x jede Nacht auf das Array verschoben wird oder man nutzt die SSD zusätzlich als Share bzw kauft sich noch weitere SSDs.

Also Unraid vs FreeNAS. Wer gewinnt ^^

 

[v3nom]

Bei GbE reicht auch unRAID

 

[snaxilian]

Zu Freenas bzw. allgemein zu ZFS: Natürlich ist ein Pool erweiterbar, auch mit einer einzelnen HDD. Wenn du mit einem Pool aus einer einzelnen raidz1 vDev startest kannst du den Pool mit einer einzelnen HDD als single vDev erweitern. Raucht diese single vDev ab sind zwar alle Daten auf dem Pool hinüber aber ja du kannst es erweitern Es müssen aber auch nicht immer die gleiche Anzahl von Disks pro vDev sein. Du kannst auch mit 5 HDDs als raidz1 vDev starten und dem Pool später eine zweite raidz1 vDev aus nur 3 HDDs hinzufügen. So oder so darf dir pro vDev halt nur eine HDD abrauchen.
Wie gesagt: Die "Zielgruppe" von ZFS sind nicht unbedingt Privatpersonen und Hobbyadmins, dafür beim Thema Datenintegrität und Stabilität mMn unschlagbar wenn man standalone Storages betrachtet.
Aber Spaß beiseite: Ja, einen ZFS Pool erweitert man nicht wie ne Synology sondern plant im Vorfeld die nötige Speicherkapazität. Will man über die Zeit aber HDDs vergrößern dann sollte man nicht ein raidz1/z2 verwenden sondern mehrere mirror vDevs. Startet man mit 6x 1 TB HDDs könnte man also drei Mirror bauen und hat 3 TB netto nutzbar. Brauchst irgendwann mehr tauscht du eine HDD einer vDev gegen eine größere, z.B. 3 TB HDD, resilver, zweite HDD des Mirrors tauschen, resilver, Pool resize und dann hast du 5 TB netto nutzbar. Ebenso kannst einen Pool aber nie verkleinern, nur vergrößern. Naja ein paar fiese "Hacks" gibt es schon aber das sollte man wirklich nicht tun und vermeiden.
Ich hab dir weiter oben aber auch schon geschrieben, dass FreeNAS nicht gerade sparsam ist. Außer Disk spindown passiert da nicht viel, selbst Nutzung der ganzen C-States muss je nach CPU nicht zwingend out of the box klappen.
Um deine Frage zu beantworten: Ja, ARC ist der Read-Cache im RAM.

FreeNAS ist ein gutes System für ein performantes Storage zuhause und ZFS ist einfach unschlagbar wenn man es richtig einsetzt aber ich denke für deinen Anwendungsfall ist es das falsche System.

Das was Unraid da veranstaltet ist ein Union Filesystem, vermutlich AUFS o.ä., damit kannst einzelne Disks mehr oder weniger zusammen fassen und das Thema Paritäten ist dann irgendwie mit anderer Software gelöst. Nachteil ist wie du selbst fest stellst das Problem der Performance was eben aus Energiekosten der Vorteil ist: Es läuft nur das was notwendig ist. Willst du Performance und Sparsamkeit nimm SSDs und zahl den Aufpreis^^

Kosten, Performance, Sparsam. Zwei davon kannst du haben.

Wenn du die keine anderen Funktionen von Unraid nutzen willst kannst dir auch mal SnapRAID ansehen als Erweiterung für ein bestehendes OS (Win oder Linux) als Unterbau wenn du selbst basteln willst. Hier eine beispielhafte Anleitung: https://blog.linuxserver.io/2017/06/24/the-perfect-media-server-2017/
Aber dann bist halt schnell wieder auf der CLI und du bevorzugst ja eher Klickibunti

 

[mgutt]

Bei GbE reicht auch unRAID

Wenn man mit einer NVMe Cache-Laufwerk arbeitet, dann lastet man auch 10G aus. Beim Upload immer, beim Download nur solange die Dateien noch im Cache liegen. Der "Mover" von Unraid verschiebt die dann jede Nacht ins Array.

Ich habe mir dazu noch mal Gedanken gemacht. Wenn ich an den Rips arbeite, dann meistens an denen, die ich gerade gerippt habe. Die wären also mit voller Geschwindigkeit greifbar. Ich rippe dabei pro Tag max 300GB, allerdings remuxe ich 2/3 der Videos, so dass ich in jedem Fall eine 1TB M.2 benötige, damit ich den Cache niemals an einem Tag voll bekomme. Und für meine Unternehmensdaten würde ich mir drei billige 2TB SSDs kaufen und die in einem separaten 4TB Array betreiben. Das wären dann immer noch 400 bis 500 MB/s.

Wenn du die keine anderen Funktionen von Unraid nutzen willst kannst dir auch mal SnapRAID ansehen als Erweiterung für ein bestehendes OS (Win oder Linux) als Unterbau wenn du selbst basteln willst. Hier eine beispielhafte Anleitung: https://blog.linuxserver.io/2017/06/24/the-perfect-media-server-2017/
Aber dann bist halt schnell wieder auf der CLI und du bevorzugst ja eher Klickibunti

Mit Windows hätte man ja seine GUI, wobei man bei Snapraid auch ein bisschen in Config-Dateien rumbasteln muss wie man hier sehen kann. Allerdings bietet Snapraid keinen Vorteil gegenüber Unraid, der mir wichtig wäre. Checksums sind ja die Stärke von Snapraid, aber das kann man auch zeitversetzt mit Unraid Plugins wie Dynamix File Integrity lösen und dann bei Bitrot die Datei neu aus dem Backup holen.

Also ich denke ich mache das so. Unraid mit NVMe als Cache und später hole ich mir noch SSDs für Unternehmensdaten. Natürlich habe ich gerade einen guten Deal für eine 1TB M.2 verpasst

 

[snaxilian]

Der Vorteil sind die Kosten von unraid vs snapraid sofern man eben nicht auf weitere Funktionen von unraid angewiesen ist oder die einem das Geld wert sind.

 

[mgutt]

Ich finde SnapRAID und Unraid sind gar nicht vergleichbar. Schließlich ist das eine nur eine Anwendung und das andere ein vollwertiges NAS Betriebsystem. Und ob ich jetzt 50 € spende + die Zeit für die aufwendigere Installation investiere oder für 130 € eine Lizenz kaufe... das macht den Braten auch nicht wirklich fett.

Die NVMe habe ich schon mal bestellt. Samsung 1TB EVO. Mal sehen ob sie als Schreibcache lange genug überlebt ^^

EDIT: Was ja jetzt richtig cool ist. Ich kann ja die ganzen Laufwerke zum Testen einbauen, die hier eh nur rumfliegen

EDIT2: Ich habe mir einige Videos von ihm hier angeschaut und ich fühle mich wegen Unraid noch mal bestätigt:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Das ist echt super flexibel. Was mir dabei auch aufgefallen ist, dass er nie weiß welches Laufwerk welches ist. Da mein Rack aber offen gestaltet sein wird, kann ich immer auch die Seriennummern sehen. 😁

Und es zeigt auch wieder mal warum ich 19 Zoll Racks für Privatpersonen so Banane finde. Mega Bautiefe, mega leer und ich will gar nicht wissen was dem sein Storage Server an Strom frisst (unabhängig von den Platten) oder gar gekostet hat.

EDIT3: Ich habe durch Zufall die richtige Inspiration für die Montage der HDDs gefunden:
https://www.techpowerup.com/review/raidmax-hyperion/4.html

Und zwar bohre ich einfach Löcher in den Fachboden und setze wie bei dem Case Gummis ein:

Von unten Schraube ich die Platten dann einfach mit Rändelschrauben fest. Schon habe ich eine werkzeuglose Montage und ich muss auch keine Gewinde bohren.

EDIT4: Leider sind die Lian Li OH-01A Schrauben nicht mehr lieferbar
https://geizhals.at/lian-li-oh-01a-silber-a574544.html

Die wären perfekt gewesen (Rändel + Gummi).

EDIT5: Ok, also selber bauen. Einfach ein 180-teiles Set Gummi-Tüllen bei eBay bestellt:
https://www.ebay.de/itm/180PCS-Sortiment-Gummi-Durchgangs-tullen-Kabeltulle-Kabel/293298243534

Die 3/8 Zoll Tüllen haben einen Innendurchmesser von 0,244 Zoll. Das entspricht so ziemlich genau dem Außendurchmesser von dem dicken Teil der 6/32 Rändelschrauben:

Hoffentlich drücken die sich nicht durchs Gummi. Ansonsten muss ich tiefer in die Tasche greifen und die kaufen:
http://shopeu.dimastech.com/confezione-di-gommini-dimastech-e-viti-special-hd-6-32