Selbstbau NAS im 10 Zoll Rack

[v3nom]

Könntest ein Blech oder Platte davor setzen mit nem Ausschnitt für den Lüfter.

 

[snaxilian]

Gemäß der Fotos in #66 und #68 hast du auf der Rückseite zwischen Ende der HDDs und Rückwand auch Platz. Ich würde den Lüfter dort platzieren. so kommst du an Strom- & Datenkabel und könntest auch einzelne Fachböden entfernen ohne erst den Lüfter tauschen zu müssen.
Zur Montage des Lüfters: Abstandshalter/Distanzhülsen mit entsprechendem Gewinde. Vier Löcher in die Rückwand, Schraube rein, von innen Abstandshalter dran, weiter von innen Lüfter dran und verschrauben.
Den Lüfter jedoch so montieren, dass dieser weiterhin auf die HDDs bläst. Bleibt die Frage wie sich die Temperaturen am Ende im Betrieb entwickeln wenn die Tür geschlossen sind.

 

[SpiII]

@snaxilian Oder an die Tür vorne, mit einem Schalter oder Steckverbindung zum Ausschalten, damit man nicht angepustet wird wenn man dran arbeitet.

 

[mgutt]

Bleibt die Frage wie sich die Temperaturen am Ende im Betrieb entwickeln wenn die Tür geschlossen sind.

Etwas blöd ist, dass das Rack oben Schlitze hat. Dadurch kann man gar nicht provozieren, dass er die Luft von unten ansaugt. Aber evtl reicht es, wenn ich unten den selben Lüfter wie oben montiere. Edit: Geht eh nicht. Unten gibt es keine Lüfteröffnungen ^^

 

[v3nom]

Ich belüfte ein ähnliches Setup in einem IKEA Schrank
1x120mm NF-A12x25 ULN rein (inkl. Filter) und einmal raus. Reicht.

 

[mgutt]

Zur Montage des Lüfters: Abstandshalter/Distanzhülsen mit entsprechendem Gewinde. Vier Löcher in die Rückwand, Schraube rein, von innen Abstandshalter dran, weiter von innen Lüfter dran und verschrauben.
Den Lüfter jedoch so montieren, dass dieser weiterhin auf die HDDs bläst. Bleibt die Frage wie sich die Temperaturen am Ende im Betrieb entwickeln wenn die Tür geschlossen sind.

Ist zwar doof, weil ich dann alles wieder zerlegen muss, aber das ist wohl die beste Methode.

Aktuell laufen übrigens schon die ersten Kopiervorgänge. 2x per smbclient Prozess vom alten NAS auf Disk2 und Disk3 und 1x ein interner rsync vom SSD Cache auf Disk1, den ich versehentlich erst aktiviert hatte. 3x smbclient vom alten NAS bringt nicht mehr Speed, weil das alte NAS dann ans Limit kommt. Ist aber schon mal ok:

Ich denke ich werde doch alle 10 Platten anschließen, weil ich dann meine Daten sauber auf den Platten nach Buchstaben verteilen kann. Man hat ja bei Unraid die Wahl ob man das quasi zufällig auf den Platten verteilt oder bis zum Anschlag eine voll, dann die nächste usw. Aber ich will lieber genau wissen was auf jeder Platte ist, auch wenn dadurch nicht jede Platte komplett voll wird.

Hier noch mal die Komplettübersicht. Drei Platten schlafen aktuell und die zwei unassigned Devices sind später für die Parität vorgesehen:

Ich habe übrigens den USB Stick getauscht und ihn jetzt in einem USB 2.0 Port stecken. Ich hatte mit dem ersten Stick nämlich bereits einen Fehler. Der Wechsel war übrigens einfach. Ich musste nur die Datei mit dem Lizenzschlüssel auf den neuen Stick kopieren und dann als der Server mit dem neuen Stick startete, musste ich nur per Assistent Schritt für Schritt den USB Stickwechsel bestätigen und bekam automatisch per E-Mail einen Schlüssel, den man per Copy & Paste einfügt und das war's. Die Daten auf den Laufwerken waren alle noch da und ich musste nur die Reihenfolge auswählen. Gut zu wissen, denn dann mache ich mir zum Schluss einen Screenshot, damit man die bei einem Totalausfall auch wieder richtig zuordnet.

Was mich an Unraid allerdings nervt ist der fehlende File-Manager. Man kann zwar diverse Dinge nachinstallieren, aber meiner Ansicht nach sollte das Teil der "View" Ansicht sein:

Zumindest ein paar Basis-Kommandos wie Löschen, neuer Ordner und kopieren. Ich bezweifle nämlich, dass die nachinstallierbaren File-Manager auch gut auf dem Smartphone funktionieren und so ein Webclient geht halt auf jedem Gerät.

 

[v3nom]

Das mit dem File-Manager stimmt, ich nutze dafür Krusader. Da diese per Web Gui steuerbar sind müsste man versuchen einen zu finden, welcher auch dem Smartphone bedienbar ist.

 

[mgutt]

Ich bin gerade am Backup NAS dran. Ich konnte erfolgreich zwei Festplatten-Käfige montieren. Damit bietet das Bitfenix Gehäuse nun Platz für:
a) 9x HDD + 7x SSD
b) 8x HDD + 9x SSD
c) 17x SSD
d) 25x SSD (mit Doppel-Einbaurahmen)

Für den Käfig musste ich nur zwei Löcher bohren. Am Käfig habe ich dann vier Distanzbolzen montiert:

und die Konstruktion dann mit Rändelschrauben befestigt:

Und so sieht das dann aus:

Ich plane vorne einen 200mm Noctua einzubauen und hinten einen 140mm. Beide haben eine ähnliche Fördermenge. Mal sehen ob das reicht.

 

[v3nom]

Das Backup NAS braucht auch soviele HDDs?

 

[mgutt]

Ja 7 bräuchte ich mit 14TB Platten, aber ich habe noch nicht so viele, werde also wohl 8-9 12-14TB mischen. Kommt auch drauf an ob und wie viele Parity Laufwerke ich konfiguriere. Ich denke mal eins wird es werden. Aber vom Prinzip ging es ja auch ohne.

 

[v3nom]

2x14TB WD Reds gibts gerade über WD My Book Duos bei Amazon.es

 

[mgutt]

Schon gesehen, aber viel zu teuer ^^

Ich habe meine 12TB für 212 € - 25 € Xbox Code - 15 € Gehäuse gekauft:
https://www.mydealz.de/deals/wester...senioren-rabatt-xbox-game-pass-35-hdd-1561372

Also gerade mal 14,33 € pro TB. Eine war bei Lieferung defekt. Nackt zu WD geschickt. Eine neue bekommen. Wieder 25 € Xbox Code und 15 € Gehäuse und 11 € pro TB. Ich wünsche mir fast schon, dass alle ständig kaputt gehen

 

[mgutt]

Wenn das läuft ein echtes Schnäppchen.

Das Board scheint tot zu sein. Jedenfalls fährt es nicht hoch (zwei Netzteile ausprobiert) und über IPMI sehe ich auf der Startseite nicht alle LAN-Ports und auch kein BIOS. Ich habe sogar extra über die Weboberfläche das BIOS Update probiert, erhalte aber nur die Fehlermeldung "BMC can't force ME to recovery mode", obwohl ich den JPME2 Jumper auf PIN2-3 gesetzt habe:

Der Verkäufer kann sich das nicht erklären, weil hochgefahren sei es bei ihm noch mehrfach. Er hatte mir sogar das I/O Shield noch auf seine Kosten nachgesendet. Er wollte eigentlich nur mit dem "defekt" verhindern, dass er Gewährleistung auf das Board geben muss. Ich habe daher eigentlich keine Zweifel, dass er die Wahrheit sagt. Was auch komisch ist, dass ich auf der "Hardware Information" Seite im IPMI das BIOS sehe, aber er behauptet, dass in DIMMA2 und DIMMB2 noch Kingston RAM verbaut sei, was gar nicht stimmt, da mein Samsung RAM in DIMMA1 steckt:

Allerdings vermute ich, da das Board ja gar nicht hochfährt, dass das einfach der letzte Zustand ist, den das Board sich gemerkt hat und mein RAM entsprechend noch gar nicht erkannt werden konnte.

Natürlich habe ich schon mehrfach alles resettet was geht. IPMI Update, IPMI Reset, BIOS Update (geht nicht) und BIOS Reset über CMOS und Batterie ziehen. Hilft alles nicht. 😭

Ich frage mich ja warum man beim Resetten des IPMI nicht auch diese Info mit dem RAM gelöscht wird. Aktuell warte ich auf einen Mainboard Speaker, damit ich evtl Fehlercodes auslesen kann, aber ich vermute mal, dass auch die mangels einschalten nicht kommen werden.

Echt schade. Sonst hätte ich das Backup-NAS in Betrieb nehmen können. Sah schon gut aus

 

[mgutt]

Ich war heute länger unterwegs. Ich entschied mich die Batterie und das Netzteil in der Zeit abzuklemmen. Eben klemme ich alles wieder an und was ist. Das Board fährt hoch. Ich schaue nach einer Stunde noch mal nach und es ist aus und lässt sich nicht mehr hochfahren. 😒

Im IPMI wird mein RAM jetzt übrigens angezeigt und auch alle LAN Ports werden wieder korrekt aufgelistet. Die einzige Idee, die ich jetzt noch habe ist ein Update des BIOS zu machen, während das Board mal angeht. Vielleicht ist das einfach nur korrupt geflasht worden?!

EDIT: Das Board war nun ca 15 Minuten batterie- und stromlos. Ich habe noch mal alles mit Alkoholpads abgeputzt und den Kühler mit frischer Wärmeleitpaste versehen. Dann habe ich eine komplett neue CR2032 Batterie verbaut (ja ich bin verzweifelt ^^). Es fuhr erneut hoch. Ich habe direkt mal die Ausgabe geprüft und per IPMI zeigt sich das klassische Bild mit "Intel MRC Execution... 2F". Das kommt beim ersten Booten nach Einbau eines neuen RAM-Riegels und kann mehrere Minuten dauern. Also ganz normal. Wie geplant habe ich das BIOS-Update angestoßen. Die Verbindung zur Ausgabe wurde mit dem Hinweis auf das BIOS Upgrade unterbrochen:

So weit so gut. Die Power LED leuchtet nach wie vor (hat sie vorher nie) und der Lüfter dreht auch noch. Spannung ob die BIOS-Installation diesmal klappt...

EDIT2: Leider nicht geklappt. Es kommt erneut "BMC can't force ME to recovery mode". Aber das Board fährt wieder hoch mit "Intel MRC... 2F". Ich warte mal ab ob er vielleicht diesmal komplett ins BIOS kommt bzw ob vielleicht andere Fehler angezeigt werden.

EDIT3: Ich schaue gerade aufs Board und was sehe ich. Es ist kein RAM verbaut. Ich hatte diesmal vergessen den RAM Riegel einzusetzen. Also RAM rein. Neu gestartet. Geht nicht. RAM raus. Neu gestartet geht. RAM rein... geht wieder nicht. Also setze ich einen anderen Riegel ein, der hier noch rumlag. Board fährt hoch. What?! Der selbe Riegel, den ich im A2SDi-8C+-HLN4F verbaut habe und der dort vorher auch schon verbaut war, geht nun nicht im A2SDi-8C-HLN4F?! Da muss man erst mal drauf kommen. Ok, also scheinbar doch alles gut?!

EDIT4: Ein paar Einstellungen im BIOS durchgeführt. Speichern und neu starten... Board fährt nicht mehr hoch. Power LED aus. RAM raus.. nichts... RAM rein... nichts... anderen RAM... nichts.... 🤪 Also wieder batterie- und stromlos für mindestens 15 Minuten. Beim nächsten Versuch probiere ich das BIOS Update per USB Stick und "SUPER.ROM" Bios-Flashdatei.

EDIT5: Trotz langer Wartezeit.. bootet nicht.... RAM raus... nichts.... anderen RAM rein... bootet. Wohlgemerkt mit dem, mit dem das Board erst nicht booten wollte. Diesmal wartete ich auf die automatische Installation der SUPER.ROM. Tat sich aber nichts. Ab dann wenn eigentlich die Shell kommen sollte, kommt ein Neustart. Diesmal bin ich manuell ins BIOS. Erneut keine Aufforderung die SUPER.ROM zu installieren. Über das BIOS die Shell ausgewählt. Wieder Neustart. Diesmal verpennt ins Bios zu gehen. Wieder Neustart erwartet. Und plötzlich erscheint die Shell. Gleich mal das BIOS überschrieben:

Dann ging es schnell. Keine Ahnung was noch an Meldungen kam. Jedenfalls erfolgte ein Neustart und wieder tot 😤 Für heute habe ich die Schnauze voll. Sowas komisches habe ich echt noch nie erlebt.

 

[rgbs]

@mgutt

ich hatte ein ähnlich merkwürdiges Verhalten des Rechners, weil Pins der CPU-Fassung verbogen waren.


Gruß

R.G.

 

[mgutt]

Also das Board habe ich nicht zum Laufen gebracht und versteigere es daher jetzt wieder auf eBay als defekt.

Ich habe mich schlussendlich beim Backup NAS für das Asrock J5005 entschieden (günstig und hat sogar eine iGPU). Da dieses Board nur 4 SATA Anschlüsse besitzt, habe ich zwei SATA 1 auf 5 Port Multiplier verbaut (3M Dual Lock Klettband):

Die Stromversorgung erfolgt entweder über Hohlstecker oder über SATA Power. Aus Platzgründen (der Power SATA Stecker vom Netzteil ist gewinkelt) habe ich Hohlstecker auf USB genommen.

Von vorne sieht das dann so aus:

Belegt habe ich dann wie folgt:
SATA1 -> Multiplier -> HDD1 + HDD2 + HDD3
SATA2 -> Multiplier -> HDD4 + HDD5
SATA3 -> HDD6
SATA4 -> SSD

Da ein SATA Port bekanntlich 560 MB/s Durchsatz schafft, kann man problemlos zwei HDDs mit einem SATA Port versorgen. Da ich allerdings eh nie alle Platten parallel voll auslasten werde, sind auch drei kein Problem bzw 180 MB/s pro HDD ist mir schnell genug.

Da ich das Backup NAS ohne Parität betreibe, stehen mir dort nun 84TB zur Verfügung. Zwei 3.5 Zoll HDDs kann man noch verbauen. Das wären dann 112TB (bei 14TB HDDs). Damit kann ich arbeiten ^^

Auf dem Foto noch nicht zu sehen ist der neue Lüfter. Da Noctua nicht lieferbar war, habe ich den 200mm Thermaltake Pure 20 verbaut und mit einem Noctua NA-RC7 Adapterkabel gedrosselt:

Das NAS liegt nun bei einem Kumpel unter dem Bett und ihm ist es leise genug, wobei ja dank Unraid eh immer nur eine Platte an ist:

Zur Fernwartung nutze ich übrigens eine Lubuntu VM mit Real VNC Server und als Backup Google Chrome Remote Desktop (Teamviewer bleibt nicht angemeldet?!). Das funktioniert zuverlässig und spart das Öffnen von Ports. Sowohl Real VNC Server als auch Chrome Remote Desktop sind kostenlos.

Damit die VM nicht durchgehend läuft, wird sie wie folgt gestartet:

#!/bin/bash
virsh start Ubuntu

Der Cronjob führt das nur um 10, 14, 18 und 22 Uhr aus:

0 10,14,18,22 * * *

In der VM ist dann noch autopoweroff installiert mit der die VM nach 30 Minuten heruntergefahren wird:

Auf die Art kann ich also ab 10, 14, 18 und 22 Uhr für jeweils 30 Minuten auf das NAS zugreifen.

Abschließend ein Größenvergleich mit der DS1618+:

 

[mgutt]

Leider hat sich herausgestellt, dass der Atom C3758 nicht in der Lage ist 1080p Blu-Ray Rips für Plex zu transcodieren, wenn sie im VC1 Codec vorliegen (VC1 wird nur mit einem Kern encodiert). Ich habe daher den Entschluss gefasst das Mainboard vom 10 Zoll Rack Haupt-NAS zu tauschen.

Um noch weiter Strom zu sparen, wollte ich die Chance gleich nutzen und ein Board ohne IPMI/BMC verbauen. Aber find mal eines mit vielen SATA Ports. Nach (wirklich) langer Suche habe ich das Gigabyte C246N-WU2 gefunden, das komischerweise noch nie auf einer Newsseite erwähnt wurde. Dabei ist es rein von den technischen Daten das ideale NAS Board für mittlere 1151 CPUs von 35 bis 95W. Es besitzt einen vollwertigen PCIe (10G Karte nachrüsten) und M.2 Slot (Unraid SSD Cache) sowie 8 SATA Ports und unterstützt ECC RAM. Der einzige Haken ist, dass mir dann 2 SATA Ports fehlen, aber ich nutze dann eben zwei Port Multiplier USB 3.0.

Später, sofern die Treiber laufen, könnte man ja eine QNAP QM2 oder Synology E10M20-T1 für 10G + M.2 NVMe verbauen und im M.2 Slot des Boards eine Iocrest IO-M2F585-5I SATA Karte und hätte dann sogar 13 SATA Ports mit voller Bandbreite.

Verbauen werde ich dort einen i3-8100, weil der Pentium Gold G5620 schlicht teurer war (den i3 bekommt man auch massig gebraucht). Mit der iGPU wird der sogar problemlos 4K transcodieren können.

Ich hatte auch erst nach einem Board mit 1200er Sockel gesucht, aber Intel hat erstaunlicherweise bei allen Pentium Gold und i3 den ECC Support gestrichen und auf einen stromhungrigen und teuren (aber natürlich auch potenten) Xeon hatte ich keine Lust.

Ich habe neben dem Gigabyte auch das ASRock C246 WSI bestellt um den Stromverbrauch zu vergleichen, aber das will noch nicht.

Ehrlich gesagt ärgere ich mich, dass ich nicht gleich nach so einem Board gesucht habe. Wäre auch viel günstiger gewesen (Supermicro mit Atom = 440 € und Gigabyte mit i3-8100 = 265 €).

 

[v3nom]

Leider hat sich herausgestellt, dass der Atom C3758 nicht in der Lage ist 1080p Blu-Ray Rips für Plex zu transcodieren, wenn sie im VC1 Codec vorliegen (VC1 wird nur mit einem Kern encodiert).

Ist noch der PCIe Slot frei? Ich hab da ne Quadro P400 drin die von PLEX genutzt wird.

 

[mgutt]

Ist noch der PCIe Slot frei?

Wenn ich nicht gerade einen PCIe Bifurcation Adapter installiere, wobei ich gerade nicht weiß ob das BIOS das überhaupt unterstützt, dann nicht. Allerdings würde das die Befestigung der Karten (GPU und 10G) auch schwierig machen.

Ehrlich gesagt will ich auch gar nicht, dass da permanent eine GPU 5 bis 9W im Leerlauf verbraucht. Eine iGPU macht quasi nichts beim Verbrauch aus. Dazu kommt, dass die P400 super schwach im Vergleich zur Intel UHD630 ist.

 

[mgutt]

Später, sofern die Treiber laufen, könnte man ja eine QNAP QM2 oder Synology E10M20-T1 für 10G + M.2 NVMe verbauen und im M.2 Slot des Boards eine Iocrest IO-M2F585-5I SATA Karte und hätte dann sogar 13 SATA Ports mit voller Bandbreite.

Laut dieser Seite funktioniert die QNAP QM2-2P10G1TA auch bei anderen Servern:
https://www.servethehome.com/hpe-proliant-microserver-gen10-plus-ultimate-customization-guide/4/

This is a card designed for QNAP NAS units, but it can be utilized for other servers as well.

Allerdings hat sie einen großen Nachteil:

First off, it is a PCIe 2.0 x4 card.
...
Where it gets even more restrictive is that each M.2 NVMe SSD slot gets only a PCIe 2.0 x2 lane connection to the switch chip

Die Synology Karte ist PCIe 3.0 und besitzt damit genug Bandbreite für die NVMe(s). Laut Spezifikation hat der RJ45 Port Multi-Gigabit. Daraus schließe ich, dass hier ein ganz normaler Aquantia Chipsatz verbaut ist (EDIT: Vermutet auch er hier). Ich habe sie mal zum Test bei Amazon bestellt. Interessant wird die Länge. Sie ist mit 20cm immerhin 3cm länger als mein Board. ^^ Typisch Synology ist sie natürlich viel zu teuer (ca 250 €). Muss ich mir schlussendlich mal überlegen was ich dann umsetze. Aber ein NVMe RAID und 13 SATA Ports klingen auf jeden Fall sexy 😁