Selbstbau NAS im 10 Zoll Rack

[mgutt]

Ich habe neben dem Gigabyte C246N-WU2 auch das ASRock C246 WSI bestellt um den Stromverbrauch zu vergleichen, aber das will noch nicht.

Der Test ist beendet und meine Wahl ist auf das Gigabyte gefallen. Da brauchte ich auch nicht wirklich lange überlegen, wie ihr feststellen werdet.

Netzteil
0,00W Mean Well GST40A12-P1J Netzteil (LED leuchtet, trotzdem nichts messbar!)
0,57W PicoPSU-90 aus
1,14W PicoPSU-90 an

Gigabyte C246N-WU2
1,35W Mainboard aus (Standardeinstellungen)
10,29W Leerlauf (i3-8100, SATA SSD mit W10, 1x 16GB UDIMM, HDMI, 1G LAN und USB Wireless Tastatur)
0,71W Mainboard aus (ErP im BIOS aktiviert)
7,79W Leerlauf (zusätzlich CEC 2019 im BIOS aktiviert)
7,36W Leerlauf (zusätzlich Audio deaktiviert)
6,86W Leerlauf (zusätzlich HDMI gezogen) / 7,22W mit 1x 32GB ECC UDIMM
6,65W Leerlauf (zusätzlich USB Tastatur gezogen = möglicher Bestwert als Server)
7,22W Leerlauf (HDMI und USB Tastatur wieder verbunden, LAN-Kabel entfernt)
7,86W Leerlauf (LAN-Kabel wieder verbunden, zusätzlich NVMe im Slot)
10,22W Leerlauf (NVMe entfernt, Asus 10G Karte installiert)
13,08W Leerlauf (10G verbunden)
10,44W Leerlauf (10G entfernt, IOcrest M.2 auf 5x SATA installiert)
10,87W Leerlauf (IOcrest mit einer SATA SSD)

Asrock C246 WSI
1,57W Mainboard aus (keine weitere Einsparung möglich)
12,58W W10 Leerlauf (verbundene Komponenten wie oben)
11,87W Leerlauf (Aktivierung aller C-States + C10 als Maximum, Audio deaktiviert)

Nachteile des Asrock gegenüber dem Gigabyte

• verbraucht 60% (!) mehr Strom
• keine vollwertige M.2 NVMe ohne Basteln installierbar
• optisch viel minderwertiger (das Gigabyte ist in edlem Schwarz und hat metallene "Verstärkungen" am PCIe und den RAM-Slots
• das BIOS bietet viel weniger Optionen und zeigt auch viel weniger zum Status der Komponenten an (zB Powerlimit der CPU wird nicht angezeigt)
• der Lüfter dreht viel zu schnell, selbst bei Silent
• bootet deutlich langsamer und hat im Gegensatz zum Gigabyte kein Fast Boot
• keine Intel Optane Unterstützung (brauche ich nicht, kann man aber ruhig erwähnen)
• die Oculink-Buchse macht einem unnötig das Leben schwer, denn das notwendige SATA-Adapterkabel ist teurer und nur von Supermicro verfügbar. Die Mini-SAS Buchse des Gigabyte ist da eindeutig die bessere Wahl
• die Strombuchsen des Asrock sind eine absolute Fehlkonstruktion.

Und was beim Gigabyte einfach nur genial ist, ist der niedrige Verbrauch bzw dass man mit nur zwei BIOS-Einstellungen mal eben den Verbrauch auf unter 8W drücken kann. Leider gibt es keine Option zum Undervolten, aber man kann ja nicht alles haben

Die Synology E10M20-T1 ist PCIe 3.0 ... Ich habe sie mal zum Test bei Amazon bestellt.

Leider wird die Karte einfach gar nicht vom Mainboard erkannt. Sie erscheint nicht mal im BIOS, obwohl sie ordentlich Strom zieht und entsprechend warm wird. Daher kann ich sie natürlich auch nicht unter Windows installieren. Schade.

Wegen der fehlenden SATA Buchsen werde ich übergangsweise (bis die SATA Port Multiplier aus China da sind) einfach auf USB3 auf SATA Adapter setzen. Bei Unraid ist das ja glücklicherweise kein Problem. Leider kann ich noch nicht loslegen, weil mein bestehender ECC RAM nicht in dem Board läuft. Übrigens läuft auch keine Ironwolf NVMe (Board fährt dann nicht mehr hoch). Die Samsung EVO dagegen schon.

Hat eigentlich schon mal jemand 10G Karten vom Verbrauch her verglichen? Mich würde ja mal interessieren ob die Intel Karte mit ihren zwei 10G RJ45 Buchsen mehr oder weniger verbraucht. Soweit ich das recherchiert habe, soll der Intel Controller ja sparsamer sein (kann dafür aber kein Multi-Gigabit).

 

[mgutt]

Jetzt neu beim 10 Zoll NAS:

• Gigabyte C246N-WU2
• Intel i3-8100
• 64GB ECC RAM (Samsung M391A4G43MB1-CTD)
• 4x SATA Power + Data auf Molex Power und SATA (EAN 4040849681752)
• 2x USB 3.0 auf SATA Adapter

wie gehabt:

• 1x QNAP QXG-10G1T
• 1x Transcend 16GB USB (Unraid OS)
• 1x CableDeconn Mini SAS (SFF-8643) auf 4x SATA (SFF-8482)

Spürbare Verbesserungen:

• 10G viel schneller
• SMB viel schneller (keine Einbrüche mehr auf 5 MB/s bei vielen parallelen Zugriffen, sondern mindestens 250 MB/s)
• bootet 30 Sekunden schneller als das Supermicro Board (ohne Fastboot aktiviert zu haben)
• Plex Transcoding schafft nun nicht nur 4K, sondern gleich 4x 4K parallel oder 11x 1080p parallel

Und endlich kann ich mit Unraid das 10G fast auslasten. Es lag also doch nicht an meinem Netzwerk, sondern an der CPU. "Fast", weil ich es einfach nicht schaffe RSS zum Laufen zu bringen, was meiner Ansicht nach das Maximum ermöglichen würde:

20GB Download von SSD Cache (da hat die NVMe von Unraid wohl noch geschlafen ^^):

20GB vom RAM Cache: (also erneuter Download, keine Aktivität auf der NVMe = kommt aus dem Server RAM)

20GB Upload zum SSD Cache \\tower\sharename (jetzt andere Dateien um den RAM auszuschließen):

20GB Upload zur SSD Cache Disk \\tower\cache (diesmal ohne den shfs Overhead von Unraid):

Was stellen wir fest: Heftig schnell geworden im Gegensatz zu vorher ^^

Hier der Stromverbrauch mit 8 Festplatten im Ruhezustand:

8 Festplatten, weil ich die 2 zusätzlichen über USB Adapter + Netzteile nutzen muss, da mir leider erst später aufgefallen ist, dass der Intel C246 Chipsatz keine SATA Port Multiplier unterstützt. Mit diesen 2 Platten ist der Verbrauch daher ungleich höher (28,53W). Ich habe mir aus China bereits Molex auf Hohlstecker bestellt, damit zumindest die Netzteile rausfallen, aber ich denke nicht, dass das viel bringen wird, da die ständig aktiven USB3.0 Verbindungen eben Strom kosten. Der Performance tut das aber keinen Abbruch:

Die USB-Adapter:

Die Erfahrung mit 10G und SMB hat übrigens gezeigt, dass Unraid Single-Core Leistung absolut bevorzugt. Also falls ihr einen Selbstbau plant, holt euch keine CPU mit Hyperthreading oder eine mit vielen kleinen Kernen. Die beste CPU für Unraid mit iGPU und ECC Support ist daher klar der i3 der 8000 Serie. Der schwächere Pentium Gold der 5000er Serie geht auch, lohnt sich aber im Vergleich finanziell nicht. Wem der 8350K nicht reicht, der kann sich dann nur noch die Xeon der W-1200 Serie anschauen.

 

[mgutt]

Im 1. Beitrag habe ich nun die Kostenaufstellung ergänzt.

Außerdem neu ist ein 200mm Thermaltake Pure 20 Lüfter. Eventuell baue ich den auf die Tür vom Rack, aber so geht es auch erst mal.

 

[mgutt]

Mit powertop konnte ich den Stromverbrauch noch mal etwas runterschrauben. Und zwar werden nun die ungenutzten PCI Geräte schlafen geschickt, so wie auch USB Ports etc und Wake On LAN wird ebenfalls für alle Ports deaktiviert. Mit den aktuell verbunden und schlafenden 10 Platten (2 davon über USB) komme ich nun auf 24,46W (vorher 28,53W) und nur mit den 8 schlafenden SATA Platten geht es runter auf 19,59W (vorher 23,67W):

Im 1. Beitrag habe ich nun auch den Stromverbrauch und die Performance aufgeführt und mit einer Synology DS1819+ verglichen.

 

[mgutt]

Weiß jemand wo man sich magnetische Staubfilter sonderanfertigen lassen kann? Ich würde auf jeweils eine Seite des Racks einen Bitfenix Lüfter montieren (1x rein, 1x raus), da der nur 20mm hoch ist und da die Tür dann nicht mehr draufpasst, würde ich einen Staubfilter davor machen wollen. Der Ausschnitt ist 20x53cm, also müsste der Staubfilter denke ich mal so 24x59cm groß sein.

Wenn das nicht geht, müsste ich den Lüfter auf die Seitenwand montieren und die mit dem Bohrer bearbeiten. Habe ich allerdings wenig Lust drauf ^^

EDIT: Wundebar. Demciflex bietet sowas an. Mal sehen was das kostet bzw was die dazu sagen, dass das wirklich ein "Loch" ist. Keine Ahnung ob die Rahmen stabil genug sind und das Gewebe nicht vom Filter angesogen wird.

 

[v3nom]

Sonst schau mal bei Caseking ob es da nen passenden Demiflex-Filter gibt.

 

[mgutt]

schau mal bei Caseking

Hab ich schon Der größte (weil teuerste) Filter ist da der für das Fractal R5 und das ist zu klein. Ich brauche 235x560mm.

 

[mgutt]

Mittlerweile sind die Molex auf Hohlstecker Adapter gekommen. Die separaten Netzteile konnte ich also entfernen. Hat aber nur 0.2 Watt eingespart. Die Netzteile sind also bereits sehr effizient gewesen. Aber jetzt hängen wenigstens keine Kabel mehr vor dem Server herum:

Wegen der Staubabdeckung habe ich jetzt ein Angebot. Allerdings kann mir der Hersteller nicht garantieren, dass der Lüfter das Netz nicht ansaugt. Ich bin aktuell hin- und hergerissen ob ich das nun bestellen soll oder nicht.

Der Lüfter kühlt die HDDs bei Vollauslastung übrigens ausreichend ab, wobei das natürlich nur den Extremfall darstellt, da die Platten ja meistens aus sind:

Ich habe zwischenzeitlich auch mal die Grenzen der iGPU ausgestet. Wenn die Filme auf den HDDs liegen kann ich max 4x 4K Streams transcodieren. Liegen sie auf der NVMe, komme ich sogar auf 5 Streams:

Mehr kann die iGPU effektiv nicht. Das kann man in Plex gar nicht sehen. Ich habe extra ein Tool von Intel installiert um die Auslastung der iGPU sehen zu können:

3 Streams

4 Streams

5 Streams

Mit einer UHD630, die auf 1150 oder 1200 Mhz getaktet ist, könnte man evtl noch mehr rausholen, aber wer braucht das schon. 4K Transcoding macht man in der Regel ja eh nicht. Ich habe jedenfalls von jedem 4K Film auch die 1080P Blu-Ray gerippt.

Auch eine neue Erkenntnis habe ich bei den Clients erlangt. Unser Huawei Mediapad M5 Tablet hat den vermutlich schlechtesten WLAN Empfang, den ich jemals erlebt habe. 3m Abstand zum AP und gerade mal 60 Mbit/s brutto. Dadurch leert sich bei einem 30 Mbit/s Stream (durch den 40%-tigen Verlust von WLAN und den Schwankungen) irgendwann der Buffer. Dh auf dem Client habe ich nun standardmäßig Transcoding aktiviert.

Weiterhin habe ich den Linux Schreibcache auf 70% des freien RAMs erhöht (vm.dirty_ratio). Da ich ja 64GB verbaut habe und meistens 50-60GB frei sind, bleiben so 35-42GB frei in die alle Dateien, beim Upload auf den Server, geschrieben werden. Also selbst wenn das Ziel die HDDs sind, liegt meine Übertragungsrate durchgehend bei über 1000 MByte/s. Nach ca 15 Sekunden leert Linux dann den RAM auf die HDD aus. Das dauert dann natürlich ewig, aber das bekommt man dann eh nicht mehr mit.

 

[klauskn]

Hallo mgutt,

ich möchte mir aufgrund deines threads auch ein "NAS-Ersatz" aufbauen. Nachdem mir jetzt das 2. QNAP-NAS nach einem Jahr abgeraucht ist.
Deine Hardwareauswahl gefällt mir sehr gut. Vor allem die Balance zwischen Leistung und Stromverbrauch. Leider bin ich schon auf das 1. Problem gestossen. Das Mainboard Gigabyte C246N-WU2 scheint nicht mehr zu vernünfigen Preisen beschaffbar zu sein. Hast du zufällig eine Alternative im Ärmel?

 

[DDD]

Das Boards gab es doch nie günstiger?

 

[mgutt]

Ja, es kann sein, dass sich das gerade gut verkauft, da mittlerweile auch Elefacts darauf hinweist.

Aber es gibt noch Händler dafür:
https://geizhals.de/gigabyte-c246n-wu2-a2254433.html
https://www.idealo.de/preisvergleich/OffersOfProduct/200182620_-c246n-wu2-gigabyte.html

Alle Boards mit C246 Chipsatz und ohne IPMI:

Mini-ITX
Gigabyte C246N-WU2 8x SATA
Asrock Rack C246 WSI 8x SATA (höherer Stromverbrauch als das Gigabyte)

Micro-ATX
Asus WS C246M PRO 8x SATA
Gigabyte C246M-WU4 8x SATA
Fujitsu D3644-B 6x SATA (höherer Stromverbrauch als das Gigabyte)

ATX
ASUS WS C246 Pro 8x SATA
Gigabyte C246-WU4 10x SATA (hat dafür mehr Einschränkungen bei den PCIe Slots)

Wenn Du das Define R5 als Case nimmst, hast du natürlich die größte Auswahl.

 

[klauskn]

Vielen Dank.
war schon günstiger: bei ebay 378€
Die Händler bei geizhals können nicht liefern.
Bei idealo wird ein Händler gelistet. 248€ inkl. Versand. Scheint aber ein Fehler von Idealo zu sein. Habs da bestellt für 194 inkl. Versand. Scheint wohl das letzte gewesen zu sein. Gestern sah das noch ganz anderst aus.

 

[DDD]

equippr kann nicht liefern? Zu dir (ins Ausland?!) oder allgemein nicht? Scheint doch auf Lager zu sein.

 

[mgutt]

ebay 378€

Sobald die Verfügbarkeit schlecht wird, bleiben auf eBay und Amazon nur noch die Händler übrig, die extrem hohe Preise verlangen. Das haben ja einige zu ihrem Geschäftsmodell gemacht. Die meisten davon haben nicht mal die Ware, sondern kaufen sie dann bei anderen Händlern. Die suchen also einfach nur einen Dummen. Steht ja bekanntlich jeden morgen einer auf

 

[klauskn]

Entweder hatte ich Tomaten auf den Augen oder es sah heute morgen noch anderst aus.

Ergänzung (14. Oktober 2020)

meine Bestellung bei Itboost wurde storniert. Hab jetzt bei equippr bestellt. Bleibt spannend...

 

[mgutt]

Google Shopping hat es auch gelistet:
https://www.google.com/shopping/product/16370621567215108215

Sind aber alle ausverkauft, bist auf das:
https://taufnaus.de/product/gigabyte-c246n-wu2-10-motherboard-mini-itx-lga1151-socket-c246

Und den habe ich noch gefunden:
https://www.ankermann.com/de/Gigaby...inboard-Intel-Sockel-1151-Core-i~~134452.html

Vielleicht mal ein paar Händler anrufen und fragen wann da noch was nachkommt.

 

[KRambo]

Bin gerade zufälllig über diesen Thread gestolpert. Hab zufällig exakt dasselbe Gigabyte C246N-WU2 Board, allerdings mit einem i3-9100 und 2x 16 GB Kingston ECC RAM sowie einer M.2 SSD.

Im Leerlauf liege ich damit bei ziemlich genau 15 Watt, hab alle Energiesparoptionen im BIOS aktiviert. Frage mich wie du auf so einen niedrigen Verbrauch kommst, klar mein Flex-ATX Netzteil ist sicher nicht das effizienteste (80+ Bronze) aber du schreibst oben in etwa von der Hälfte meines Idle-Verbrauchs

 

[DDD]

Müsstest schon ein wenig mehr zum System schreiben.
Welches NT genau, welches Messgerät, welches OS, welche C-States werden erreicht...

 

[mgutt]

@KRambo

1. Welches OS?
2. Welches Messgerät?
3. CEC 2019 aktiviert?
4. Gibt es von deinem Netzteil einen Test wo Niedriglast geprüft wurde?
5. c-states mit ThrottleStop verifiziert?

Ich nehme übrigens nicht ohne Grund das SF450 Platinum. Es ist mit das beste bei niedrigen Lasten. Meine ersten Messungen hatte ich allerdings mit einer PicoPSU durchgeführt. Nur die 19.59W habe ich mit dem SF450 gemessen. Moment ich ziehe mal gerade alle Platten und die 10G Karte raus...

... so, alle Platten wurden gezogen. Jetzt ist nur noch Unraid über den USB Stick aktiv, 64GB ECC RAM und die 1TB NVMe.

Mit 10G Karte (15.30W):

Ohne (8.94W):

Ich denke unter 8W komme ich nicht, weil ich nun zwei RAM Riegel verbaut habe und eben das große Netzteil. Trotzdem immer noch ein sehr guter Wert.

Und hier noch mal alle Platten wach (83.33W) und alle Platten schlafen (24.10W):

Beim gleichzeitigen Hochfahren der Platten gibt es Spitzen bis über 200W, wobei ein 250W Netzteil nicht ausreichend wäre, weil die Platten unterschiedlich viel Strom über 5V und 12V ziehen. Ich hatte das mal ausgerechnet und daher auch eher zum größeren Netzteil tendiert.

 

[remiel]

Ich bin auch gerade an Homeserver zusammen stellen. Was eigentlich noch fehlt ist Mainboard und Netzteil.

Würde gern wissen ob du ipmi schon mal vermisst hast. Mich stört auch der erhöhte Stromverbrauch und würde daher gern drauf verzichten.

Ansonsten hast du weiter oben geschrieben, dass das Gigabyte C246-WU4 schlechter sei wegen den PCI Einschränkungen. Gibt es eine Seite wo man das vergleichen kann. Wollte eigentlich ATX Format nehmen, wenn ich aber die PCI eh nicht nutzen kann, kann ich auch Gigabyte C246M-WU4 nehmen. Plan war, HBA und später mal 10 GBE Karte.