DIY NAS mit ECC

[NJay]

Hallo zusammen,

ich würde gerne mein NAS aufrüsten. Mein aktuelles erfüllt zwar seine Anforderungen noch solide, es ist aber auf der Hardwareseite sehr frickelig (Shucked HDDs mit abgeklebten Pins, günstigste 120GB SATA SSD die es damals gab, CPU-Kühler hängt nur an drei Push-Pins, etc) und auf der anderen Seite ist zwar alles Dokumentiert und gut gebackupt, aber im Falle der Fälle müsste ich trotzdem relativ viel Zeit mit neu aufsetzen verbringen. Also gäbe es auch hier noch verbesserungspotential.

Altes System:

i5 4570s - H87 - 16GB - 128GB SSD - 3x8TB HDD - SP 8 400Watt - Ubuntu Server 20.04.

Es ist ein Raid-Z1 und es werden viele selbstgebastelte Skripte benutzt um nach einen reboot und der Passworteingabe für die Verschlüsselung alles wieder zu starten.

Für das neue NAS gelten folgende Anforderungen:

• Standardkomponenten, soweit es geht. Also keine OEM-Hardware, wo man nichts aufrüsten kann.
• ATX-Mainboard. eventuell yATX, wenn es ansonsten passt.
• Gehäuse so klein wie möglich, so groß wie nötig. Es sollte aber Platz für 6 HDDs sein
• 2,5GBit verbaut oder per Steckkarte nachrüstbar
• Brauchbare Leistung auch für etwas Docker/VMs, aber keine besondere Leistung nötig.
• Entsprechend so effizient wie möglich, aber das es bei den Anforderungen am Ende auf 20-40 Watt idle Verbrauch rauslaufen wird ist mir klar.

Budget gibt es direkt keines, aber unnötig Geld verschwenden will ich nicht. Festplatten werde ich mindestens 3 für ein Raid-Z1 oder 5 für ein Raid-Z2 einbauen, da habe ich mich noch nicht entschieden. Genauso wie groß ich die einzelnen Festplatten einbauen will. Hier ist Input gerne gesehen, aber das bekomme ich ansonsten auch alleine noch hin.
Hier meine aktuelle Zusammenstellung:
https://geizhals.de/wishlists/3548962

Hier müsste ich auf IPMI verzichten, dafür ist es relativ bezahlbar (Festplatten mal außen vor). Gerade beim Gehäuse bin ich mir unsicher.

Intel 13/14. Gen finde ich auch Interessanr, mit ECC finde ich hier aber nur Boards ab 400 Euro, das macht es direkt deutlich teurer. Des weiteren ist AMD effizienter und wie gesagt, Leistung ist keine Priorität, sollte nur keine Krücke sein. Auch beim Mainboard bin ich mir noch nicht ganz sicher. ECC können laut Geizhals sehr viele Modelle von ASUS.

Was sagt ihr?

 

[john.smiles]

Kleiner als ein Jonsbo n3 geht es nicht, dann musst du aber auch auf ein itx Mainboard und ein SFX Netzteil gehen.

 

[NJay]

Wie gesagt, so klein wie möglich, so groß wie nötig um ein (y)ATX mainboard und 6 HDDs unterzubringen.

 

[Banned]

AM4 wäre halt günstiger und stromsparender als deine AM5-Konfig (Also CPU, Mainboard und RAM wären günstiger zu haben). Mal als Orientierung:

https://geizhals.de/wishlists/3405091

Bräuchtest dann halt ein andere Gehäuse (das von dir gewählte ist wahrscheinlich nicht verkehrt) und Netzteil. Mainboard ginge dann auch noch etwas günstiger, wenn es größer sein darf.

Bei deiner Konfiguration frage ich mich., warum du ne Adapterkarte für sechs SATA-Ports willst, wo das Mainboard doch schon vier bietet.

Falls dir das mit dem Abkleben bei den HDDs zu unsicher ist, geht das auch mit Adapter:
https://geizhals.de/inter-tech-1x-1...-pin-sata-strom-buchse-88885532-a2545831.html


Als CPU dann u.U. die hier, wenn du sechs Kerne willst:
https://geizhals.de/amd-ryzen-5-pro-4650g-100-100000143mpk-a2336716.html?hloc=de


Die Preise der PRO-CPUs dieser Serie sind leider sehr angestiegen bzw. das Angebot zurückgegangen. Aber wenn einem die Leistung reicht, trotzdem eigentlich unnötig, mehr Geld für ne AM5-Plattform auszugeben.


Für den Preis wären hier sogar acht Kerne drinnen, falls dir das was bringt:
https://geizhals.de/amd-ryzen-7-pro-4750g-100-100000145mpk-a2336717.html?hloc=de

 

[NJay]

Danke für deine Anmerkungen. Ich hatte AM4 außen vor gelassen, weil ich in erinnerung hatte, dass die Modelle mit iGPU kein ECC RAM können. Das habe ich dann wohl mit Ryzen 3000 verwechselt, bei denen war es nämlich so.

Bezüglich des Abklebens von Pins geht es mit nicht um Y-Aufsplittungen, sondern darum, dass meine aktuellen HDDs aus WD MyBooks ausgebaut sind und sich darin Enterprise HDDs befinden, die die Zertifizierung nicht geschafft haben. Hier muss man wirklich einen Pin am Sata-Stromstecker abkleben, da sie sonst nicht hochfahren. (Der Pin wird bei Enterprise HDDs zur Fernwartung genutzt, Strom daruf führt einen Hard-Reset der Platte durch).

Ich wollte mir die Option für 6 HDDs lassen. Deshalb wollte ich eine PCI-E Karte und dann gleich alle an der Karte anschließen.

Zen 2 zu Zen 4 ist dann schon ein ordentlicher Unterschied im Single-Core... Das und die möglichkeit mehr RAM zu verbauen ist schon ein Vorteil, auch wenn es teurer ist.

Was denkst du wie viel Strom man mit deinem Setup im Idle zu meinem sparrt, wenn man die HDDs außen vor lässt?

 

[Banned]

Nein, man muss, wenn man diesen Adapter verwendet, nicht den Pin abkleben, da der Adapter keine 3,3V-Verbindung hat - deshalb habe ich ihn dir empfohlen.

Des Weiteren sind nicht alle White Label auch Enterprise-HDDs. Wenn es welche sind, sieht man das aber an der Art des Gehäuses.


Was den Stromverbrauch angeht: Schwer zu sagen. Also das von mir vorgeschlagene Setup dürfte bei um die 20W liegen, würde ich schätzen. (Hängt auch stark von Netzteil ab. Mit ner PicoPSU ist man natürlich effizienter unterwegs als mit nem normalen ATX-Netzteil.)
Von AM5 mit den aktuellen CPUs hingegen habe ich im Idle bisher nur Schlimmes gesehen.

 

[NJay]

Nein, man muss, wenn man diesen Adapter verwendet, nicht den Pin abkleben, da der Adapter keine 3,3V-Verbindung hat - deshalb habe ich ihn dir empfohlen.

Alles klar. 👍

Des Weiteren sind nicht alle White Label auch Enterprise-HDDs. Wenn es welche sind, sieht man das aber an der Art des Gehäuses.

Das weiß ich, in meinem Fall waren es aber Enterprise HDDs. Aber beim neuen NAS will ich echte NAS HDDs kaufen, da das Geld jetzt dafür reicht.

Was den Stromverbrauch angeht: Schwer zu sagen. Also das von mir vorgeschlagene Setup sollte bei um die 20W liegen, würde ich schätzen. Von AM5 mit den aktuellen CPUs hingegen habe ich im Idle bisher nur Schlimmes gesehen.

Mhmmm.. dann suche ich mal anch entsprechenden tests.

 

[Banned]

Mhmmm.. dann suche ich mal anch entsprechenden tests.

Gibt ja heute hier sogar einen:

https://www.computerbase.de/2023-11...2/#abschnitt_leistungsaufnahme_und_temperatur


Klar, da ist noch die GPU dabei und das Netzteil ist auch ein großes mit wahrscheinlich mäßiger Effizienz im niedrigen Watt-Bereich. Aber die Relation zu anderen CPUs wird schon deutlich.

 

[Bohnenhans]

IPMI lohnt sich eigentlich 0 ich habe das auf 3 meiner Serverboards und nur 2 oder 3x genutzt und inzwischen dann schon lange auf einem PiKVM - 10-100x besser!

Evtl wäre ja auch ein gebauchtes altes Board mit Xeon "L" interessant die gibt es oft für ein Appel und Ei mit ECC - und als Server reicht das meist locker.

Wobei Dir da vermutlich der gefühlte Abstand vom aktuellen dann nicht reicht - aber glaube brauchen wirst Du kaum mehr HW - vor allem bei "nur" 2,5 Gbit .... das macht selbst eine Kartoffel CPU mit links

 

[Banned]

IPMI lohnt sich eigentlich 0

Ich nutze IPMI eigentlich immer, um mein NAS zu starten und wieder herunterzufahren. Neulich habe ich auch darüber ein BIOS-Update eingespielt - sonst hätte ich das Board wegwerfen können. Somit hat mir IPMI da ziemlich den Arsch gerettet. Somit hat es sich für mich alleine deshalb schon enorm gelohnt.

Auch sonst ne nette Technik, um Sensordaten auszulesen und kleine Konfigurationsänderungen durchzuführen.


Aber bei AMD ist der Aufpreis für ein IPMI-fähiges Board jenseits vom Gut und Böse. Bei Intel macht es idR keinen wirklichen Unterschied, also sollte man es hier mitnehmen, finde ich.

 

[Bohnenhans]

Nun das geht mit PiKVM alles auch - nur halt meiner Meinung nach viel besser - meine IPMI Boards sind aber auch schon älter. Ich jedenfalls werde nie mehr IPMI nutzen wenn ich PiKVM haben kann.

Ausser vielleicht ein BIOS einspielen wenn das System überhaupt nicht mehr sonst ein Bild anzeigt - das geht nicht, das stimmt wenn man ein echte BIOS "FlashbackButton" die einzige Möglichkeit ist und IPMI dann noch tut dann ist das ein Vorteil.

Aber ansonsten ist IPMI für mich halt nur noch zweite Wahl.

Davon würde ich den Board Kauf nicht mehr abhängig machen


z.B. hab ich auf piKVm diese Tool/OS-Images drauf die ich jederzeit als CD-Laufwerk / USB Stick virtuell anschliessen kann und davon booten... ohgen dass ich was dafür jedesmal was hochladen muss vorher.

 

[Banned]

Nun das geht mit PiKVM alles auch - nur halt meiner Meinung nach viel besser

Wie willst du mit dem Teil ein neues BIOS einspielen, wenn das BIOS des Boards bricked ist bzw. durch das neue BIOS Fehler auftreten, so dass das Board nahezu tot ist?

Ohne das intakte IPMI-Modul wäre da gar nichts mehr möglich gewesen.
Somit nein, das geht damit nicht alles.

 

[Bohnenhans]

Naja da muss man dann halt den physikalischen BIOS FlashButton nutzen den aber doch fast jedes moderne Consumer Board mitbringt - der tut auch dann ohne RAMs und CPU.

Klar da muss man dann tatsächlich einen Knopf drücken aber das kommt doch - hoffentlich - so selten vor dass das für mich nicht die Nachteile ausgleicht, die man jeden Tag hat bei der Nutzung.

99,9...9% der Zeit ist doch man nutzt IPMI zum Fernbedienen, remote installieren, BIOS verändern oder sonstige Einstellungen machen, remote reparieren, Diagnosen usw.

Bequemes Noflashen ist wie super Bequem HDDs im Server tauschen - wenn man das wirklich wichtig ist dann ist am Server doch etwas ganz grundlegend falsch oder?

 

[Banned]

Non-Consumer-Boards wie meines haben eben idR keinen, aber auch die meisten? Consumer-Boards haben so etwas nicht.

Es gibt sogar teure Workstation-Boards, welche weder das eine noch das andere haben, z.B.:
https://geizhals.de/asus-pro-ws-w680-ace-90mb1dz0-m0eay0-a2872252.html?hloc=de

https://geizhals.de/supermicro-x13sae-bulk-mbd-x13sae-b-a2685516.html?hloc=de


Die Sache ist in meinen Augen also nicht so einfach, wie du es darstellst.

 

[Bohnenhans]

Naja von 121 auf geizhals AM5 Boards - also die Plattform in der Zusammenstellung des TE - haben 106 den FlashButton ... und nur 15 haben den nicht... also ~ 90% mit.

 

[Banned]

- Du hast allgemein behauptet:

Nun das geht mit PiKVM alles auch -

- Ich habe dich darauf hingewiesen, dass man damit in dem von mir geschildeten Fall kein BIOS-Update machen kann.

--> Damit ist deine Aussage schon mal falsch, was die generelle Funktionalität anbelangt. (Und daran ändern auch deine weiteren Ausführungen nichts.)

- Dann versuchst du irgendwie trotzdem recht zu haben, indem du sagst, man könne ja den Flashback-Button nutzen.

--> Aber selbst wenn das Board so einen Button hat, ist es trotzdem die Funktionalität des integrierten BIOS-Flashback und nicht die des PiKVM, die es ermöglicht, so dass deine Aussage nach wie vor falsch ist, egal ob allgemein oder auf den konkreten Fall bezogen.

- Ich sage dann, dass viele Boards diesen nicht haben, denn bei AM4 und LGA1700 sind es nur ziemlich genau 40%, und auch eher die hochpreisigen.

- Du kommst dann damit um die Ecke, dass es ja um AM5 ginge, weil das die vom TE gewählte Plattform sei; was aber nichts daran ändert, dass du zuvor eine Aussage aufgestellt hast und diese eben falsch ist.


Dass die AM5-Plattform für diesen Zweck aufgrund des hohen Stromverbrauchs im Idle generell eine schlecht Idee ist, hatte ich bereits erwähnt.

Des Weiteren kann man über z.B. IPMItool ganz viele Sachen über Konsolen-Befehle konfigurieren und initiieren, ohne somit überhaupt das BIOS aufrufen und dich da durchnavigieren zu müssen. Von "besser" kann somit m.E. auch nicht die Rede sein.

 

[Bohnenhans]

Nun er kann ja selber nachsehen ob er IPMI sinnvoll findet oder lieber sagt Board frei aussuchen und evtl piKVM. Für micht ist halt Not Bios flashen ein extremer Edge Case.


Ich habe bei mir alle Stromsparfunktionen der HDDs deaktiviert bis auf Sleep Elektronik

und komme auf 105W bei den Systemen mit jeweils 9x16TB und auf 70W idle bei dem einen mit 6x22TB.

< 40W denke ich geht bei 6 HDDs z.B. nur wenn man die HDDs dann stoppt, ich fahre lieber das ganze System runter wenn eine gewisse Zeit niemand drauf zugegriffen hat etc, abends gehen die damit immer von allein aus.

Ansonsten denke ich ein ähnliches Setup - OpenZFS auf den beiden grossen Servern mit jeweils RAIDZ2 und auf dem kleinen "nur" mit RAIDZ natürlich auch mit crypt (AVX2 in der CPU ist für OpenZFS Crypt sinnvoll!) angebunden habe ich mit 10 GBit, was sicher auch den Stromverbrauch etwas nach oben treibt und auch die SAS/SATA Controllerkarte wird gut warm, auch da gehen sicher 10W+ verloren.

Ich nutze aktuell 24 Seagate Exos (18x16TB und 6x22TB) - davor Seagate 24x4TB und hatte in ~ 10 Jahren 1 Ausfall - aktuell bin ich bei HDDs bei Seagate - sie sind halt nicht so leise - aber da fehlt mir auch der Vergleich.

 

[SavageSkull]

< 40W denke ich geht bei 6 HDDs z.B. nur wenn man die HDDs dann stoppt, ich fahre lieber das ganze System runter wenn eine gewisse Zeit niemand drauf zugegriffen hat etc, abends gehen die damit immer von allein aus.

Müssen die denn dauerhaft laufen? Wofür?
Unraid ist in der Praxis ein Raid 5, bei dem aber immer nur die Platte läuft, auf der die Datei abliegt, statt die Datei zu stückeln und alle Platten dauerhaft laufen zu lassen.
Ich komme mit meinem System auf knapp unter 20W wenn die Platten gerade schlafen.
https://forums.unraid.net/topic/136944-absegnung-für-system/
Das klassische NAS Problem, dass alle Platten (meist aus derselben Bestellung und Charge) dann gleichzeitig verrecken, weil sie exakt identisch ausgelastet wurden, entgeht man damit.
Docker und VM fähig ist Unraid auch.

Hardware habe ich länger gehadert, aber jetzt ein System, was mir persönlich gut passt.
Der Speicher ist nur "normaler" DDR5 und hat daher kein "richtiges" ECC sondern "nur" das integrierter ECC.

Ergänzung (30. November 2023)

Des weiteren ist AMD effizienter

Im Leerlauf/Idle leider nicht. Da ist Intel deutlich besser. Unter Halblast nehmen die sich nichts und nur unter Volllast ist AMD besser.
Bei einem selbstbau NAS ist Intel die bessere Wahl.

 

[NJay]

Bei einem selbstbau NAS ist Intel die bessere Wahl.

Da ich aber schon gerne ECC hätte wird Intel sehr teuer. Zumindest habe ich kein Mainboard unter 350 Euro gefunden gehabt, wenn man mindestens Gen 12 oder neuer sucht.

 

[Bohnenhans]

Nun Du kannst auch gebraucht nehmen, da sind alte Intel Xeons etc meist günstig

So im ddr4 ECC Bereich sind die meist dann nicht ganz so sparsam - muss man halt genauer hinschauen es gibt zumindest so LowPower Varianten

ECC ist zwar nicht überlebenswichtig aber haben unsere Server auch alle. Denn schaden tut's auch nicht 😁

Unsere grossen Server laufen im Schnitt nur 1h am Tag da ist durchlaufen und ausschalten ok - ein passiver n6005 dient als cache der rennt durch

Wenn man alles neu haben will kostet ECC halt deutlich mehr - dann muss man aber auch die "neu" Vorteile bei dem Aufpreis auch fast brauchen