TrueNAS Hardware - Fragen.

[Jasmin83]

Hi leute,

bisher war es immer ausreichend, aber mein WDMyCloud stößt mehr und mehr an seine Grenzen, weshalb ich nun ein neues NAS bauen möchte. Zum Einsatz soll TrueNAS kommen. Alles mit Workstationtechnik und ECC RAM. Dazu möchte ich ein 19" Gehäuse mit min. 12 HDD Einschüben oder Mounting Möglichkeiten haben.

Das hat den Hintergrund, das ich zwar erstmal nur mit 3 Festplatten anfange, aber den Speicher, wenn er voll wird kontinuierlich erweitern möchte. Das ganze soll im RAID5 laufen, was in meinem 2-Bay NAS gerade nicht geht, deshalb alles nur im JBOD läuft, später vielleicht mal in RAID6.

Jetzt kommt die grundsätzliche Frage, ob ich direkt in ein Board mit vielen SATA/SAS Anschlüssen investiere (wird aber nicht die neueste Generation werden, sondern etwas älteres) oder mir einfach irgendein WS Board hole und dazu eine RAID Controller Karte mit idealerweise gleich 12 Anschlüssen.

Hat da jemand Erfahrungen, wie gut die Controller Karten mit TrueNAS funktionieren? Es ist allemal günstiger einfach ein beliebiges passendes Board zu wählen und eine Karte dazuzukaufen, anstatt ein Board mit 12+ SATA/SAS Anschlüssen zu finden.

Es wird auch in die Richtung So. 2011-3/2066 gehen, da es mir nicht so sehr auf Performance ankommt, da mein jetziges NAS eh nur einen Atom oder so hat und der bisher auch ausreichend ist. Es ist am Ende eher wichtig, das ich genug Platz habe, zum Archivieren.

Freue mich schon auf Antworten. Wird auch sowieso ein Learning by Doing Projekt, so dass am Anfang beide Systeme parallel laufen werden, bis das neue stabil läuft.

 

[Stahlseele]

Das klingt ein klein wenig nach overkill o.o

Bist du sicher, dass es keine consumer hardware tut?
Und 19" Gehäuse? Hast du ein Rack dafür?

Was ist denn der Einsatzzweck überhaupt?
Einfach nur RAW STORAGE?

 

[derchris]

"einfach so erweitern" ist bei ZFS glaube ich nicht so einfach ...

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wie wäre es mit Unraid, da kannste alles an Platten reinwerfen, was do so rumzufliegen hast.

 

[Muarl]

"einfach so erweitern" ist bei ZFS glaube ich nicht so einfach ...

Doch, einfach ein weiteres VDEV deinem POOL hinzufuegen

Wie wäre es mit Unraid, da kannste alles an Platten reinwerfen, was do so rumzufliegen hast.

Ein JBOD is auch mit ZFS moeglich.

Man muss sich halt etwas mit der Materie beschaeftigen.

 

[derchris]

Doch, einfach ein weiteres VDEV deinem POOL hinzufuegen

Laut dem Video mit VDEVs mit der gleichen Anzahl von Disks und der selben Konfiguration.

Hast du nun 3 Platte, musst du wieder 3 Platten hinzufügen in selber Konfiguration? So habe ich das nun aus dem Video verstanden.

 

[washieiko]

Moin,
habe Truenas inzwischen auf einiges an verschiedener Hardware genutzt, das lief bisher immer ohne Probleme. Sowohl mit alter Serverhardware, als auch mit Consumerhardware oder virtualisiert.
Auch 10Gbit Netzwerkkarten waren kein Problem oder ein 16x SATA Controller.

Übrigens gibt es kein Raid5 bei Truenas, da ZFS wird hier von Raid-Z gesprochen. Funktioniert allerdings ähnlich vom Aufbau. Da vielleicht nochmal einlesen Gibt dann mit Raid-z2 und z3 noch die Möglichkeit mehr Redundanz zu schaffen.

Also keine Angst davor, dein Raid erst mit ein paar Platten in Betrieb zu nehmen und dann auszubauen, funktioniert kinderleicht mit Truenas mMn.

 

[derchris]

Also keine Angst davor, dein Raid erst mit ein paar Platten in Betrieb zu nehmen und dann auszubauen, funktioniert kinderleicht mit Truenas mMn.

Kannst du - sagen wir mal - 3 x 20 TB nehmen als Raid-Z und nach und nach eine 20er hinzufügen?

Im TrueNAS Forum gibt es auch ein Thread dazu ...

 

[washieiko]

Nope das geht so nicht
Hier kann man das gut nachvollziehen, passt auch zu deinem Usecase:
Truenas Erweitern

 

[snaxilian]

das ich zwar erstmal nur mit 3 Festplatten anfange, aber den Speicher, wenn er voll wird kontinuierlich erweitern möchte. Das ganze soll im RAID5 laufen, was in meinem 2-Bay NAS gerade nicht geht, deshalb alles nur im JBOD läuft, später vielleicht mal in RAID6

Hier können wir eigentlich alle schon zu lesen aufhören, da du dich offensichtlich nicht selbstständig im Vorfeld mit Truenas bzw. ZFS beschäftigt hast.

RAID Controller Karte

Du möchtest bei ZFS keinen HW-Raid-Controller, du möchtest einen HBA (oder einen HW-Raid-Controller, der als simpler HBA laufen kann).

Es wird auch in die Richtung So. 2011-3/2066 gehen, da es mir nicht so sehr auf Performance ankommt

Warum dann so ein Overkill? Irgendwas passendes mit Sockel 1151/1151v1/1155/1200 reicht da auch.

Hast du nun 3 Platte, musst du wieder 3 Platten hinzufügen in selber Konfiguration? So habe ich das nun aus dem Video verstanden.

Das ist zumindest die Empfehlung. Du kannst theoretisch VDEVs unterschiedlichster Art wild miteinander kombinieren aber das ist keine gute Idee und reißt im Zweifel die Performance runter oder schafft andere Probleme. Daher sollte die Größe und Config der VDEVs pro Pool identisch sein.

Ein JBOD is auch mit ZFS moeglich.

Technisch möglich ist vieles aber nur weniges davon ist sinnvoll. Muss ja nicht jeder alle Fehler der vorherigen Leute wiederholen wenn man es vermeiden kann.

3 x 20 TB nehmen als Raid-Z und nach und nach eine 20er hinzufügen?

Jain. Afaik kannst das mit Truenas aktuell nicht, mit ZFS schon wenn man auf Experimente steht und einem die eigenen Daten nicht allzu wichtig sind. Bestehende Daten werden soweit ich es weiß auch (noch?) nicht neu verteilt sondern erst neue Daten.
Du kannst natürlich zu deinem Pool aus einem 3-teiligen raidz1 VDEV ein single-device-VDEV hinzufügen, hast direkt 20 TB mehr Speicher und wenn diese einzelne HDD dann ausfällt sind alle Daten futsch. Wie gesagt: Technisch möglich aber nicht sinnvoll denn entweder willst du ja höhere Verfügbarkeit oder hast das raidz1 unnötigerweise angelegt.

Ein Backup solltest du natürlich trotzdem haben in jedem Fall.

 

[SavageSkull]

Du mußt dir halt auch überlegen, ob es für dich OK, wenn du so ein Overkill System nutzt, der Stromverbrauch eine Rolle spielt. So ein NAS läuft ja dauernd und auch wenn die Platten bei Nichtbenutzung schlafen gelegt werden und die CPU im IDLE läuft, sind dann schnell mal >50W verbraucht.

Ich habe vor kurzem ein Unraid System zusammengeschraubt.

Spoiler

Intel Core I5 12400 (verbraucht im IDLE genauso wenig wie ein I3 12300T)
1x 16GB Riegel DDR5 (DDR5 hat ja "on Die ECC", was für die private Nutzung imho völlig ausreicht, zwei Riegel verbrauchen nur mehr Strom)
ASUS Pro Q670M-C-CSM
512GB SSD als Cache
Das Corsair RMX550
und halt SATA Platten dazu

Für mich ist das halt ganz nett, da ich beliebig erweitern kann und darauf Docker und VMs laufen lassen kann, wie auf einem Server. Kein Raspberry Pi mehr für PiHole und co.

Vielleicht sagt ja auch @mgutt noch was dazu.

 

[Rapsbeere]

Hi, ich mache es aktuell genau, wie Jasmin83 es vor hat. Learning by Doing mit einem im Hintergrund laufenden QNAP NAS, der bald abgelöst werden soll.
Ich bin auf einen 1151 Sockel gegangen mit 64 GB ECC und Xeon 1245v5 - QuickSync ist hier für bspw. MedienServer und NVRs genial! Ich würde in jedem Fall ein Server-Board empfehlen und keine Workstation Boards - klingt nach einem feinen Unterschied. Aber spätestens, wenn einem IPMI fehlt, um bspw. Lüfter nach HDD-Temps zu steuern, ärgert man sich. Früher gehts vielleicht los, wenn man trotz C236 Chipsatz keine RDIMMs unterstützt -> Server Board!
Die Erweiterbarkeit von ZFS mit JBOD sei mal dahin gestellt - neue VDEVs mit selben Platten(-anzahl) sollte gehen. Gerade bei den geplanten 3x HDD mit 12 Schächten ist das ja gut machbar.
Ich komme ohne HBA aus und bleibe mit 2x NVMe SSD und 5xHDD im IDLE unter 50W - Gott weiß, wie!
Im Vergleich zu QNAP o.ä. hat man eine ordentliche community und kann den selbst gemeldeten Bugs im Jira beim Verschwinden zusehen - genial und gleichzeitig wesentlich schneller, als bei (in meinem Fall) QNAP!
Mit dem Kubernetes Cluster und den diversen Apps von TrueNAS selbst oder den TrueCharts ist man hier gut dabei. Mit NVR (2x 1080p), Jellyfin, HomeAssistant, WireGuard und ggf. bald noch mehr Anwendungen, bleibe ich auch in aktiven Zeiten eher um die 50% CPU Auslastung. Da ist sogar noch Platz für eine VM mit Game-Servern.
Alles in allem ein tolles Projekt zum Lernen. Ich würde mir aber auf jeden Fall ein paar Monate Zeit bis zum Schwenk einplanen, sodass man alle Ecken und Kanten der TrueNAS Systeme kennen lernen kann.

PS: Ob dieser eindeutige Overkill in deinem Fall Sinn macht, entscheiden wohl deine Anwendungsfälle:
MedienServer? NVR? Andere Anwendungen, welche CPU Leistung erfordern?

Für simplen Speicher ist es aus meiner Sicht too much.

 

[derchris]

Beißen sich iGPU/QuickSync und IPMI nicht?

 

[Rapsbeere]

Guter Hinweis! Sollte also auch beachtet werden. Ggf. hatte ich also sogar Glück, kein IPMI zu haben. Aber nach HDD-Temp steuerbare PWM Lüfter sind auch nicht schlecht. Von daher an Jasmin83: Auch mit IPMI aufpassen und nach Erfahrungen suchen.

 

[Banned]

DDR5 hat ja "on Die ECC", was für die private Nutzung imho völlig ausreicht,

Sehe ich ganz anders.
Bei "richtigem" ECC wird auch nach einem Weg vom RAM zur CPU und umgekehrt gecheckt und falls nötig werden 1-Bit-Fehler korrigiert.
On-Die-ECC hingegen ist hauptsächlich dazu da, damit die Hersteller ihre Ausbeute erhöhen können, also auch nicht ganz so gute Zellen verwenden können, da ja im RAM 1-Bit-Fehler korrigiert werden können.
Klar bietet das theoretisch eine höhere Sicherheit für die Daten, die gerade im RAM sind, dabei berücksichtigen sollte man m.E. aber:

1.
Da die Hersteller die Ausbeute so steigern, ist davon auszugehen, dass DDR5-RAM auch generell etwas leichter Fehler produziert, weshalb ODECC das in gewissem Maße nur ausgleicht.
Aber ja, es gibt etwas mehr Schutz.

2.
Die Daten im RAM werden alle schieß-mich-tot-Millisekunden refresht. Ich würde die Wahrscheinlichkeit, dass auf dem Weg von RAM zu CPU und vice versa ein Bitfehler auftritt, somit als höher einschätzen als im RAM.


Darüber, wie wichtig ECC-RAM für einen Privatanwender ist, könnte man wiederum eine lange Diskussion führen. Da hängt es dann mMn auch sehr von der Art der Daten und der Datenmenge ab.

Dass ODECC aber kein Geschenk an dem Endanwender ist, ist aber ziemlich offensichtlich, wenn man sich anschaut, wie die Hersteller ansonsten mit dem Thema ECC umgehen bzw. welche Aufpreise man da idR zahlen muss.


@Jasmin83

An deiner Stelle würde ich einfach ein Board mit möglichst vielen SATA-Ports kaufen. Zur Not kannst du auch mit PCIe-Adapterkarte noch erweitern.
Als Plattform käme LGA1150 in Betracht. Da gibt es die Mainboards für ECC (von z.B. Supermicro die X10-Serie) mittlerweile gebraucht ziemlich günstig.

2011-3 oder 2066 halte ich auch für Overkill. Die fressen m.W. gut Strom und bringen dir eigentlich keinen wirklichen Vorteil für deinem Anwendungszweck.

 

[snaxilian]

@derchris Quicksync und IPMI beißt sich nicht unbedingt sondern da spielt auch der verwendete Chipsatz des Boards eine Rolle ob die iPGU überhaupt versorgt/angesprochen werden kann.
Hier in diesem Thread werden manche erwähnt die gar nicht funktionieren und welche, die funktionieren: https://forums.unraid.net/topic/779...-acceleration-using-intel-quick-sync/page/16/

ABER wir driften hier vom Thema ab denn ich lese keinerlei Anforderungen an quicksync o.ä. von @Jasmin83.
Gesucht wird ein NAS mit ECC und mehr Performance als das jetzige kleine System und es soll Selbstbau-Gefrickel werden und warum auch immer Truenas. Wobei hier allein schon die Differenzierung fehlt ob damit jetzt Truenas Core oder Scale gemeint ist. Vermutlich sollen wir das für den/die TE heraus finden...
Sinnvoller/effizienter ist vermutlich auch hier eher Unraid o.ä., denn gesucht wird ja ausreichend Platz zum archivieren.

 

[Jasmin83]

Danke erstmal an alle. Hier habe ich in den paar Beiträgen mehr belastbare Infos bekommen, als bei dem ganzen bla bla, das ich mir die letzten Tage schon durchgelesen habe. Ich hatte nicht mehr auf der Kette, das So. 115x auch Xeon CPUs hat, der Gedanke hinter ECC ist erstmal, wenn ich es jetzt umbaue, dann gleich richtig, sonst weiß ich, das ich mich bald wieder ärgere, nach 40 Jahren kenne ich mich inzwischen auch.

Stromverbrauch ist gar nicht das ganz große Thema bei mir, dank PV, aber das brauchen wir hier nicht weiter diskutieren. Für mich selber stellt sich dann sowieso auch die Frage, ob ich hier 2 oder 3 seperate Systeme dann zusammenfasse, da ich noch einen debian für meine Hausautomatisierung laufen habe und noch 2 andere Systeme, die auch 24/7 laufen. Daher auch die initiale Idee, auf So 2011-3 bzw 2066 zu gehen.

Wie dem auch sei, wenn sich bei TrueNAS der Gesamtspeicher nicht so einfach erweitern lässt, muss ich mich doch nochmal genauer mit unraid beschäftigen.

Mir ging es in erster Linie ja erstmal darum, ob ich ein teureres Board mit vielen SATA Anschlüssen nehmen soll oder ob eine SATA Adapterkarte genau so problemlos funktioniert. SATA Boards mit vielen anschlüssen gerade ältere sind ja auch nicht wie Sand am Meer zu finden und die Preise sind dann auch schnell exorbitant.

Wie gesagt, danke nochmal an alle, ihr habt mir soweit auf jeden Fall mal weiter geholfen.

 

[Jasmin83]

Kurzes Zwischenfazit, nachdem ich mich jetzt mehr mit Unraid auseinander gesetzt habe, kommt das wohl am ehesten in Frage. Dann mach ich mich mal auf Hardwaresuche.

 

[Frettchen!]

Hab selbst z.b. ein Unraid System mit 4 Sata Ports Nativ, und 4 per Adapterkarte laufen. Läuft Problemlos : )
Habe mich damals durch Truenas, OMV etc. gewurstelt und bin bei Unraid hängengeblieben, dass funktioniert nämlich einfach : )

 

[Jasmin83]

Ich hab inzwischen auch meine Hardware so gut wie zusammen, mit einem Supermicro So 2011-3 Board, mit 10 SATA Ports und einigen PCIe Plätzen für spätere Erweiterungen und einer 16c CPU. So hab ich genug Luft für die anderen Sachen, das die dann Mittelfristig in einer VM laufen. Ich bin nun soweit mein ganzes Sammelsorium an Rechnern für div. Funktionen hier zu einem mit VMs zusammen zu fassen. Jetzt heißt es auf die Hardware warten und ein Gehäuse finden, wo auch ensprechende HDDs reinpassen und was nicht irgendwie absurd teuer ist.

 

[TomH22]

Die Daten im RAM werden alle schieß-mich-tot-Millisekunden refresht. Ich würde die Wahrscheinlichkeit, dass auf dem Weg von RAM zu CPU und vice versa ein Bitfehler auftritt, somit als höher einschätzen als im RAM.

Bei einem reinen refresh Zyklus werden keine Daten zwischen CPU und RAM transportiert. Es wird nur eine Zeile der DRAM Matrix in den Zeilenpuffer kopiert (der befindet sich im RAM Chip) und dann wieder in die Matrix geschrieben.

Ansonsten hast Du recht, On Die ECC sichert den Weg zwischen RAM und Memorycontroller nicht ab, und der ist auch eine potentielle Fehlerquelle, vor allem wenn das Timing knapp ist.