Selbstbau neues NAS - welcher RAID Controller?

[PHuV]

Ich hab mal als Experiment in China das Adaptec AFM-700 Flash Module geordert, weil es doch drastisch günstiger ist als hier. Wenns nix taugt, wars eben nix, und ich kauf das richtige hier. Ich schreib dann hier rein, was meine Tests ergeben haben. Ebenso sind heute 2 von 3 bestellten 60mm Lüftern für den 8805 als Kühler gekommen:

Das Nocuta ist sehr dick.

Update:
Unabhängig davon, daß der dünne Lüfter etwas fehlkonstruiert ist, wenn die Fläche mit dem Kabel unten liegen muß 🙄, bringt er wirklich wiklich einiges. 30° zu 53° ohne Lüfter ist schon ein gewaltiger Unterschied.

Update 2:

Ich hab nun den 2. 9271-8i, sogar mit Cache Modul, gebraucht gekauft und in den "neuen" NAS Server eingebaut. Siehe Warnung Update 2004 mit alten LSI/Avago/Broadcom Raid Controllern. Trotz Verwendung neuerer Treiber out-of-the-box bei Erstellen eines virtuellen Volumes gleich wieder ein BSOD, und gleich so schlimm, daß der Datenträger irreparabel Schaden nimmt.

Aus meiner Sicht LSI/Avago/Broadcom ist weder der neuere Controller 9440-8i noch der alte 9271-8i wegen der ganzen Probleme so richtig tauglich. Ebenso gibts bei der Software LSA einen üblen Fehler, siehe LSI Storage Authority Error Code 49 Invalid Credentials, was die Sache noch madiger macht. Schade eigentlich, da ich auf Arbeit mit den diversen Servern und LSI Adapter bisher keine solchen Probleme hatte.

Richtig funktionieren tut aktuell wirklich nur der Adaptec 8805. Er macht 0 Probleme, stützt nicht ab, läuft im Legacy wie im UEFI Modus einwandfrei, die Software funktioniert auf Anhieb.

Fazit:

Für neuere Rechner und neues Windows 10 ab 2004 sind die älteren Raid-Controller von LSI aufgrund der Treiber-Probleme eher nicht zu empfehlen. Sie laufen noch irgendwie, aber nicht dolle. Wer einen neuen Controller sucht, sollte zum Adaptec greifen. Danke nochmal an @worldoak für den guten Tipp.

 

[worldoak]

Sehr gerne.
Ich habe noch nie Probleme mit Adaptec und werde nächste Woche wenn die 2 weiteren 10 TB Festplatten bei mir ankommen "online-erweitern" das hat die letzten Jahre wunderbar funktioniert.
Das können die OnBoard Controller nicht.

 

[Skysnake]

Das Mainboard könnte für dich interessant sein

https://www.servethehome.com/asrock-rack-epyc3451d4u-2l2t2o8r-amd-epyc-embedded/

 

[PHuV]

Leider schon zu spät, da nun alles läuft, aber auf alle Fälle ist das ein sehr interessantes Board, danke.

 

[Skysnake]

Kein Ding. War jetzt auch eher für die Allgemeinheit gedacht, wenn jemand den Thread ergoogelt.

Die TDP des verwendeten Top Modells ist mit 80-100W halt leider zu hoch. Es gibt aus der Serie aber auch kleinere mit nur 22-55W bei noch immer 8 Cores und das zum halben Preis. DAS wäre nen richtig interessanes Ding, wenn es dann am Ende auch noch wirklich richtig sparsam ist so lange man nicht alles benutzt.

Hier der Link zur Tabelle
https://www.servethehome.com/amd-epyc-3451-benchmarks-and-review/3/

 

[PHuV]

Update: Das Microsemi® Adaptec® Flash Backup Module AFM-700 ist angekommen, eingebaut und funktioniert erst mal. Für ca. 40 € aus China ein Schnäppchen, sonst kostet hier das Teil 150 €.

 

[mgutt]

Ein Software-Raid kommt bei mir nicht in Frage, meine Tests mit einem über INTEL RST über Z77 lieferten katastrophale Werte

Wie hast du das denn getestet? Ein i7-4970k ist niemals zu schwach für ein Software RAID. So ein Synology NAS mit Mini Atom CPU hat auch keinen RAID-Controller verbaut und hat damit auch kein Problem. 45 Drives baut seine NAS nur mit Software-RAIDs. Nicht ohne Grund. Geht die Karte kaputt, war es das mit dem RAID. Außerdem hätte ich keinen Bock auf den extra Stromverbrauch. Die Karte haut nämlich durchgehend 15W raus. Die CPU nur, wenn sie arbeiten muss.

Wie viele Ports hat dein Board? Ansonsten einfach 1 bis 2 reine 5-fach SATA Karten installieren. Dann hast du denke ich genug SATA Ports mit nahezu voller Bandbreite (die 5 extra Ports liefern mit dem JMB585 5x 350 MB/s).

 

[PHuV]

Wie hast du das denn getestet? Ein i7-4970k ist niemals zu schwach für ein Software RAID. So ein Synology NAS mit Mini Atom CPU hat auch keinen RAID-Controller verbaut und hat damit auch kein Problem.

Siehe Anfangsposts, ich habs doch ausprobiert. Auf der Konfiguration habe ich diverse Tests mit Windows 10 vorgenommen. Ich habe per SW Raid, Intel RST wie Microsoft Speicherpool gerade mal 6-15 MB/s bis 20-30 MB/s, wenn es gut läuft. Auf gleicher Plattform mit einem LSI (wenns mal läuft) und jetzt dem Adaptec, komme ich auf 300-450 MB/s, sogar über 10 Gbit LAN.

 

[mgutt]

Entweder hast du deine Platten über einen SATA Port Multiplier bzw über eine gesharte Bandbreite verbunden gehabt oder du hast schlicht nicht gewartet bis der Rebuild fertig war oder du hattest Windows auf dem RAID selbst installiert oder irgendwelche Storage Spaces Einstellungen passen nicht. Die Zahlen machen sonst keinen Sinn.

Ich würde eine TrueNAS oder OMV VM in Windows starten, SATA durchschleifen und schauen wie die Performance unter Linux ist. Einfach um zu ermitteln ob es an Windows oder der Hardware liegt. Wenn du den Controller bereits einsetzt, kannst du auch die Platten da verbinden und diesen durchschleifen. Du kannst darüber ja normalerweise auch ein Software RAID laufen lassen.

Hier gibt es mehrere Posts zu Einstellungstipps für einen User, der das selbe Problem wie du hat (allerdings nur mit 2019 und nicht mit 2016) und mehrere die von >200MB/s berichten. Das muss also schneller gehen.

 

[snaxilian]

Im Eingangspost lese ich aber nirgends, dass der i7 der Flaschenhals ist, da würde ich eher auf ein Softwareproblem im Windows-Umfeld tippen.
Ich bin auch mal so frei die generelle Aussage von @mgutt zum Software-Raid zu definieren/verfeinern, dass diese stabil, schnell und flexibel laufen unter Linux oder *BSD, sprich mdadm oder zfs als technischer Unterbau^^
Aus meiner beruflichen Erfahrung haben wir uns auch paar mal die Storage Spaces (Direct) angesehen und die Erfahrung zeigte, dass man leider intuitiv mehr falsch als richtig machen kann. Ebenso kann die Performance leiden wenn man Setups aufbauen will die abseits der von MS geplanten Wege liegen, z.B. weil man zur Evaluierung das ganze virtualisiert aufsetzt und die Storage Spaces weniger IOPS/Bandbreite lieferten als die vDisks einzeln aber die meisten der Probleme damals ließen sich beheben als wir die Doku gelesen haben
Das ist aber auch fast 3 Jahre her, mag sein, dass dies inzwischen besser geworden ist.

 

[worldoak]

-Komplettzitat entfernt-
Wie es richtig geht, ist hier nachzulesen.

Sorry ich will es wirklich nicht Böse aber du vergleichst Birnen mit Äpfeln.

Glaubst du wirklich das ein Controller der extra eine XOR CPU drin hat die auch gut gekühlt werden muss in irgend einer Form gleichzusetzen ist mit der CPU?! Die sich einen Abwürgen muss für diese Berechungen.
Dann haben ja die RZs wohl aus reinem Spaß und nicht wissen Controller für knapp 1000 Euro gekauft, weil die zu unfähig waren dies Nativ über ein HBA anzubinden?!

Und die Aussage im vorherigen Post das man sich lieber auf den 5 Euro Chip im Mainboard verlassen sollte statt einem Controller..... Also Sorry woher hast du deine Weißheiten?! Einen Controller nimmt man einfach auf das nächste System mit, dem ist scheiß egal ob er auf Linux lief oder Windows, er stellt dem Betriebsystem den Verbund einfach wieder zur Verfügung!!! Dein Mainboard Controller macht das nicht!

Allein einen Raid 5 Online zu erweitern, das können deine Softwaredinger nicht, dann verschieden RAIDs über den Storage etc.....

Bitte vergiss das gleich mal schnell.... was du als RAID bezeichnest ist ein ein JBOD Verbund.... da ist der Speed jeweile das vom Laufwerk und das hießt: Laufwerk weg, Daten weg.
Dann der Speed..... mit einem Controller steigert sich die Geschwindgkeit mit der Anzahl der Laufwerke... dies kannst du nicht mit einem SoftwareRaid gleichsetzen.
Dann der Zugriff auf das Laufwerk, wenn da mal mehr als 3 User zugreifen, hast du vieleicht mal 20 MB.....weil die Daten dann warscheinich von nur 1x Laufwerk gelesen werden. Bei einem Raid 5/6 liegen diese verteilt auf allen Laufwerken und jeder steuert nur seinen Teil bei.... das merken die anderen User nicht mal....

Bitte informiere dich mal was ein richtiges Raid ist und was ein richtiger Controller leistet.

 

[foo_1337]

Glaubst du wirklich das ein Controller der extra eine XOR CPU drin hat die auch gut gekühlt werden muss in irgend einer Form gleichzusetzen ist mit der CPU?! Die sich einen Abwürgen muss für diese Berechungen.
Dann haben ja die RZs wohl aus reinem Spaß und nicht wissen Controller für knapp 1000 Euro gekauft, weil die zu unfähig waren dies Nativ über ein HBA anzubinden?!

Sorry, ich will es auch nicht böse. Aber denkst du ernsthaft, dass die Hyperscaler klassisches Dinosaurierzeug einsetzen? Da benutzt keiner irgendwelche custom Karten oder ähnliches. Das ist Plain intel/amd geraffel und darunter läuft gluster, ceph, ndfs, hdfs etc.
Die modernen CPUs lachen darüber. BTW: Selbst Netapp macht das mit WAFL seit Jahren nicht anders. Bei Isilon das selbe, vmware vsan sowieso und bei viele vielen anderen enterprise storage anbietern auch.
Machen wir mal weiter.

Einen Controller nimmt man einfach auf das nächste System mit, dem ist scheiß egal ob er auf Linux lief oder Windows, er stellt dem Betriebsystem den Verbund einfach wieder zur Verfügung!!! Dein Mainboard Controller macht das nicht!

Den Mainboard Controller nimmt kein Mensch. Wer diesen nutzt, hat es nicht anders verdient. Auch wird dieser von non-windows systemen in den allermeisten fällen nicht unterstützt. Daher: Software defined.

Allein einen Raid 5 Online zu erweitern, das können deine Softwaredinger nicht, dann verschieden RAIDs über den Storage etc.....

Wie kommst du bitte auf diese Weisheit? Natürlich können die das. Seit Jahrzehnten.

Bitte vergiss das gleich mal schnell.... was du als RAID bezeichnest ist ein ein JBOD Verbund.... da ist der Speed jeweile das vom Laufwerk und das hießt: Laufwerk weg, Daten weg.

Wovon sprichst du bitte? Natürlich hat man da ein Raid. Nur weil es nicht die Hardware macht sondern die Software (im TrueNAS Fall zB zfs) ist es kein Raid?

Dann der Speed..... mit einem Controller steigert sich die Geschwindgkeit mit der Anzahl der Laufwerke... dies kannst du nicht mit einem SoftwareRaid gleichsetzen.

Das ist mit einem generischen (LSI) SAS Controller und einem software raid nichts anderes. Beim Raid Controller hingegen hast du genau null scale out. SPoF inklusive. Wenn das Ding ausgelastet ist, ist es vorbei. Einen zweiten, dritten und 20sten Server daneben zustellen um horizontal zu skalieren ist nicht möglich.

Bitte informiere dich mal was ein richtiges Raid ist und was ein richtiger Controller leistet.

Klassisches Eigentor deinerseits würde ich sagen. Informiere du dich hingegen mal über Themen wie copy on write und wieso das vielleicht "etwas" sinnvoller ist als ein oldschool raid controller.
Für Private Usage und die Bootdisk eines ESXi Hosts ist das ja ok, aber die Zeiten im Enterprise Umfeld sind mittlerweile vorbei. Zum Glück.

 

[worldoak]

-Komplettzitat entfernt-
Wie es richtig geht, ist hier nachzulesen.

Die Zukunft wird langfristig auf HCI setzen. Hier hat jeder Server seinen eigenen Storage. Diese Laufwerke im jeweiligen Server werden über die Software als Verbund aufgebaut. Hier werden nur HBAs benutzt einen Raid Controller nutzt man nicht mehr. Die benötigen aber auch andere NICs etc....
Wir werden längerfristig auf HCI wechseln da wir ein extrem schnelles Storage benötigen und dies derzeit nur in einer HCI Umgebung kostengünstig geboten werden kann.

Natürlich werden nicht alle HCI Storage nutzen, da man hier entsprechend immer jeder Server die gleichen Laufwerke und Anzahl benötigt..... das kostet eine Menge Asche... unser Storage ist vergleichweise klein zur Anzahl der MA.

 

[foo_1337]

Die Zukunft wird langfristig auf HCI setzen. Hier hat jeder Server seinen eigenen Storage. Diese Laufwerke im jeweiligen Server werden über die Software als Verbund aufgebaut. Hier werden nur HBAs benutzt einen Raid Controller nutzt man nicht mehr. Die benötigen aber auch andere NICs etc....

Die Zukunft? Wir benutzen seit 2014 HCI. Und andere NICs = 10Gbit/s. Auch seit Jahren standard.

extrem schnelles Storage

Ah. Oben war doch noch die Rede davon, dass die ultrakomplexen Xors die CPU überfordern würden. Plötzlich geht dann Erasure Coding doch in der CPU und ist dann auch noch extrem schnell?

 

[worldoak]

-Komplettzitat entfernt-
Wie es richtig geht, ist hier nachzulesen.

Wir reden hier von einem Software Raid vom Mainboard nicht ZFS oder Entprice Lösungen o.Ä!!!
Diese wird keiner von uns hier zu Hause aufbauen.

Die Aussage war das man hier besser aus das Mainboard setzen sollte statt Conroller!

Genauso vergleichst du auch birnen mit Äpfeln.... es geht hier um Server 2016/19 Storage den man sich mit ein paar Platten zusammenlicken kann! Das ist was ganz anderes als du oben aufgeführt hast!

Dies kann man eben nicht mit einem 5 Euro Chip vom Mainbaord vergleichen.

Das die Enterprice Lösung genauso Onlineweiterung haben, ist wohl jedem klar, aber denkst du einer hier aus dem Forum nutzt diese!!! Hier geht es um eine bezahlbare Lösung und die heißt SoftwareRaid vom MainboardRaid oder Windows 2016/19 Storage Array gegen einen Controller.....

 

[foo_1337]

Wir reden hier von einem Software Raid vom Mainboard nicht ZFS oder Entprice Lösungen o.Ä!!!
Diese wird keiner von uns hier zu Hause aufbauen.

Hier hat niemand gesagt, dass der Mainboard Crap verwendet werden soll. Wie kommst du darauf, dass keiner zfs zuhause betreiben würde? Das machen sehr viele, u.A. mit Free- oder TrueNAS.

Die Aussage war das man hier besser aus das Mainboard setzen sollte statt Conroller!

Die Aussage war, dass man Software Raid nutzen soll und das impliziert nicht automatisch den Mainboard Crap. Das war deine Interpretation.

es geht hier um Server 2016/19 Storage den man sich mit ein paar Platten zusammenlicken kann! Das ist was ganz anderes als du oben aufgeführt hast!

Es geht um Storage Spaces, welches übrigens im u.A. Zusammenhang mit Hyper-V sehr erfolgreich im Enterprise Umfeld eingesetzt wird.

Das die Enterprice Lösung genauso Onlineweiterung haben, ist wohl jedem klar, aber denkst du einer hier aus dem Forum nutzt diese!!!

Storage Spaces hat eine Onlineerweiterung und selbst das einfachste Linux dmraid hat eine.

 

[mgutt]

Wir reden hier von einem Software Raid vom Mainboard nicht ZFS oder Entprice Lösungen o.Ä!!!
Diese wird keiner von uns hier zu Hause aufbauen.

Ich denke mal die meisten nutzen Synology (BTRFS), TrueNAS (ZFS) oder Unraid (BTRS) also fast alle CoW Dateisysteme und da dümpelt keiner mit 20 MB/s herum. Witzig ist auch, dass du ZFS als Enterprise abstempelst, aber privat mit einem HW RAID arbeiten möchtest, weil das ja auch im Enterprise Bereich angeblich Standard ist. Komische Argumentation. Tatsächlich dürfte ein privater Windows Server wohl der seltenste Fall überhaupt sein und HW RAID erst recht.

Eine CPU ist auf keinen Fall zu schwach für simple XOR Operationen, aber natürlich ist ein hardwarebeschleunigter Chip effizienter. Aus dem Grund gibt es ja Intel RSTe im Enterprise Bereich. Lies einfach mal das Werbeprospekt von Intel zu Intel RSTe (aus dem Jahr 2012!):

RAID running at the speed of Intel® Xeon® processors
How things have changed! 10 years ago wetold you that software RAID (redundant array of independent disks) was underpowered and incapable of providing the performance required to service enterprise RAID applications. Back then, software RAID was just not a viable solution. But that has begun to change – in a big way. With more and
faster CPU cores available, RAID can run at speeds matching solutions that sell for hundreds of dollars more. Since the processor load is very low — in some cases less than five percent of the CPU — software can now deliver a full-performing RAID subsystem. Yes, things have changed. Software RAID solutions running on the Intel® Intel® Xeon® Processor E5-2600/2400/1600/1400/4600 with the Intel® C600 series chipset (Romley platform) now equals or outperforms hardware RAID

Ich könnte mir übrigens vorstellen, dass du schlicht die falsche Cluster und Stripe Size bei deinem Test verwendet hast. Hier hat mal jemand alle Einstellungen ausprobiert. Interessant ist auch, dass ein RAID5 aus 6 Platten grundsätzlich langsam war. Da Consumer CPUs mit Intel RST verwendet wurden und nicht Xeons mit Intel RSTe, erscheint mir diese Limitierung durch Intel aber logisch.

 

[worldoak]

Die Zukunft? Wir benutzen seit 2014 HCI. Und andere NICs = 10Gbit/s. Auch seit Jahren standard.

Wir reden hier nicht nur von 10 Gbit wir reden hier über "Converged Ethernet" etc. da geht man u.a. mit 10/25 Gbit rein. Welcher "Normalo" hat das zu Hause stehen?!

Die Aussage war, dass man Software Raid nutzen soll und das impliziert nicht automatisch den Mainboard Crap. Das war deine Interpretation.

Du solltest vieleicht mal ein paar Beiträge drüber lesen bevor du dir hier freien Lauf gibst.
Zu einem habe ich nur einen Vergleich zu SoftwareRaid im HomeUmfeld zu Controller die man sich halbwegs leisten kann gemacht. Und welche Vorteile ein User daraus hat.
Du springst gleich ein und erzählst der Welt das es sehr wohl im Enterprice Umfeld eingesetzt wird. Glaubst du das wissen wir hier nicht?
Dies hat doch keiner wiederlegen wollen. Hier geht es überhaupt nicht drum ob man dies oder das für viel Geld schneller hinbekommt!

Hier hat niemand gesagt, dass der Mainboard Crap verwendet werden soll. Wie kommst du darauf, dass keiner zfs zuhause betreiben würde? Das machen sehr viele, u.A. mit Free- oder TrueNAS.

Und hast du jemanden hier aus diesem Beitrag?! Geht es hier überhaup darum?

Es ist so als ob wir hier über Oldtimer reden und welche Autos man sich als "normalo" kaufen könnte und dann sagst du....alles blödsin die F1, die haben Autos die sind schneller und leichter und und......

foo_1337:
Es geht um Storage Spaces, welches übrigens im u.A. Zusammenhang mit Hyper-V sehr erfolgreich im Enterprise Umfeld eingesetzt wird.

Nein:
Habt Ihr eine SATA HDD in eurem HCI?!
Hättest Ihr ein träges Storage gewollt hättet Ihr euch kein HCI hingestellt!
Niemand steckt eine 08/15 HDD mit ein und bindet diese in sein Hyper-V ein!
Du vergleichst wieder Enterprice mit Consumer Hardware!!!

Zum Thema schnelles Storage:
Wenn wir von schnellen Datenbanken reden dann kommt der Speed erst an 2 Stelle. Die Raktionszeit ist an erster Stelle. Und da hapert es bei den meisten Unternehmen die große Datenbanken haben! Ihr habt bestimmt nicht ohne Grund ein HCI.

 

[foo_1337]

Wir reden hier nicht nur von 10 Gbit wir reden hier über "Converged Ethernet" etc. da geht man u.a. mit 10/25 Gbit rein. Welcher "Normalo" hat das zu Hause stehen?!

Es reicht stinknormales 10GbE aus. Nutanix z.B. gleicht dieses "Problem" durch data locality aus. Aber auch vSan z.B. benötigt kein coverged ethernet.

Zu einem habe ich nur einen Vergleich zu SoftwareRaid im HomeUmfeld zu Controller die man sich halbwegs leisten kann gemacht. Und welche Vorteile ein User daraus hat.
Du springst gleich ein und erzählst der Welt das es sehr wohl im Enterprice Umfeld eingesetzt wird. Glaubst du das wissen wir hier nicht?
Dies hat doch keiner wiederlegen wollen. Hier geht es überhaupt nicht drum ob man dies oder das für viel Geld schneller hinbekommt!

Zur Erinnerung: Du bist hier eingestiegen mit dem Argument, dass Xor für eine CPU zuviel sei. Ich hab dies wiederlegt und diverse dafür genannt, u.A. eben im Enteprise Umfeld.

Habt Ihr eine SATA HDD in eurem HCI?!

Nicht eine, sondern hunderte. Dafür gibt es tiering.

Niemand steckt eine 08/15 HDD mit ein und bindet diese in sein Hyper-V ein!
Du vergleichst wieder Enterprice mit Consumer Hardware!!!

Willkommen im Business. Du hast vermutlich falsche vorstellungen. Natürlich wird das gemacht. Es gibt "da draußen" unzählige Storage Spaces Installationen. Genau so wie es im vmware umfeld vSan Installationen noch und nöcher gibt.
Darum geht es ja auch: Anstatt überteuerte Consumerhardware zu kaufen: Built to fail. Die Software ist alles was zählt.

Es ist so als ob wir hier über Oldtimer reden und welche Autos man sich als "normalo" kaufen könnte und dann sagst du....alles blödsin die F1, die haben Autos die sind schneller und leichter und und......

Du verstehst es nicht. Eine Linux oder FreeBSD Kiste mit dmraid/btrfs oder zfs ist günstiger als wenn ich mir noch einen HW Raid Controller dazu kaufen würde. Der Raid controller ist unnütz, rausgeschmissenes Geld und im Falle von zfs/btrfs sogar kontraproduktiv.

 

[worldoak]

Ich könnte mir übrigens vorstellen, dass du schlicht die falsche Cluster und Stripe Size bei deinem Test verwendet hast. Hier hat mal jemand alle Einstellungen ausprobiert. Interessant ist auch, dass ein RAID5 aus 6 Platten grundsätzlich langsam war. Da Consumer CPUs mit Intel RST verwendet wurden und nicht Xeons mit Intel RSTe, erscheint mir diese Limitierung durch Intel aber logisch.

Ich habe gar keine Tests hier gepostet!
Du verwechselst mich sicher mit dem Vorposter!