Selbstbau neues NAS - welcher RAID Controller?

[PHuV]

Ich verwende aktuell ein LSI Reihe MegaRAID 9271-8i Controller in meinem Server mit 8x4 TB HDDs Red von WD über Raid5. Es wird mir zu klein, und ich plane ein separates NAS über ein normales Windows 10 Pro. Die NAS-Server, die in meinen Augen für mich tauglich sind (QNAP, Synology, Thecus, Asustek etc.), liegen mit 10Gbit LAN bei 1200 € aufwärts (dafür wältze ich schon seit Monaten zig Tests und Reviews). Daher werde ich einen neuen PC als NAS ausbauen, und hier eventuell ältere HW wie ein i7-4970k mit einen Asus XG-C100C verbaut, was dann performancetechnisch gut funktionieren sollte.

Geplant werden 12 TB HDDs von WD, erst mal Start mit 3 Stück, die hier unverbaut rumliegen, bis zum Vollausbau auf 8 Stück, wieder über Raid5. Und ja, ich weiß, NAS ersetzt kein Backup, dafür habe ich hier zig 8-12 TB HDDs extra rumliegen, mit denen ich entsprechend sichere.

Aufgrund der Treiberprobleme bei Windows Wechsel auf 2004, siehe
https://www.computerbase.de/forum/t...-lsi-avago-broadcom-raid-controllern.1959817/
möchte ich gerne auf einen aktuellen Raid-Controller wechseln. Die 92xx und 93xx-Reihe gibts ja haufenweise günstig bei Ebay, jedoch schrecke ich eben wegen dem Treiber-Problem hier zurück. Ein Software-Raid kommt bei mir nicht in Frage, meine Tests mit einem über INTEL RST über Z77 lieferten katastrophale Werte, weshalb ich dann zum LSI Controller griff. An sich bin ich mit der bisherigen LSI/Avago/Broadcom Lösung sehr zufrieden, weil er einfach performancetechnisch hervorragend ist, und selbst bei Ausfällen immer hervorragend recovert.

Controller

Ich brauche einen Controller, Raid5/6, mit eigenem Cache (1-2 GB) und 8 internen Anschlüssen. SAS würde ich wie bei der oberen Lösung über Adapter nach SATA verwenden. Wenn ich zusätzlich NVMes hier als Cache einfügen könnte, wäre das super.

Ins Auge gefaßt habe ich Broadcom

• 9440-8i
• 9460-8i

Wenn ich das Datenblatt richtig deute, kann das günstigere 9440 aber kein Raid5 oder 6.
https://docs.broadcom.com/doc/BC00-0448EN

Es gibt zig andere Controller von 10Gtek und Co. und verschiedene Nachbauten von Dell IBM..., die aber anscheinend alle nur die Chips von LSI verwenden, und damit wieder deren Treibern notwendig sind.

Ich hatte für den LSI damals 500 € bezahlt, was ich ok finde. Aber 700 € allein nur für den Raid-Controller wäre mir doch etwas heftig. Daher wäre ich für günstigere Alternativen dankbar.

Tri-Band mit NVMes

Hat jemand eigentlich Erfahrung mit sowas? An sich würde ich sowas gerne planen, 2 NVMes als Cache und 8 HDDs für den Storage bzw. Datenspeicher.
https://www.thomas-krenn.com/de/tkm...adcom_9400_Tri-Mode_Controller_TK_Webinar.pdf

 

[Tornhoof]

Das * hast du abgeschnitten auf der linken Seite, da stand:
*Not applicable to the 9440-8i adapter

Ich interpretiere das als, Raid 6, 60 und JBOD geht nicht mit dem 9440er, nur dort sind die Sternchen.

Ergänzung (26. November 2020)

Das Hauptproblem am 9440-8i ist eher, dass das Ding so gar keinen Cache Onboard hat, allein deswegen würde ich mir das Ding sparen, aber theoretisch bräuchtest bei den anderen ein Battery Backup Modul und die sind ziemlich teuer.

 

[PHuV]

Tatsache, meine Augen sind zu alt, habe ich glatt übersehen. Gut, dann wäre nur noch die Frage nach dem Cache. Beim meinem bisherigen Controller sind ja 1 GB verbaut.

 

[snaxilian]

Was spricht gegen $Linux oder ein openmediavault und Software-Raid mit mdadm? Auf dem Raid könntest dann LVM verwenden und als SSD-Cache bcache oder lvmcache o.ä.
Bei openmediavault müsste man gucken ob und wie dieses mit bcache/lvmcache/etc klar kommt...
In den Fällen würden reine HBAs ausreichen. Windows hat zwar seine Storage Spaces aber die sind afaik ähnlich eingeschränkt in der Erweiterbarkeit wie zfs und alle Features erst beim Windows Server dabei.
Eine Syno 1817 mit 2x 10G bekommst ohne Platten für 890€ als weitere Option.

Meinst du denn, du profitierst wirklich von einem Cache im Controller? Also so viel (random) IOPS? Wenn ich die verlinkten Seiten korrekt verstehe kannst du zwar parallel NVMe Drives und SATA/SAS Drives betreiben aber die NVMe sind dann nicht als riesiger Cache für das oder die Volumes nutzbar sondern du könntest beispielsweise aus 2x NVMe ein Raid 1 machen für das OS und aus den restlichen HDDs ein Raid 5 als Datengrab und brauchst dafür eben nicht zwei unterschiedliche Controller.

 

[Tornhoof]

Meinst du denn, du profitierst wirklich von einem Cache im Controller

Da ist eine gute Frage, rein theoretisch dürfte der Cache eine Größenordnung schneller sein als sogar ein NVMe Drive Cache. Selbst in meinem uralten Areca Controller von 2008 waren 512 MB Cache verbaut.

Ich würde mir persönlich den HW Controller auch sparen, ich hab nach fast zwei Jahrzehnten an Raid 5 Servern letztes Jahr mal 6 Monate mitprotokolliert welche Dateien ich von den damals 16 TB wirklich genutzt hatte, das waren dann nur noch ~1 TB, die habe ich dann auf zwei 2TB SSDs mit RAID 1 gepackt und den Rest auf nen externes Gehäuse mit zwei dicken HDDs in Raid 1 gepackt.
Verbraucht weniger Strom, ist leiser und ich hab weniger Ärger.
Die letzten 12 Monate habe ich das externe Gehäuse nicht einmal angeschlossen

 

[PHuV]

Was spricht gegen $Linux oder ein openmediavault und Software-Raid mit mdadm? Auf dem Raid könntest dann LVM verwenden und als SSD-Cache bcache oder lvmcache o.ä.

Beruflich ja, privat brauche ich aber nur NTFS und Netzwerkfreigaben. Daher würde ich hier bei Windows bleiben, auch wenns etwas überdimensioniert ist.

Eine Syno 1817 mit 2x 10G bekommst ohne Platten für 890€ als weitere Option.

Ja, sowas hatte ich schon in Erwägung gezogen.

Meinst du denn, du profitierst wirklich von einem Cache im Controller? Also so viel (random) IOPS?

Gut, hier vielleicht nicht, aber in der Firma im NAS macht sich das schon bemerktbar. Ist eher auch nur ein Placebo und Gag für mich zu Hause als Spielerei.

Ich würde mir persönlich den HW Controller auch sparen

Na ja, ich kopiere viel im Netz bei mir rum, Sicherungen etc. Daß macht auf dem LSI definitiv mehr Freude, weil ich da aktuell eben 27 TB habe, und die Geschwindigkeit mit üblichen HDDs bei 300-450 MB/s über 10 Gbit/s LAN wirklich sehr gut ist. Klar, gäbs eine 25-50 TB SSD für einen angenehmen Preis, würde ich das aktuell bevorzugen. Aktuell gibt eine SSD ExaDrive DC50 (12.500 US-Dollar, rund 11.060 Euro), das gegen 4x12 TB für ca 220 € pro Stück = 880 € ist doch schon eine andere Hausnummer.

 

[snaxilian]

üblichen HDDs bei 300-450 MB/s über 10 Gbit/s LAN

Acht HDDs mit ZFS im raidz2 (vergleichbar mit Raid 6), keine SSDs als Read- oder Write-Cache und beim sequenziellen Write erreiche ich 600-800 MB/s. Wofür genau braucht man da jetzt einen Raidcontroller? Hör auf dir selbst in die Tasche zu lügen
Was man beruflich braucht oder hat, hat idR sehr wenig bis gar nix mit dem zu tun was man sich privat hinstellen kann sofern die Firma nicht ne kleine Bude mit unter 10 Mitarbeitern ist. Natürlich hat man dann da andere Anforderungen, die HW-Raidcontroller sinnvoll oder notwendig machen.

Bei den Controllern würde ich ernsthaft recherchieren oder Händler/Hersteller fragen ob die NVMe Drives als Cache genutzt werden können oder einfach nur als eigenständiges Raid neben den SATA/SAS Drives. Wenn ersteres gut, wenn letzteres sehe ich keinen wirklichen Grund bzw. würde es mal mit den Storage Spaces versuchen. Je nachdem wo man sucht haben die auch bisschen mehr oder mindestens vergleichbare Leistung wie so mancher HW-Controller...

 

[PHuV]

Acht HDDs mit ZFS im raidz2 (vergleichbar mit Raid 6), keine SSDs als Read- oder Write-Cache und beim sequenziellen Write erreiche ich 600-800 MB/s. Wofür genau braucht man da jetzt einen Raidcontroller? Hör auf dir selbst in die Tasche zu lügen

Womit genau? Und wie gesagt, ich hatte selbst mit verschiedenen Raids unter Windows probiert. Alle haben gnadenlos versagt, also wo lüge ich mir in die Tasche?

 

[snaxilian]

Dass du privat 'nen HW-Controller benötigst wobei du ja auch schon geschrieben hast, dass es mehr Spielerei ist.

Die 600-800 MB/s sind von einem ssd-only Raidz1 auf das hdd-only Raidz2 beim sequenziellen kopieren von Backups oder überwiegend größeren Daten, entweder direkt auf dem System per simplem mv Befehl oder von einem beliebigen Client per Server-Side Copy over SMB.
Die SSDs hängen alle an einem LSI SAS 3008 im IT-Mode, die HDDs teilweise am LSI, teilweise an den Sata-3 Ports des Intel C232 Chipsatzes.

 

[PHuV]

Mach das bitte mal unter einem Software-Raid (egal ob 0 oder 5) mit einem Intel-Chipsatz und über RST, und dann wirst Du sehen, wovon ich rede. Die Performance bricht hier dramatisch auf 6-15 MB/s rein, sobald Du Dateien von einer beispielsweisen internen SSD/HDD zum Raid kopierst. Ich hab die Tests doch alle so durch, und Softwareraid hat hier total versagt. Gut, das ist nun schon wieder 7 Jahre her, aber ich glaube nicht, daß sich mit den neuen Chipsätzen groß ändern wird.

 

[snaxilian]

Ich habe die Vermutung, wir reden aneinander vorbei. Ich beziehe mich hierbei auf die bei der Wikipedia genannten Definitionen: https://en.wikipedia.org/wiki/RAID#Implementations
Die CPU-Chipsatz/RST/"Fake-Raid"/Firmware- bzw. Treiberbasierten Lösungen sind Quark, da bin ich voll und ganz bei dir.
Raid-Lösungen aus Windows heraus bin ich auch kein Freund von, zumindest im non-Server Bereich. Die Storage Spaces Direct unter Windows Server sind nett wenn man eine reine Windows-Welt hat und sich mehr oder weniger strikt an die Hardware-Vorgaben hält aber das ist dann ja auch mehr Software-Raid weil es nur noch reine HBAs nutzt.
Software-Raid sind für meine Begrifflichkeiten so etwas wie mdadm, zfs, btrfs und in Teilen lvm und je nach Anwendungsfall leisten diese problemlos vergleichbare Ergebnisse wie ein klassisches Hardware-Raid.

 

[PHuV]

Ich habe die Vermutung, wir reden aneinander vorbei. Ich beziehe mich hierbei auf die bei der Wikipedia genannten Definitionen: https://en.wikipedia.org/wiki/RAID#Implementations
Die CPU-Chipsatz/RST/"Fake-Raid"/Firmware- bzw. Treiberbasierten Lösungen sind Quark, da bin ich voll und ganz bei dir.

Genau das meinte ich ja. Und unter Windows ist ja jeder gescheite HW-Raid-Controller besser als dieser Softwaremurks.

Raid-Lösungen aus Windows heraus bin ich auch kein Freund von, zumindest im non-Server Bereich. Die Storage Spaces Direct unter Windows Server sind nett wenn man eine reine Windows-Welt hat und sich mehr oder weniger strikt an die Hardware-Vorgaben hält aber das ist dann ja auch mehr Software-Raid weil es nur noch reine HBAs nutzt.
Software-Raid sind für meine Begrifflichkeiten so etwas wie mdadm, zfs, btrfs und in Teilen lvm und je nach Anwendungsfall leisten diese problemlos vergleichbare Ergebnisse wie ein klassisches Hardware-Raid.

Ich hab ja jetzt HW über, und werde vermutlich dann einen alten i7-4790k als NAS CPU missbrauchen. Da kann ich ja auch mal mit Deinem vorgeschlagenen Linux Server und einen Software Raid mit zfs testen. Mache ich halt das gleiche wie tagtäglich im Job, mit Linux rumfummeln.

 

[Rickmer]

Aufgrund der Treiberprobleme bei Windows Wechsel auf 2004, siehe

Um mal von einer etwas anderen Richtung ans Thema zu gehen - hast du mal überlegt, Windows 10 LTSC zu installieren? Dann hast du kein Ärger mit Feature-Updates und extended Support bis 2029.

(Oder komplett auf Windows Server umsteigen)

 

[PHuV]

Für ein Selbstbaunas mit knapp 400 € ein happiger Preis alleine für die Lizenz.

 

[snaxilian]

Bevor du wichtige Daten auf das ZFS packst empfehle ich die Lektüre des ZFS primer. Was Integrität und Stabilität betrifft ist ZFS sehr sinnvoll, auf der anderen Seite der Medaille ist es dafür nicht so flexibel wie manch andere Lösung, zumindest Stand heute. In dem Bereich ist gerade viel Entwicklung aktiv aber solange da nix als stabil erschienen ist würde ich persönlich von der Verwendung absehen. Man will mit seinen Daten ja seine Ruhe haben und nicht herum experimentieren^^

 

[PHuV]

Update:
Ich habe nun einen neuen Server mit den oben genannten Komponenten plus denen hier aufgebaut.

• Fractal Design Define R5 Gehäuse in Weiß
• i7-4970k
• 16 GB RAM
• Asus MAXIMUS VII RANGER Mainboard mit Z97 Chipsatz
• Asus XG-C100C
• 6x12 TB WD Festplatten (Raid5 54,57 TB netto)
• Avago/Broadcom 9440-8i Raid Controller Adaptec 8805 Raid Controller
• Windows 10 Pro 20H2

Unabhängig davon, daß der Avago/Broadcom 9440-8i Controller richtig üble Probleme macht (kein Bios Boot mit Einstiegsmöglichkeit, https://www.computerbase.de/forum/t...-10-sagt-kann-nicht-gestartet-werden.1828527/) und über 12 Stunden Tests kostete, bis das endlich mal lief, ist die Performance wirklich enttäuschend. Auf meinem bisherigen Server mit dem alter Controller LSI 9271-8i auf einem Z170 mit einem i7-6700k schafft mit 8x4 TB WD Red bei großen Dateien ohne Probleme 400-450 MByte/s über das 10 Gbit LAN, fast so schnell wie SSD zu SSD. Der hier bricht nach ein paar Sekunden auf 20-30 MByte/s übel ein. Selbst das Intel Raid über den Z97 Chipsatz mit 4 HDDs lieferte immerhin 100-110 MByte/s.

Ich mache gerade mal Tests mit Raid0 und einzelnen Platten, aber generell ist die Performance hier wirklich enttäuschend. So würde ich jetzt wirklich diese Karte sofort zurücksenden. Mal sehen, ob ich mich vielleicht noch zu einem kurzen Test mit Linux durchringen kann, aber die Motivation hier noch ewig lang rumzufummeln geht eher gegen 0.

😕☹️😖 Und ich hatte mir das so schön ausgemalt, ich bin frustriert.

Update:

Hier mal meine Ergebnisse übersichtlicher

Avago/Broadcom 9440-8i MegaRaid Controller

• Raid5 mit 6x12 TB HDD WD - 20-30 MByte/s (Disk Cache aus) schreibend, lesend immerhin 340-400 MByte/s
• Raid5 mit 6x12 TB HDD WD - 100-140 MByte/s (Disk Cache ein)
• Raid0 mit 2x12 TB HDD WD - 90 MByte/s
• Raid0 mit 1x12 TB HDD WD - 77-80 MByte/s

Intel RST

• Raid5 mit 4x12 TB HDD WD - 100-110 MByte/s

LSI 9271-8i MegaRaid Controller

• Raid5 mit 8x4 TB HDD WD - 400-450 MByte/s (Disk Cache aus!), lesend wie schreibend.

Selbst nur ein Laufwerk bietet die erwartete HDD Performance von ca 80 MByte/s.

 

[foo_1337]

Genau das meinte ich ja. Und unter Windows ist ja jeder gescheite HW-Raid-Controller besser als dieser Softwaremurks.

Ne, Storage Spaces ist hier ne positive Ausnahme. Das hat sogar mich, als jemanden der Windows im Serverbereich eher skeptisch ggü. steht, überzeugt Wir hatten das (Storage Spaces Direct) testweise als Hyper-V Backend ggü. VSAN gebencht (beides mal pure ssd) und weil es so überzeugt hat auch ein Jahr für die Windows Admin Kollegen als Hyper-V Spielzeug weiter in Nutzung. Das war natürlich nicht mit Windows 10, von daher müsste man mal schauen, wie unterschiedlich hier die Implementation ist.

 

[PHuV]

@foo_1337, Du A..., 😄 anstelle totmüde ins Bett zu gehen, hast Du nun den Spieltrieb in mir geweckt, und ich teste gerade die "Speicherplätze" Funktion. Danke für den Tipp. Es performt tatsächlich etwas besser mit dem Controller und Parität als direkt über den Controller (30-60 MByte/s zu 20-30 MByte/s). Und über den Chipsatz direkt mit 4x12 TB ist es ungefähr gleich, geht aber auch mal bis 80 Mbyte/s hoch, sprich, performt sogar besser als der externe Raid Controller.

Hm, dann muß ich hier wirklich mein Konzept nochmal überarbeiten. Dann könnte ich wirklich den vergleichsweise teuren 9440-8i Controller gegen einen günstigen SATA Controller wie MZHOU PCIe SATA Karte 6 Port austauschen.

 

[worldoak]

Ich setze schon seit Jahren auf Adaptec. In in der Server Umgebung gibt es immer Treiber und die sind derzeit so gübstig auf ebay zu bekommen...

Die haben Top Speed und sind untereinander kompatibel so das du jederzeit auf das nächste Model wechseln kannst.
Seit der 6er Reihe können die auch UEFI.
Ein 8805 kostet bei Ebay derzeit ca. 140 Euro.

 

[PHuV]

Die haben Top Speed und sind untereinander kompatibel so das du jederzeit auf das nächste Model wechseln kannst.
Seit der 6er Reihe können die auch UEFI.

Das ist ein guter Tipp, Adaptec hatte ich gar nicht mehr auf den Schirm, hatte ich aber früher immer zu SCSI Zeiten.

Ein 8805 kostet bei Ebay derzeit ca. 140 Euro.

Wo denn? Aus China vielleicht. Überall liegen sie neu bei ca. 459 €.