Raid-Controller gesucht

[rchr]

Zu meinen Fünden:

Ohne jetzt 2 oder 3 Dutzend Threads aus anderen Foren hier zu verlinken:
- LSI sowie die entsprechend umgelabelten Intel (Intel verkauft LSI-Controller unter eigenem Namen) wurde durch die Bank hindurch empfohlen. Welcher LSI-Controller genau hängt von den Anforderungen ab (welches RAID-Level, wie viele Anschlüsse, 12 oder 6Gb/s, etc.). Sehr häufig wurde allerdings die 9260-Serie empfohlen, die es in allen möglichen Konfigurationen gibt. Für mehr als 16 Anschlüsse dann die 9280-Serie, wobei es sich wohl um den gleichen Controller handelt, nur halt mit noch mehr Anschlüssen.
Der Hersteller (Avago) ist auch meiner Meinung nach sehr vorbildlich, was den Support betrifft. Man findet selbst für sehr alte Controller sehr aktuelle Treiber. Für alle halbwegs aktuellen Serien gibt es Treiber für so ziemlich alles, was man an Betriebssystemen findet (zumindest alles, was ich kenne). Da habe ich bei anderen Herstellern schon ganz anderes gesehen. Und: LSI (insb. die 9260-Serie) ist so stark verbreitet, dass man im Internet Hunderte von gebrauchten Controllern findet (selbst von sehr alten Exemplaren). Oder man nimmt eben das passende Intel-Pendant, das man ebenso häufig findet. Auf alle aktuellen Controller bietet Avago 3 Jahre Garantie, d.h. so lange müssen auch Ersatzteile zur Verfügung stehen. Meiner Erfahrung nach (ich hatte wegen eines ca. 5 Jahre alten Controllers mal angefragt) deutlich länger. Und zuletzt gilt halt immer noch: Backup, Backup und nochmals Backup.
- Ebenfalls häufig Erwähnung fanden Dell PERC 5/i sowie 6/i und HP Smart Array P410, P440 und P840.
- Teilweise wurde IBM sowie Areca (verschiedenste Typen) genannt, ohne auf Widerspruch zu stossen. Nur die Preispolitik (man muss sich teilweise den Controller, die Management-Software und den Lizenzschlüssel zum Freischalten der RAID-Levels separat kaufen) ist wohl gewöhnungsbedürftig.
- Einig waren sich die Leute fast überall, dass man keinen Adaptec kaufen sollte (wurde jedenfalls häufig davon abgeraten).

Ich finde, um ein für die Aufgabe geeignetes System zu nennen, muss man die Aufgaben kennen, oder?
Ich habe die Aufgaben nirgends ausgeführt (absichtlich nicht, weil ich genau diese Diskussion vermeiden wollte) und danach gefragt wurde auch nicht.

Windows Server ist nicht zu diskutieren. Eine Alternative besteht nicht. Es gibt Anwendungen, die werden von einem Monopolisten hergestellt und die laufen genau auf einem System. Entweder akzeptiert man das, oder man kann eine neue Berufsausbildung machen...

Somit würde als höchstens noch die Virtualisierung eines Windows-Servers als Alternative bleiben.
Damit habe ich keine Erfahrung. Funktioniert das wirklich so gut? Mit jeder noch so exotischen Hardware, für die es nur proprietäre Treiber gibt? Und wenn ja: warum laufen denn z.B. in der Industrie noch so viele alte Maschinen (Roboter, CNC, etc.) an einem uralten Rechner mit Win95 und ISA-Steuerungskarte, wenn man das alles so gut virtualisieren kann?

Wieso meinst du, der Maximalausbau sei erreicht?
Diese Aussage kann ich nicht ganz nachvollziehen.
Zu wenig Ram? Mehr einstecken (noch genügend Slots vorhanden)!
Zu wenig Plattenplatz? Bestehende durch grössere Platten ersetzen oder ein DAS anschliessen. PCIe-Anschlüsse zum Einbau weiterer Controller sind genügend vorhanden.
Zu wenig Rechenleistung? CPU Upgraden?
Oder waruf bezog sich die Aussage?

Gruss

Christoph

 

[Holt]

Und bestellt habe ich soeben einen LSI 9280-16i4e, bei dem die Verpackung einmal geöffnet wurde (das Siegel des Antistatik-Beutels aber nach Foto noch intakt ist) mit 2 Jahren Garantie vom Händler für 1/3 des günstigsten Preises bei Geizhals...

Deine Vergleiche sind daneben, denn der LSI MegaRAID SAS 9280-16i4e bulk, PCIe 2.0 x8 (LSI00210) ab € 889,-- kostet und dafür kann sich auch schon einen anständigen Server selbst bauen. Du hast ihn nun angeblich neu mit nur einmal geöffneter Verpackung für ein Drittel bekommen, abr auch das ist noch mehr als mancher Microserver wie z.B. der HP ProLiant MicroServer Gen8, Celeron G1610T, 4GB RAM (819185-421) ab € 176,50. Auch wenn dort nun nur 4 3.5" HDD rein passen, hätte es sein können, dass da sowieso Platten gewesen wären und mit 4 Ironwolf 10TB HDDs ab je 440€ dann auch im RAID 5 30TB Netto realisieren können und ein RAID 5 ist bei 4 10TB mit einer UBER von 1:10^15 mit 77% Chance auf erfolgreiches Rebuild durchaus vertretbar.

Bei den Preisen solcher RAID Controller ist der Vergleich Dichtung des Wasserhahns zum Preis des Hauses einfach kompletter Blödsinn, aber mach mal, viel Erfolg.

 

[rchr]

Irgendwie komme ich jetzt intellektuell nicht mehr nach.
Ich hätte besser einen HP MicroServer und 4x10 TB für total knapp 2000.- kaufen sollen, weil das günstiger ist als ein Controller für 300.- und man sich für die 900.- (was der Controller normalerweise kostet) einen Server bauen kann? Oder wie?

Gruss

Christoph

PS:
Eigentlich hatte ich nur nach einem guten RAID-Controller gefragt und die Antwort schliesslich andernorts gefunden.
Aber wenigstens gibt es jetzt hier einen Thread, in dem ein paar gute Controller konkret aufgelistet sind.
Das habe ich hier nämlich auch nach langem Suchen nicht gefunden.

Und sobald alles installiert ist, kommen dann auch noch ein paar Ergänzungen rein, so dass der Nächste es leichter hat

 

[Piktogramm]

Du haust viel Dinge durcheinander .

CNC und Industriesteuerungen sind schon wieder ein weit hergeholter Vergleich. Da gibt es ein System welches für Hardware hergerichtet wurde und erfüllt seine Funktion. Die Anforderungen an die Software und Hardware ändern sich über das Maschinenleben nicht. Die Änderung der Anforderung scheint aber gerade die Grundlage des Threads zu sein.
Was bei diesen Legacysystem jedoch häufiger auftaucht ist, dass Software zum erstellen von Programmen für die Maschine nur auf irgendwelchen historischen Betriebssystemen läuft. In so einem Fall lässt man dann halt irgendwo ne VM rennen, die die Software samt Win 3.11 Umgebung bereitstellt, sodass man die hoffnungslos veraltete Software benutzen kann um die alten (aber gut funktionierenden) Maschinen nutzen zu können anstatt eine neue Maschine zu kaufen. Das Ganze jedoch ohne groß Hardware an den Gast durchzureichen.

Das durchreichen von alter Hardware aus dem embeddedbereich über Schnittstellen zu deren Entwicklungszeitraum Virtualisierung als Wort nicht existent war samt Protokolle zu der keiner Dokumentation besteht ist hingegen die Hölle. Da kauft man dann fix mal eher die ganze Maschine neu weil es wirtschaftlicher ist.


In deinem Falle wäre das auch eher der zweite Fall. Der Host würde die gesamte Hardware verwalten inkl. Raid und Co. während der Gast einfach nur das Volume als abstrahiertes Gerät und/oder Bereitstellung via Netzwerk sieht. Das wäre insofern von Vorteil, da I/O ein Bereich ist, wo im Vergleich Linux meines Wissens deutlich besser dasteht als Windows. Zudem erlaubt die Abstraktion weg von der Hardware, dass man den Windowsserver samt Abstraktionsschicht vergleichsweise flexibel handhaben kann. Umzug zwischen div. Hardware bekäme Windows ja nicht mehr mit, weil Win ja in der VM läuft. Wie aufwendig/simpel das wird ist von Fall zu Fall stark unterschiedlich (also keinesfalls Allheilmittel).

Was ich (und wohl auch Andere) am Anfang vermutet haben war, dass es um eine reine Storagelösung mit Netzwerkbereitstellung geht. Das ist ein Problem das man Linux samt Raid in Software wirklich gut erschlagen werden kann (hohe Verfügbarkeit, performant und halbwegs flexibel). Dadurch, dass du jedoch aufgrund der verwendeten Software auf Windows angewiesen bist und dieses Windows "aus Gründen" auf der selben Hardware läuft die auch den Speicher beherbergt müsste besagte VM als Abstraktionsschicht eingezogen werden, wenn Linux den Storage verwalten soll. Das Erhöht den Aufwand im vergleich zur einfachen Storagelösung via Pinguin jedoch erheblich und ob es sinnvoll ist müsste von jemanden mit viel Erfahrung vor Ort gelöst werden.


Der Maximalausbau war vorschnell, auf das Problem kann man bei typischen Servern noch wirklich allerhand Hardware drauf werfen.

Das du uns an deiner Lösung teilhaben lässt finde ich gut

 

[rchr]

Du haust viel Dinge durcheinander

Stimmt

CNC und Industriesteuerungen sind schon wieder ein weit hergeholter Vergleich.

Damit wollte ich nur ausdrücken, dass es halt auch Situationen gibt, in denen man nicht einfach mal eben virtualisieren kann und gut ist.

In deinem Falle wäre das auch eher der zweite Fall. Der Host würde die gesamte Hardware verwalten inkl. Raid und Co.

(...hier habe ich mal gekürzt...)
In Kombination mit

Das Erhöht den Aufwand im vergleich zur einfachen Storagelösung via Pinguin jedoch erheblich und ob es sinnvoll ist müsste von jemanden mit viel Erfahrung vor Ort gelöst werden.

Verstehe ich mal so: Jemand mit viel Erfahrung müsste vor Ort schauen, ob sich eine Virtualisierung des (zwingendermassen notwendigen) Windows-Servers inkl. der Software (wozu der Server eben nötig ist) realisieren lässt.

Und genau das ist der Punktus knaktus:
- Der Hersteller der Software sagt "ist uns doch egal, stell einen Win-Server hin, dann läuft es"
- Die Leute, die sich damit auskennen (und die ich kenen) sagen "rühr ich nicht an, da proprietäre Software ohne Doku und am Ende muss ich Garantie drauf geben"

Kann ich natürlich beides verstehen

Und nochmals aus dem Kontext gerissen (hoffentlich ohne den Inhalt zu zerstören):

(...)und dieses Windows "aus Gründen" auf der selben Hardware läuft die auch den Speicher beherbergt(...)

Ok, hier hast du ganz klar Recht.
Eine Lösung wäre es, das ganze zu trennen.
Und ganz ehrlich: weisst du, wovon ich träume? Von meinem kleinen, privaten Rechenzentrum im Keller.
Ein Storage-Server, der nur Storage macht. Ein Win-Server, der nur das macht, was halt nur er kann. Dazu ein Netzwerk im ganzen Haus. Und noch einiges mehr.
Aber das geht hier nicht.
Und solange das nicht geht, ziehe ich halt weiterhin Netzwerkkabel durch mein 12qm Büro, stelle den Switch auf den Tisch und vergewaltige den einzigen Server in der Ecke damit, dass er alles tun muss, was es zu tun gibt.

Was ich (und wohl auch Andere) am Anfang vermutet haben war, dass es um eine reine Storagelösung mit Netzwerkbereitstellung geht.

Dafür gibt es Synology und ich bräuchte kein Forum

Gruss

Christoph

 

[rchr]

So, endlich habe ich die Zeit gefunden, alle Daten auf ein externes Archiv auszulagern, den Server (physisch) mehr oder weniger auszuräumen, den neuen Controller einzubauen, die Kabel neu zu verlegen (wegen der anderen Position der Anschlüsse am neuen Controller brauchte ich längere Kabel), die Arrays einzurichten und alle Daten wieder zurück zu spielen. Dabei habe ich auch gleich die Gelegenheit genutzt, um mal ordentlich zu entstauben (alle Komponenten mit Pinsel und Staubsauger vom Staub befreit).

Am Controller (LSI MegaRAID SAS 9280-16i4i) hängt jetzt intern ein RAID-60 bestehend aus 3 Spans à 5 Platten à 4TB im RAID-6. Extern ist ein RAID-5 aus 4x8TB-Platten angeschlossen.

Da ich hauptsächlich grössere Dateien (von wenigen GB bis einige hundert GB) auf diesen Arrays ablege, interessiert mich auch hauptsächlich die Transfergeschwindigkeit bei grossen Dateien, also sequenziellen Zugriffen.
Die Dateien werden über das Netzwerk auf das RAID-60 übertragen und dann von dort auf das RAID-5 gesichert.
Somit ist für mich insb. die Transfergeschwindigkeit von RAID-60 auf RAID-5 interessant.
Hier schafft der Controller im Schnitt 300MB/s. Also schnell genug, um GBit-Lan auszureizen und gleichzeitig ziemlich flott Backups zu machen.
In die Gegenrichtung (RAID-5 -> RAID-60 sind es 200MB/s), wobei das nur im Falle eines Restores relevant würde.

Nun habe ich hier noch eine SSD mit 240GB rumfliegen, für die ich sonst keine wirkliche Verwendung habe. Also habe ich wieder etwas gegooglet und sehr günstig ein gebrauchtes CacheCade-Modul für meinen Controller gefunden. Damit dürfte dann die Geschwindigkeit durch den viel grösseren Cache deutlich ansteigen. Klar, die Dateien im Cache sind noch nicht auf der Platte und somit auch noch nicht "safe" aber lohnen wird es sich wohl trotzdem. Am Dienstag sollte es ankommen. Ich werde berichten...

Gruss

Christoph

 

[Piktogramm]

Den SSD- Cache kannst du doch sicher auch als reinen Lesecache einsetzen. Als Schreibcache eine einzelne (consumer grade?) SSD zu nutzen würde ich fast als fahrlässig bezeichenen.

Mit solchen Geschichten bekommt man SSDs in absehbarer Zeit eben doch klein und da dann keine Parität zu haben kann schiefgehen.

 

[Holt]

Vor allem hängt es auch davon ab was für eine SSD es ist, bei einer alten 240GB denke ich an eine mit einem Sandforce und damit dürfte zumindest die Schreibgeschwindigkeit kaum die 200MB/s des RAID 60 erreichen. Außerdem werden auf den Cache SSDs i.d.R. nur kurze Zugriffe gecacht, denn da sind sie gegenüber den RAIDs wirklich im Vorteil. Man dürfte von der also vor allem war bemerken, wenn man nach Dateien sucht oder große Directorys öffnet, wobei auch das von der Größe des RAMs des Rechners abhängt, dort cacht das OS ja auch Daten, wenn es anderweitig nicht belegt wird.

Was ich mich frage ist, wieso man ein RAID 60 mit 3x5 Platten macht. Da hat man am Ende von den 15 Platten 6 nur "für Parity" und nur 9 wirklich für Daten. Also ich hätte da ein großes RAID 6 genommen, ggf. mit Hot-Spare und dann die Kapazität von 12 bzw. 13 Platten für Daten gehabt, also mindestens 1/3 mehr Nutzkapazität. Zumal wenn die Daten sowieso nur über ein Gigabitnetzwerk kommen. Wenn das RAID 60 auch nur 200MB/s schafft, dürfte wohl auch der RAID Controller selbst begrenzen, dessen Rechenleistung ist ja nicht so gewaltig und dann muss der beim Schreiben auf das RAID 60 neben dem RAID 0 noch die Parity für 3 RAID 6 erreichen.

 

[rchr]

Die SSD hat einen Marvell 88SS1074 Controller und schafft etwa 500MB/s sowohl lesend als auch schreibend.
Die CacheCade-Funktion lässt sich natürlich separat für Schreib- oder Lesezugriffe einstellen.

Warum RAID 60 und nicht RAID 6?
Ganz einfach, weil ich mir überlegt habe, dass die Wahrscheinlichkeit, dass 3 Platten gleichzeitig ausfallen, wenn ich alle 15 (oder von mir aus auch 12 oder 13) als grosses RAID zusammenschalte, grösser ist, als dass 3 Platten innerhalb eines 5-er Verbundes ausfallen.
Also einfach gesagt: ich halte die Gefahr von Datenverlust bei RAID 60 mit 3x5 Platten für geringer als bei RAID 6 mit 12 oder 13 Platten.

Ich lasse mich aber gerne vom Gegenteil überzeugen

Gruss
Christoph

 

[Holt]

Das mit der Ausfallwahrscheinlichkeit stimmt schon, aber wenn man die passenden Platten hat, ist es auch nicht wirklich sehr wahrscheinlich, dass von 14 oder 15 zwei ausfallen, bevor das Rebuild durch ist, zumal wenn man eine Hot-Spare hat und damit bei Ausfall einer Platte keine Zeit verloren geht bis das Rebuild beginnt.

 

[Piktogramm]

Da gehen die Meinungen auseinander, gerade Rebuilds sind eine hohe Belastung für Festplatten und wenn da welche wegen Verschleiß ausgefallen sind und daher ein Rebuild notwendig ist, kommt es all zu oft vor, dass die Belastung vom Rebuild auch andere HDDs himmelt. Kommt durchaus vor, dass sowas in Murphys Rebuild gipfelt

 

[rchr]

Genau das habe ich mir eben auch überlegt:
Wenn es zum Rebuild kommt, bedeutet das grosse Belastung für die verbleibenden Festplatten.
Somit steigt das Ausfallsrisiko für die übrigen Platten übermässig an.
Bei einem RAID-6 mit 13 Platten ist das Risiko, dass noch 2 weitere ausfallen grösser als bei einem RAID-6 mit 5 Platten.
Also habe ich 3 kleine "Biosphären" mit jeweils nur 5 Platten geschaffen, wobei dort immer 2 ausfallen dürfen.
Ich denke, dass dann noch gleich eine 3. der 5 ausfällt, ist nicht so wahnsinnig hoch.


Oben wurde mal das Thema Ram erwähnt: Wie viel ist denn da empfehlenswert?
Bei ZFS gibt es ja die Faustregel von 1 GB Ram pro 1 TB nutzbarem Speicher.
Aber bei normalem NTFS-Dateiformat unter Windows? Ich habe nichts vergleichbares gefunden über Google.

Gruss

Christoph

 

[Holt]

Festplatten und wenn da welche wegen Verschleiß ausgefallen sind

Man sollte schon gerade an HW RAID Controllern auch die passenden HDDs verwenden und deren Spezifikationen beachten, ebenso das HDDs üblicherweise nur auf ein Service Life von 5 Jahren ausgelegt und maximal ein Jahr lagerfähig sind, also 6 Jahre nach dem Produktionsdatum als Schrott betrachtet werden sollten. Außerdem ist zu beachten für wie viele HDDs in einem Gehäuse und für welchen Workload die Platten ausgelegt sind, gerade der Workload kann schnell überschritten werden, wenn man das Scrubbing zu häufig ausführen lässt, manche Anleitungen empfehlen da immer noch ein wöchentliches Scrubbing und dabei geht dann viel Workload drauf, dann halt die HDDs eben oft nicht einmal diese 5 Jahre durch. Hier geht es ja um die Red Pro, die kann mit bis zu 16 Platten in einem Gehäuse laufen, nur das Workload Rating verrät WD nicht, vermutlich sind es aber wohl 180TB/Jahr wie bei der SE Serie, womit bei 4TB dann 45 mal pro Jahr die Kapazität an Daten übertragen werden kann.

Genau das habe ich mir eben auch überlegt:
Wenn es zum Rebuild kommt, bedeutet das grosse Belastung für die verbleibenden Festplatten.

Das sollten sie aber abkönnen und so alt sind die Platten ja auch noch nicht. Bzgl. der Performance dürfte Deine Lösung jedenfalls eine massiv Bremse sein.

Bei ZFS gibt es ja die Faustregel von 1 GB Ram pro 1 TB nutzbarem Speicher.

So viel braucht man aber auch nur, wenn man bestimmte Funktionen von ZFS nutzt.

Aber bei normalem NTFS-Dateiformat unter Windows? Ich habe nichts vergleichbares gefunden über Google.

NTFS braucht nicht viel RAM, mehr RAM ist aber hilfreich, weil Windows sonst unbelegtes RAM automatisch als Diskcache (vor allem Lesecache) nutzt.

 

[rchr]

Bzgl. der Performance dürfte Deine Lösung jedenfalls eine massiv Bremse sein.

Ich habe es jetzt gerade nochmals getestet:
Eine 20 GB grosse Datei von einer SSD (die etwa 500MB/s liefert) auf das RAID-5 sowie auf das RAID-60 geschrieben.
Schreibrate auf das RAID-5: ca. 400MB/s
Schreibrate auf das RAID-60: ca. 350MB/s

Die oben angegebenen 200MB/s bezogen sich auf das Kopieren vom RAID-5 auf das RAID-60

Wie oben schon erwähnt: Die Daten werden über GBit-Lan angliefert.
Was hilft da eine noch höhere Performance?

NTFS braucht nicht viel RAM, mehr RAM ist aber hilfreich, weil Windows sonst unbelegtes RAM automatisch als Diskcache (vor allem Lesecache) nutzt.

Ja, so weit war ich auch schon
Die Frage ist halt, wie viel ist "mehr Ram". 8GB, 32GB, 128GB?
Dazu konnte ich nichts konkretes finden.

Gruss
Christoph

 

[Holt]

Keine Ahnung ob es da eine Grenze gibt ab der Windows RAM nicht mehr als Diskcache nutzt, aber da die Daten sowieso übers Netzwerk gehen und Du ja auch noch eine Cache SSD verbauen willst, wäre so viel RAM dann auch nicht wirklich hilfreich. Ein Cache bringt vor allem bei vielen kurzen Zugriffen was, wie eben bei den Daten der Verzeichnisse, wenn es also viele Verzeichnisse gibt, könnte mehr RAM da positiv sein. Da Du aber vor allem große Dateien ablegt, sind dann auch die Metadaten der Verzeichnisse nicht so groß.

 

[Piktogramm]

Windows Cached alles was in den Ram passt. Ein hartes Limit gibt es erst, wenn der Adressraum ausgeht.

@Holt
In der Theorie hast du recht, in der Praxis bekommt man der Firmenleitung bzw. jenen die auf dem Geld sitzen jedoch oft nicht erklärt, wieso man den riesen packen HDDs austauschen will obwohl sie noch gehen.

 

[Holt]

Piktogramm, das mag sein, aber wenn man denen dann erklärt was man sonst an HW und mehr Platz im Rechenzentrum braucht um die geforderte Kapazität zu realisieren und vorrechnet wie teuer das wird, könnte sich das auch schnell ändern. Das hängt immer von der Situation ab.