Selbstbau neues NAS - welcher RAID Controller?
- Ersteller PHuV
- Erstellt am
F
foo_1337
Gast
Dass Problem, dass z.B. eine vm, die auf HCI Node1 läuft ihre Daten aus dem Netz ziehen muss. Durch data locality wird dafür gesorgt, dass zumindest die heißen Daten auf dem lokalen node vorgehalten werden, auf der auch die vm läuft. Dadurch hast du zumindest beim lesen deutlich weniger latenz, da es nur durch den lokalen bus muss.
Naja PHuv ging es wohl um die small file Performance und da kann das absolut passen.
Das ist nämlich der einzige Anwendungsfall wo Hardware raid auch heute noch verwendet wird und jedes Ceph, gluster OVM, unraid oder was auch immer um Längen schlägt.
Wenn du Anwendungen hast die posted Write machen, immer nur 8Byte schreiben und dann auch noch immer nen flush machen, dann ist nen hw raid ne Größenordnung oder mehr schneller als jedes Software defined storage...
Ist leider so sehen wir immer wieder mal bei Kunden....
Das ist nämlich der einzige Anwendungsfall wo Hardware raid auch heute noch verwendet wird und jedes Ceph, gluster OVM, unraid oder was auch immer um Längen schlägt.
Wenn du Anwendungen hast die posted Write machen, immer nur 8Byte schreiben und dann auch noch immer nen flush machen, dann ist nen hw raid ne Größenordnung oder mehr schneller als jedes Software defined storage...
Ist leider so sehen wir immer wieder mal bei Kunden....
F
foo_1337
Gast
Das ist aber eher ein Distributed Filesystem Problem, was du beschreibst und trifft bei ceph, gluster & co sicherlich zu. Hat aber dann weniger damit zu tun, ob im local storage oder (FC) SAN das RAID (10 oder 50, denn reines parity raid will man hier auch nicht) über die CPU läuft oder über einen dedizierten controller.
Da spielt das filesystem und die jeweilige config (block size etc.) eine deutlich größere Rolle. xfs z.B. ist hier nach wie vor deutlich im vorteile ggü. ext4.
Da spielt das filesystem und die jeweilige config (block size etc.) eine deutlich größere Rolle. xfs z.B. ist hier nach wie vor deutlich im vorteile ggü. ext4.
Ne nach Anwendung siehst du auch bei lokalen Platten nen großen Unterschied. Mit Flash wird das natürlich weniger relevant und mit NVMe nochmals weniger, aber der HWRaid mit! Write Cache ist trotzdem nochmals deutlich schneller.
Da geht es rein um Latenzen.
Da geht es rein um Latenzen.
F
foo_1337
Gast
Naja, mit nvme hast du eh keine chance mehr mit hwraid 
Ok, jetzt sind wir bei dem Schritt angekommen, dass es wohl Konsens ist, dass nicht der ASIC auf dem HW Raid Controller das Thema ist. Zu dem Preis eines Raid Controllers bekomme ich locker eine sehr gute nvme, die ich problemlos als (deutlich größeren) Cache nutzen kann. Und ich habe nicht mehr das Batterie Risiko bzw. die umständliche Wartung, bei der ich die ganze Kiste ausbauen muss. Je nach usecase muss man sich halt überlegen, ob man bcache oder dmcache verwendet.
Warst du nicht der aus dem HPC Umfeld? Da mag das ganze natürlich ohnehin etwas anders aussehen, aber das ist ja nicht gerade der Use-Case für die typischen Enterprise oder auch Privatanwendungen.
Ok, jetzt sind wir bei dem Schritt angekommen, dass es wohl Konsens ist, dass nicht der ASIC auf dem HW Raid Controller das Thema ist. Zu dem Preis eines Raid Controllers bekomme ich locker eine sehr gute nvme, die ich problemlos als (deutlich größeren) Cache nutzen kann. Und ich habe nicht mehr das Batterie Risiko bzw. die umständliche Wartung, bei der ich die ganze Kiste ausbauen muss. Je nach usecase muss man sich halt überlegen, ob man bcache oder dmcache verwendet.
Warst du nicht der aus dem HPC Umfeld? Da mag das ganze natürlich ohnehin etwas anders aussehen, aber das ist ja nicht gerade der Use-Case für die typischen Enterprise oder auch Privatanwendungen.
Ja ich komme aus dem HPC Umfeld und nein, gerade Enterprise hat eher das Problem als HPC. Viele Nutzer machen im HPC großen schönen IO.
Wenn du aber zu AI oder auch den Chemikern gehst, dann ist Metadatenperformance sehr wichtig aber auch small io Performance. Viele Chemikernutzen das Filesystem für vorberechnete lookups. Oder schau dir OpenFoam an...
Gibt so nette Anwendungen mit Millionen von kleinen <1MB files hin einem Ordner...
Ich denke es gibt an jedem größeren Zentrum mindestens einen User der dir jedes Filesystem crashen bzw zumindest unbenutzbar langsam machen kann...
Die Spezis kennt man ziemlich schnell und muss oft gar nicht auf die Userliste schauen um zu wissen, dass die wieder am Werk sind. Große Zentren haben für solche Leute teils auch eigene Filesysteme wo sie sich dann gegenseitig ausbremsen dürfen....
Datenbanken haben oft aber ähnliche Probleme, genau wie VMs. Meist sind die Sachen nur nicht so Performancekritisch als das es jemanden juckt.
Also kurzum HW Raid hat seine Berechtigung und da muss ich dir widersprechen auch ne NVMe ist langsamer, der Unterschied wird nur kleiner. Bei Optane könnte man vielleicht in ne Bereich kommen wo es egal ist, aber schau dir nur mal die Preise für NVMe an und dann für nen HW Raid mit Write Cache. Da ist der HW Raid plötzlich gar nicht mehr so teuer 😉
Wenn du aber zu AI oder auch den Chemikern gehst, dann ist Metadatenperformance sehr wichtig aber auch small io Performance. Viele Chemikernutzen das Filesystem für vorberechnete lookups. Oder schau dir OpenFoam an...
Gibt so nette Anwendungen mit Millionen von kleinen <1MB files hin einem Ordner...
Ich denke es gibt an jedem größeren Zentrum mindestens einen User der dir jedes Filesystem crashen bzw zumindest unbenutzbar langsam machen kann...
Die Spezis kennt man ziemlich schnell und muss oft gar nicht auf die Userliste schauen um zu wissen, dass die wieder am Werk sind. Große Zentren haben für solche Leute teils auch eigene Filesysteme wo sie sich dann gegenseitig ausbremsen dürfen....
Datenbanken haben oft aber ähnliche Probleme, genau wie VMs. Meist sind die Sachen nur nicht so Performancekritisch als das es jemanden juckt.
Also kurzum HW Raid hat seine Berechtigung und da muss ich dir widersprechen auch ne NVMe ist langsamer, der Unterschied wird nur kleiner. Bei Optane könnte man vielleicht in ne Bereich kommen wo es egal ist, aber schau dir nur mal die Preise für NVMe an und dann für nen HW Raid mit Write Cache. Da ist der HW Raid plötzlich gar nicht mehr so teuer 😉
F
foo_1337
Gast
Eine nvme ist langsamer als was? Als der write cache des Controllers? Ja, ist sie. Aber die Hitrate ist halt wesentlich größer.
Das Perc 740 Geraffel, was wir fürs OS (mirror) verbauen, kostet IIRC knapp nen tausender. Also wirklich günstig ist das nicht.
In dem Bereich in dem ich unterwegs bin, gibt es Probleme dieser Art tatsächlich nicht und kein Mensch setzt da mehr auf klassische RAIDs. Bei uns sind IOPS (70/30 r/w) alles was zählt. Und wenn man sich die Wachstumszahlen der Hyperscaler so anschaut, kann das auch nicht so das große Problem sein. Ich glaube dir, dass du da Probleme siehst, ich sehe es aber eher als Nische an.
Das Perc 740 Geraffel, was wir fürs OS (mirror) verbauen, kostet IIRC knapp nen tausender. Also wirklich günstig ist das nicht.
In dem Bereich in dem ich unterwegs bin, gibt es Probleme dieser Art tatsächlich nicht und kein Mensch setzt da mehr auf klassische RAIDs. Bei uns sind IOPS (70/30 r/w) alles was zählt. Und wenn man sich die Wachstumszahlen der Hyperscaler so anschaut, kann das auch nicht so das große Problem sein. Ich glaube dir, dass du da Probleme siehst, ich sehe es aber eher als Nische an.
Naja, die Hyperscaler sind jetzt nur bedingt effizient, was ihre Hardware anbelangt. Die versuchen zwar auch möglichst effizient zu sein, aber das ist schon nochmal was anderes als wenn man HPC macht. Im HPC sind die Daten immer noch recht gut strukturiert. Man hat aber teils ne sehr hohe concurrency. Das ist bei der Clouds nen bischen anders. Vor allem ist bei denen der ganze IO nicht so bursty.
Bei HPC kommt halt oft sehr viel auf einmal und dann ist wieder für nen paar Minuten Ruhe und dann knallte wieder wie blöd. Klar mit vielen Jobs verschmiert das etwas aber das Grundproblem bleibt.
Da stehen dann halt x hundert nodes mal wegen io. Da hilft das also schnell.
Und du hast ja hinter zwei Controllern mal schnell 24-48 das Platten mit dualport, daher 2 Controller. Da ist nen tausender nicht viel wenn du dafür nicht auf Flash setzen musst.
Aber wir setzen auch jbods mit bis zu 100 Platten für Luste als ost ein. Das klappt gut, für die Mdt aber auch raid. Wenn jemand ne Million files anlegt merkt man den Unterschied gewaltig...
Bei HPC kommt halt oft sehr viel auf einmal und dann ist wieder für nen paar Minuten Ruhe und dann knallte wieder wie blöd. Klar mit vielen Jobs verschmiert das etwas aber das Grundproblem bleibt.
Da stehen dann halt x hundert nodes mal wegen io. Da hilft das also schnell.
Und du hast ja hinter zwei Controllern mal schnell 24-48 das Platten mit dualport, daher 2 Controller. Da ist nen tausender nicht viel wenn du dafür nicht auf Flash setzen musst.
Aber wir setzen auch jbods mit bis zu 100 Platten für Luste als ost ein. Das klappt gut, für die Mdt aber auch raid. Wenn jemand ne Million files anlegt merkt man den Unterschied gewaltig...
- Registriert
- März 2005
- Beiträge
- 14.219
Wieso unterstellst Du mir das alles? Und nein, alle Deine Punkte treffen nicht zu. Ich bin kein Noob, hab auch beruflich schon einige Raid-Systeme in aller Art und Größer aufgesetzt, daher meine ich schon zu wissen, wie man das macht. Das die Werte mit Intel RST bzw. Microsoft Storage Spaces schlecht sind, habe ich mit einem Z77 und hier Z97 zuverlässig ermitteln können, direkt am Chipsatz und dessen SATA Ports ohne alles und ohne Umwege. Und warum soll ich bitte ein OS auf einem Raid installieren? 🙄 OS ist bei mir immer separat auf einer SSD.mgutt schrieb:
mgutt
Commander
- Registriert
- März 2009
- Beiträge
- 2.052
Das sind verschiedene Vermutungen und keine Summe von Vorwürfen. Es muss einfach was falsch sein, denn die CPU ist damit nicht überfordert. Weder bei einem reinen Software RAID, noch bei einem Hybrid RAID wie es bei RST der Fall ist. Also man nutzt dabei schon zwei verschiedene Treiber und beide sind gleich lahm. Klingt für mich daher nach falschen Einstellungen (Cluster/Strip) oder nach einem Fehler in Windows, wenn du den Rest ausschließen kannst.PHuV schrieb:
Ich wollte eigentlich zitieren das es PHuv um small io Performance also Metadaten geht. Aber das ist gar nicht der Fall..
Selbst die Fake Raids von nem MB sollten das ganz gut schaffen.
Also irgendwas ist da faul.
Vielleicht sollte PHuv mal doch genauer sagen, wie seine Daten normal aussehen. Das hat er bisher nämlich noch nicht gemacht.
Ps alte sata Kabel können manchmal massiv die Performance drücken. Man sieht dabei nicht zwingend, dass die ne Macke weg haben...
Pps @PHuV Warum hast du eigentlich den disk Cache ausgeschaltet? Ich sehe da spontan keinen Grund für
Also das sollte mit einem mdraid (linux) genau die gleiche Performance liefern wie mit nem HW raid.PHuV schrieb:
Selbst die Fake Raids von nem MB sollten das ganz gut schaffen.
Also irgendwas ist da faul.
Vielleicht sollte PHuv mal doch genauer sagen, wie seine Daten normal aussehen. Das hat er bisher nämlich noch nicht gemacht.
Ps alte sata Kabel können manchmal massiv die Performance drücken. Man sieht dabei nicht zwingend, dass die ne Macke weg haben...
Pps @PHuV Warum hast du eigentlich den disk Cache ausgeschaltet? Ich sehe da spontan keinen Grund für
- Registriert
- März 2005
- Beiträge
- 14.219
Daten sind alle unterschiedlich von vielen kleinen (Fotos, Dokumente, Scanns) bis groß (Filme, ISOs). Getestet hatte ich immer grundsätzlich mit großen ISO-Dateien 9 GB.
Diskcache habe ich wieder aktiviert. Ich bin es eben gewohnt wegen meinem Job auf Arbeit, immer "write trough" und Diskcache auszuschalten, weil Datenbanken darauf betrieben werden, was ich zu Hause natürlich nicht habe. 😌 Komischerweise ist der Diskcache beim alten Raid-System ausgeschaltet. und performt trotzdem mit 400-450 MB/s.
An den grundsätzlichen Einstellungen schraube ich (zu Hause) gar nicht groß (cluster/striping size etc.), Controller einbauen, Platten ran, Raid5 initialisieren und start. Von daher verwundert mich die unterschiedliche Performance ja selbst. Und Ihr könnt mir glauben, ich habe die Tests mehrfach wiederholt, auch mal mit anderen Einstellungen.
Kann schon sein, daß ich hier noch irgendwas übersehen hatte. Der einzige Unterschied, daß ich hier beim 9440 die neuere Broadcom Controller Software verwendet hatte und nicht mehr die Megaraid-Version.
Mehr gibts heute nicht von mir, hatte gestern eine Augen-OP (grauer Star), und sehe nur auf einem Auge, und das andere tut weh.
Diskcache habe ich wieder aktiviert. Ich bin es eben gewohnt wegen meinem Job auf Arbeit, immer "write trough" und Diskcache auszuschalten, weil Datenbanken darauf betrieben werden, was ich zu Hause natürlich nicht habe. 😌 Komischerweise ist der Diskcache beim alten Raid-System ausgeschaltet. und performt trotzdem mit 400-450 MB/s.
An den grundsätzlichen Einstellungen schraube ich (zu Hause) gar nicht groß (cluster/striping size etc.), Controller einbauen, Platten ran, Raid5 initialisieren und start. Von daher verwundert mich die unterschiedliche Performance ja selbst. Und Ihr könnt mir glauben, ich habe die Tests mehrfach wiederholt, auch mal mit anderen Einstellungen.
Kann schon sein, daß ich hier noch irgendwas übersehen hatte. Der einzige Unterschied, daß ich hier beim 9440 die neuere Broadcom Controller Software verwendet hatte und nicht mehr die Megaraid-Version.
Mehr gibts heute nicht von mir, hatte gestern eine Augen-OP (grauer Star), und sehe nur auf einem Auge, und das andere tut weh.
Zuletzt bearbeitet:
Ähnliche Themen
