Allgemeine Fragen zu NAS

[Quafi]

Hallo,
ich arbeite mich gerade rein theoretisch etwas in den Bereich NAS ein und habe einfach mal ein paar grundlegende, sicher einfache Fragen zu ein paar Themen:

1. Welchen Vorteil habe ich, mehrere RAID-Controller in einem System mit vielen Festplatten (angenommen 16 SSDs) zu verwenden, also 2x Controller für 8 Festplatten, anstelle von 1x Controller für 16 Festplatten?
2. Wenn ich in dem Server zwei Netzwerkkarten verbaue, eine für die Anbindung an den Router und eine zweite für eine direkte PtP-Verbindung zu einem Computer - funktioniert das dann? Also kann sogesehen jeder im Netzwerk über den Router auf den Server zugreifen und der eine, direkt verbundene Client über seine Direktverbindung auch?
3. Falls das zu unverständlich ist, habe ich hier eine kleine Aufzeichnung:
   
4. Kann ich mir die BBU für die RAID-Controller nicht eigentlich sparen, wenn ich UPS im Einsatz habe?
5. Wie wichtig ist der Cache von RAID-Controllern in der Praxis?
6. Brauche ich leistungsstarken CPU/RAM, wenn ich RAID-Controller verbaue?
7. Gibt es irgendeinen Standard-Anfängerfehler, auf den ich unbedingt achten sollte?

 

[Masamune2]

Zu 1: Das hat den Vorteil, dass der Controller nicht zum Flaschenhals wird. Bei acht SSDs kann das durchaus Sinn machen, die dürften in Summe mehr IOs bringen als die üblichen Raid Controller verarbeiten können. Ob man wirklich so viel mehr braucht steht auf einem anderen Blatt.
Zu 2: Ja das geht ohne Probleme
Zu 3: Geht immer noch
Zu 4: Könntest du theoretisch, müsstest dann aber den Cache das Controllers anweisen auch bei fehlender BBU den Schreibcache zu nutzen (Write Back). Das birgt aber immer noch das Risiko von Datenverlust beim Schreiben wenn der Server einfach einen Bluescreen hat. Stromausfall muss ja nicht das einzige Problem sein.
Zu 5: Der Schreibcache ist massiv für Geschwindigkeit von Raid 5 und 6 beim Schreiben verantwortlich. Darin werden solange Daten gesammelt bis ein kompletter Stripeset zusammen ist und der Controller dann nicht erst die Daten lesen, verändern und neu schreiben muss. Bei Raid 0,1 und 10 ist der Controller weniger wichtig, beschleunigt beim Schreiben aber kurze Zugriffe und hält beim Lesen häufig genutzte Blöcke vor.
Zu 6: Wenn es ein Hardware Raid Controller ist nicht. Dafür sind die ja da. Aber auch mit Software hält sich die benötigte Leistung in Grenzen, aktuelle CPUs sind dafür stark genug wenn es nicht gerade ein alter singlecore Atom ist.
Zu 7: Ja, z.B. Raid ersetzt kein Backup.

Du sagst zwar es ist nur theoretisch aber wie kommst du denn auf ein Raid mit 16 SSDs? Das ist ja eher ungewöhnlich in der Praxis.

 

[Quafi]

Erstmal herzlichen Dank für die ausführliche Antwort!

Du sagst zwar es ist nur theoretisch aber wie kommst du denn auf ein Raid mit 16 SSDs? Das ist ja eher ungewöhnlich in der Praxis.

Weil ich leidender Enthusiast, Perfektionist und Größenwahnsinniger in einem bin - und überlege, wie ich mir ein solches RAID für Videoediting mit Rohdaten basteln könnte. Ob ich's mir leisten kann, ist die andere Sache (garantiert nicht), aber mich interessiert und fasziniert alleine der technische Aspekt daran ungemein.

 

[Renegade334]

16 Laufwerke ist schon ne Hausnummer...
Eine Verteilung auf 2 Controller hat auf jeden Fall einen Vorteil bei der Ausfallsicherheit. Du könntest z.B. von einem Controller auf den anderen Mirrorn und hättest bei einem Ausfall eines Controllers noch immer Zugriff auf alle Daten.

Die Netzwerkverbindung für einen PC doppelt auszulegen funktioniert, aber da kommt es stark auf deine Konfiguration an. Wenn du das falsch einstellst, geht der Client noch immer über den Router. Die Direktverbindung ist ja ein komplett getrenntes neues Netzwerk mit eigener IP. Wenn du also über die andere IP gehst, verbindest du dich auf jeden Fall über die Direktleitung. Dafür musst du aber auf dem Server und dem PC die Adressen selber vergeben, weil es auf der Verbindung keinen DHCP Server gibt (außer dein NAS übernimmt das).

Die Zusatzbatterie am Controller funktioniert auch bei einem Netzteilausfall. Eine UPS nicht.

Ram kann man für Caching eigentlich nie genug haben, aber wenn du eh alles mit SSDs vollballern willst, ist das ziemlich egal.

Von den geplanten Dimensionen scheint das aber schon ein (semi-) professioneller Datenspeicher zu werden. Wofür willlst du so ein Monster aufstellen?


//edit:

Weil ich leidender Enthusiast, Perfektionist und Größenwahnsinniger in einem bin - und überlege, wie ich mir ein solches RAID für Videoediting mit Rohdaten basteln könnte.

Dann bau lieber ein paar SSDs in deinen PC als das ganze mit 125MB/s über Gigabit LAN zu bremsen...

 

[Masamune2]

Wesentlich einfacher wäre da eine fertige SSD Lösung an PCIe mit NVMe. Im einfachsten Fall eine "normale" M2 SSD aufs Board, die Samsung Pro schaffen hier auch über 3GB/s lesend. Wenn es noch mehr sein soll gibt es fertige Raid Controller mit vier solcher M2 SSDs auf einer Karte die in Summe dann noch mehr erreichen. Braucht man sicher nicht, ist aber geile Technik^^

 

[Quafi]

Die Netzwerkverbindung für einen PC doppelt auszulegen funktioniert, aber da kommt es stark auf deine Konfiguration an. Wenn du das falsch einstellst, geht der Client noch immer über den Router. Die Direktverbindung ist ja ein komplett getrenntes neues Netzwerk mit eigener IP. Wenn du also über die andere IP gehst, verbindest du dich auf jeden Fall über die Direktleitung. Dafür musst du aber auf dem Server und dem PC die Adressen selber vergeben, weil es auf der Verbindung keinen DHCP Server gibt (außer dein NAS übernimmt das).

Statische IPs hat sowieso alles, da die beiden aber dafür ja eigene, dedizierte Netzwerkkarten haben, wäre das doch sogesehen sogar ein eigenes Netzwerk für sich, oder?

Von den geplanten Dimensionen scheint das aber schon ein (semi-) professioneller Datenspeicher zu werden. Wofür willlst du so ein Monster aufstellen?

Wie oben schon erklärt - rein theoretisch. Ich könnte es mir niemals leisten, es interessiert mich einfach.

Ram kann man für Caching eigentlich nie genug haben, aber wenn du eh alles mit SSDs vollballern willst, ist das ziemlich egal.

Also ist RAM irrelevant beim Einsatz von SSDs und ich hätte keinen Unterschied, ob ich acht oder 128 Gigabyte verbaue?

Ergänzung (5. September 2017)

Wesentlich einfacher wäre da eine fertige SSD Lösung an PCIe mit NVMe.

Ich mag das nicht. Ich mag PCIe-SSDs nicht. Weil ich da nicht basteln kann xD Und wegen der Speicherkapazität, hab bisher noch keine 16 Terabyte-M.2-SSD gefunden. Und hey - wo bleibt der Spaß?

 

[xamoel]

Wieso nicht 8x2TB 960 Pro?

 

[Quafi]

Wieso nicht 8x2TB 960 Pro?

Evos, eher. Der Aufpreis zu den Pros lohnt sich nicht wirklich, meineserachtens.
Und dann - warum 16x1TB statt 8x2TB? Weil's mich gleich viel kostet und, wenigstens theoretisch, eine höhere Datenrate erlaubt.

 

[Harrdy]

Selbst bei verwendung von 40Gbit Netzwerkkarten reichen bereits 3x 960 Pro ausreichen damit das Netzwerk zum Flaschenhals wird. Von daher macht es nicht wirklich viel Sinn auf 16 statt auf 8 Platten zu gehen. Außerdem steigt mit der Anzahl der Platten auch die Wahrscheinlichkeit für einen Ausfall.

 

[Quafi]

Selbst bei verwendung von 40Gbit Netzwerkkarten reichen bereits 3x 960 Pro ausreichen damit das Netzwerk zum Flaschenhals wird. Von daher macht es nicht wirklich viel Sinn auf 16 statt auf 8 Platten zu gehen. Außerdem steigt mit der Anzahl der Platten auch die Wahrscheinlichkeit für einen Ausfall.

In einem RAID 5 der Karten käme man auf approximierte 3.500 MByte/s. Eine 56Gbit-Verbindung hat die Kapazität, 7.000 MBytes - also das doppelte - zu fördern. Wo ist da das Netzwerk bitte ein Bottleneck?

 

[snaxilian]

1. Welchen Vorteil habe ich, mehrere RAID-Controller in einem System mit vielen Festplatten (angenommen 16 SSDs) zu verwenden, also 2x Controller für 8 Festplatten, anstelle von 1x Controller für 16 Festplatten?

Und hier ist einer deiner ersten Gedankenfehler: Wenn du zwei unabhängige Controller nimmst sieht dein OS zwei voneinander unabhängige Volumes. Darüber müsste dein OS dann wieder ein Raid 1 oder 0 per Software machen und im Worst Case ist das ein Flaschenhals.
Bei Hiph Performance Systemen nutzt man sowieso SSDs mit dual SAS Anbindung. Entweder kannst damit dann bis zu 24 GBit/s an einen Controller senden oder an zwei Controller mit je 12 GBit/s. Da musst dich dann entscheiden ob du Redundanz oder Performance willst und dir Redundanz egal ist.

1. Wenn ich in dem Server zwei Netzwerkkarten verbaue, eine für die Anbindung an den Router und eine zweite für eine direkte PtP-Verbindung zu einem Computer - funktioniert das dann? Also kann sogesehen jeder im Netzwerk über den Router auf den Server zugreifen und der eine, direkt verbundene Client über seine Direktverbindung auch?

Was denn nun? Du willst mega Performance und baust dann einen Flaschenhals namens Netzwerk ein? Technisch ist das machbar aber ergibt keinen Sinn außer du nimmst 40 GBit Equipment oder gleich Fibre Channel.

1. Kann ich mir die BBU für die RAID-Controller nicht eigentlich sparen, wenn ich UPS im Einsatz habe?

Nein kannst du nicht. Deine UPS schützt nicht bei Ausfall des Netzteils oder OS Crash.

1. Wie wichtig ist der Cache von RAID-Controllern in der Praxis?

Sehr wichtig. Die teuren und neueren Modelle können daher auch inzwischen ganze SSDs als Cache verwenden.

1. Brauche ich leistungsstarken CPU/RAM, wenn ich RAID-Controller verbaue?

Nicht wirklich wenn es ein reines NAS werden soll ohne Zusatzfeature. Aber deinem Gedankengang fehlt etwas essentielles: ZFS. Damit brauchst keine Raid-Controller mehr sondern reine HBAs und du kannst es mit RAM und SSDs ohne Ende bewerfen um die Performance zu erhöhen. Damit kannst auch ein reines NAS mit SSD und ohne HDDs aufbauen aber was ist dein Anwendungszweck? ALLE gespeicherten Dateien gleichzeitig schnell zu öffnen? Da ist eher dein Netzwerk der Flaschenhals oder dein PC der die Daten nutzen/verarbeiten will.

1. Gibt es irgendeinen Standard-Anfängerfehler, auf den ich unbedingt achten sollte?

[/LIST]

So viele...
- Ein Raid ist kein Backup.
- Du gehst nur von Consumer-Hardware oder Halbwissen aus aber woher sollst du das auch wissen wenn du nicht im professionellen Storage Bereich arbeitest.
- Du hast keinen konkreten Anwendungsfall. Aber genau den musst du zuerst definieren, denn DIE eine eierlegende Wollmilchsau gibt es nicht. Es gibt je nach Anwendungsfall div. Lösungen.
- Willst du schnell lesen? Willst du schnell viele Daten schreiben? Mixed Use? Allein davon hängt schon die Wahl und viel wichtiger die Konfiguration des Systems ab inkl. der gewählten SSD, Controller, etc.
- Du hast einen wunderbaren Flaschenhals namens Netzwerk, der die Latenz erhöht.

Zu deiner RAM Frage: Auch hier gibt es keine pauschale Antwort. Prinzipiell werden alle abzuspeichernden Daten idR nicht direkt geschrieben sondern kommen erst in den RAM und werden dann an den Storage weiter gegeben. Wenn du jetzt auf einen Schlag 100 GB schreiben willst: Nein das wird so schnell kein Raid-Controller on the fly wegschreiben können und daher wird mehr RAM benötigt. Auch auf die Gefahr hin mich zu wiederholen: Nenne einen konkreten(!) Anwendungsfall.

Gegen dein Argument mit PCIe SSDs: Entschuldige aber das ist lächerlich hoch 3. Willst du Performance oder willst du basteln? Also lieber 4 kleine Schräubchen irgendwo reindrehen und 2 Stecker anstecken? Dann kauf dir nen Brett und säge vier Gewinde rein und mit nem Dremel machst die Anschlüsse. *kopfschüttel*
Du erwähnst bisher keiner 16 TB SSD gesehen zu haben. Dann zeige mir mal die 16 TB Festplatte. Ach ja gibt es nicht aber es gibt 16 TB SSDs, sogar schon etwas länger zu kaufen aber eben nicht für den Normalsterblichen. Guckst du hier: http://www.samsung.com/semiconductor/global/file/insight/2016/06/PM1633a-flyer-0.pdf

Hier übrigens eine Beispielkonfiguration mit 48 TB und SSD only. Flaschenhals: Netzwerk https://www.servethehome.com/going-fast-inexpensively-48tb-of-near-sata-pricing-nvme-ssds/

In einem RAID 5 der Karten käme man auf approximierte 3.500 MByte/s. Eine 56Gbit-Verbindung hat die Kapazität, 7.000 MBytes - also das doppelte - zu fördern. Wo ist da das Netzwerk bitte ein Bottleneck?

Wie kommst du auf einmal auf 56 GBit? Außerdem sind auch die 7 GBit/s Brutto Werte. Du musst da noch den Netzwerk-Overhead abziehen. Auch gehst du von normalen Frames aus. Warum keine Verwendung von Jumbo-Frames?
Bei dem was du hier vor hast nimmt man sowieso lieber Fibre Channel, damit bekommst dann 12.800 MB/s durch. Ist dir auch das zu langsam nimm halt lokalen Storage und vergiss die NAS Idee bzw gebe diesen lokalen Speicher entsprechend im Netzwerk frei.