10 GbE Synology mit SSDs?

[Shor]

Moin zusammen!

Ich suche eine Kombination aus Synology NAS und Speichermedien, die sich am besten für einen ganz bestimmten Einsatzzweck eignet. Und zwar sollen darauf Daten gespeichert werden, die sich eine auf Windows laufende Software per Netzwerklaufwerk ziehen muss, um zu funktionieren. Die Software ist auf mehreren Windows-Rechnern installiert; deshalb die Netzwerklösung. Die Datensätze sind dabei recht groß und sollen "so schnell wie möglich" (aber ohne, dass es abstrus teuer wird) geladen und geschrieben werden. In konkreten Zahlen: Die Dateien sind etwa 500 MB groß und manchmal werden bis zu 10 davon "auf einmal" (direkt hintereinander weg) geladen, womit wir bei 5.000 MB = 5 GB wären. Hier soll die Wartezeit halt möglichst kurz sein. Nun kommt noch dazu, dass insgesamt 4-5TB gespeichert werden sollen.

Meine Überlegungen und Fragen dazu:

(1) Irgendwie schreit das Ganze ja nach einem 10 GBit/s Netzwerk. Die Preise sind natürlich höher, aber kaufe ich mir da im Prinzip einfach 10 GbE Netzwerkkarten, 10GbE Switch und 10 GbE Netzwerkkabel und ab dafür? Oder ist die 10 GBit/s-Welt in irgendeiner Form besonders im Vergleich zur normalen 1 GBit/s Welt?

(2) Ein 10 GBit/s Netzwerk schafft theoretisch bis zu 1,25 GB pro Sekunde, was im Übrigen bei den 5GB zu ladenden Daten (klar, wieder theoretisch) eine Ladezeit von 4 Sekunden wäre. So schnell müssen ja dann auch die Speicher der Synology sein. Dementsprechend denke ich natürlich an SSDs. Spricht irgendwas grundsätzlich gegen SSDs in NAS? Was muss ich beachten?

(3) Bremsen die Synology NAS selbst irgendwie aus, sodass man unter Umständen weit weg ist von den 1,25GB pro Sekunde? Wie gesagt - das sind wenige große Dateien, die da geladen werden müssen - nicht viele kleine. Oder anders gefragt: Welche Synology bzw. Hardware brauche ich da, wenn es außer den kurzen Ladezeiten keine Anforderung gibt? Dass das 10GbE-Modul verfügbar sein muss, ist klar - und ich hoffe, dass sein Vorhandensein schon aussagt, dass der Rest der Hardware entsprechend stark ist.

(4) Bremsen irgendwelche Protokolle seitens Synology/Windows die Geschwindigkeit bedeutend aus - z. B. bei der Einbindung des shared folders als Netzlaufwerk, was besagte Software voraussetzt? Den Zugriff per Netzwerkadressen erlaubt sie mangels Laufwerksbuchstabe leider nicht.

Preislich ist das Ganze natürlich eine Nummer. Aber wenn es am Ende grundsätzlich so schnell ist, wie ich mir das vorstelle, wäre es meinem Bekannten (frage für einen Freund ) die Sache wert:

• Switches sehe ich hier bei 150-200€, Netzwerkkarten (für die Windows-PCs) bei 100-150€, Netzwerkkabel ist preislich vernachlässigbar.
• Zwei 4 TB SSDs mit mindestens 1,25 GB/s Schreib- und Lesespeed kosten um die 2 * 500 = 1000€ (wobei ich halt nicht weiß, ob sich da jede SSD eignet, z. B. Samsung 870 EVO).
• Bei Synology kommt als günstigstes 10GbE kompatibles Modell die DS1621xs+ für ca. 1800€ raus auf deren Seite.

Freue mich über jede grundsätzliche Anregung! Steige gerade erst in die Thematik ein. Bisher hatte ich nur Synologys mit normaler NAS HDD und 1GbE.

Gruß und danke
Jens

 

[tRITON]

Ich habe einige Erfahrung mit der Verwaltung großer Datenmengen und Verteilung.

In einer meiner letzten Arbeiten habe ich Daten von einem Teilchenbeschleuniger gesammelt und diese dann an mehrer hundert Numbercrunsher weiter weiterteilt, welche in den Daten nach Events durchsucht haben.

Das System dahinter ist eigentlich egal. ich denke dein Ansatz könnte besser laufen, wenn Du die Zeit in der deine Clients mit den Daten arbeiten bereits wieder Daten nachladen würdest anstelle ein paar Sekunden, Minuten zu gewinnen durch das Backend.

Was spricht also dagegen, wenn du bereits die nächsten Daten lädst, lokal cachest?

 

[Shor]

Danke für deine Nachricht. Die Software bzw. der Anwendungsfall lassen das nicht zu leider. Man weiß nie, wo wann welche Datensätze geladen und ggf. gespeichert werden müssen. Das ergibt sich aus dem Alltag. Ich hoffe, ich habe dich richtig verstanden. :-)

 

[madmax2010]

1. Oder du schnappst dir eine 10G Karte für deinen PC
2. Jep. SATA SSDs sind fair. Um eine NVMe SSD auszureizen (jedenfalls auf Bandbreiten Seite) braucht es schon etwas mehr als 10 GBit/s
3. Bei fertigsystemen zu dem Preis kann man meist davon ausgehen, dass die restliche Hardware das mit macht.
4 Ist hier gut beantwortet: https://serverfault.com/questions/1...ocol-has-the-best-performance-and-reliability
Achtung: NFS 4 nutzen. Die alten sind kaputt

Zwei 4 TB SSDs mit mindestens 1,25 GB/s Schreib- und Lesespeed kosten um die 2 * 500 = 1000€ (wobei ich halt nicht weiß, ob sich da jede SSD eignet, z. B. Samsung 870 EVO).

du kannst SSDs auch einfachnur als cache einbauen nimm eine ordentliche SSD mit TLC Chips und dran cache.

Guter billiger 10g switch: https://mikrotik.com/product/crs305_1g_4s_in
Hier gibts gerade wieder 10g karten zum fast annehmbaren Preis: https://www.ebay.de/itm/142768131382
2018 gabs die für 15 euro, zwischendurch waren sie jedoch bei 120.. Insofern sind 35 Euro pro Karte schoin OK
Beim switch und der Karte fehlt noch jeweils der adapter zum richtigen "stecker" - sowas wird mit SFP Modulen erledigt. Hier jeweils einer mit RJ45 Stecker für klassische Kupfer Patchkabel und mit LC Stecker für Glasfaser:
https://www.fs.com/products/66613.html
https://www.fs.com/products/11552.html

je nachdem wie dein Setup aussieht, würde ich eher Glasfaser als Kupfer nutzen. Ist alles ethernet, aber die Anschaffungskosten sind halt deutlich niedriger und der Stromverbrauch eben so.

 

[Shor]

Hi madmax2010! Danke dir.

1. Verstehe ich nicht ganz. Natürlich brauchen die PCs dann auch eine 10 GbE Karte bei meiner Idee. Aber ich glaube, das wolltest du mir nicht sagen, oder?

2. Genau, sehr gut. Bei HDDs gibt es ja extra NAS- und Rechenzentrenversionen. Bei SSDs nicht? Sind da alle gleichermaßen gut geeignet für Dauerbetrieb?

3. Jap. Hab auch gerade bei der referierten NAS mal auf die Produktseite gesehen - da steht was von über 3.100 MB/s Lesen. Schreiben steht da jetzt nichts, aber da kann ich ja im Zweifel nochmal bei Synology direkt fragen.

4. Okay. Ich muss mal gucken, ob für Windows-Netzlauwerke ohne große Bastelei nur SMB in Frage kommt. Da kenn ich mich nicht wirklich aus. Aber es braucht halt Laufwerksbuchstaben.

Zum Cache: Kannst du das nochmal kurz erklären? Inwiefern genau hilft mir das in meinem Case bzw. wie funktioniert das?

Gruß
Jens

 

[madmax2010]

1. Verstehe ich nicht ganz. Natürlich brauchen die PCs dann auch eine 10 GbE Karte bei meiner Idee. Aber ich glaube, das wolltest du mir nicht sagen, oder?

Ich glaube ich wollte dir oben mehrere Dinge zu Optionen wie du das aufbauen könntest sagen. An der Stelle wohl vor allem, dass du dir je nachdem den Switch sparen kannst, wenn du nur 1-2 PCs wirklich mit 10g versorgen willst. dann kannst du diese halt auch direkt anstecken

2. Genau, sehr gut. Bei HDDs gibt es ja extra NAS- und Rechenzentrenversionen. Bei SSDs nicht? Sind da alle gleichermaßen gut geeignet für Dauerbetrieb?

Die Rechenzentrumsversionen existieren vor allem aus Compliance gründen. Sogut wie jede HDD lebt im dauerbetrieb länger, als wenn man sie jeden tag X mal an/aus macht. Mit ein Grund, aus dem die ganzen Green serien nicht mehr existieren.

3. Jap. Hab auch gerade bei der referierten NAS mal auf die Produktseite gesehen - da steht was von über 3.100 MB/s Lesen. Schreiben steht da jetzt nichts, aber da kann ich ja im Zweifel nochmal bei Synology direkt fragen.

wenn man eine ramdisk anlegt und innerhalb dieser kopiert schafft man sicher auch 10GB/s Nettze zahlen für die Werbung.

4. Okay. Ich muss mal gucken, ob für Windows-Netzlauwerke ohne große Bastelei nur SMB in Frage kommt. Da kenn ich mich nicht wirklich aus. Aber es braucht halt Laufwerksbuchstaben.

Inzwischen ist man auch unter windows nicht mehr unbedingt auf 26 Laufwerke beschränkt:
https://superuser.com/questions/383012/how-to-increase-mapped-drive-letters-from-windows-defaults

Zum Cache: Kannst du das nochmal erklären? Inwiefern genau hilft mir das? Wie läuft das bei Synology in Bezug auf meinen Case?

Du hast 100-200gb schnellen speicher verbaut.viel abgerufene Daten werden hier automatisiert zwischengelagert und immer wenn du etwas schreibst, landen die daten erst hier. Dann werden sie richtung HDDs geschoben, und der write cache leert sich

 

[Shor]

1. Kapiert. Danke!
2. Auch kapiert. Wobei ich jetzt immer noch nicht weiß, ob sich jede SSD eignet.
3.
4. Eins reicht meinem Bekannten. Aber falls uns das auf SMB beschränkt, kommt halt eh kein anderes Protokoll in Frage. So meinte ich das.

Zum Cache: Verstehe. Das heißt Synology versteht selber, was besonders oft abgerufen wurde, und packt das dann in den Cache, ja? Aber selbst, wenn man drauf vertrauen kann: Der erste Abruf dauert dann trotzdem lange. Und soweit ich weiß ist es wie gesagt so, dass man nie weiß, welche Dateien wie oft abgerufen werden. Aber der Punkt motiviert mich, mich hier nochmal schlau zu machen.

Jens

 

[madmax2010]

2. Nimm eine SSD mit TLC Chips und Dram cache. einfach so auf gh.de filtern
Hier findest du gute vergleichstabellen: https://www.techtarget.com/searchstorage/definition/write-cycle
Dram cache und TLC erlauben deutlich höhere Lebensdauer und niedrigere Latenzen.

as heißt Synology versteht selber, was besonders oft abgerufen wurde, und packt das dann in den Cache, ja?

die tools die synology nutzt, ja.
Das allermeiste sind ja zusammen gestecke Open Source Projekte mit branding..
jede Festplatte und jede SSD nutzt Caches in irgend einer Form.

Aber falls uns das auf SMB beschränkt,

via WSL kann mann auch nfs nutzen

 

[snaxilian]

Dann werden sie richtung HDDs geschoben, und der write cache leert sich

Wenn ich es richtig gelesen habe, lesen mehrere Clients die Daten, ein read-cache wäre hier dann sinnvoller, oder?
Der erste anfragende Client wird noch lahm bedient, die folgenden Clients dann aus dem read-cache (sofern dieser groß genug ist und die Implementierung des Caches auch wirklich files im Cache hält und nicht nur Blöcke).
Das ganze Thema Cache ist eine Krux weil es drölfzig Implementierungen gibt und alle irgendwelche Einschränkungen haben.

 

[Shor]

Das klingt, als würde ich mich nicht auf den Cache verlassen, sondern komplett auf SSDs setzen wollen.

 

[snaxilian]

Nicht zwingend. Soll nur als Hinweis gelten, dass du dich VOR dem Kauf entsprechend informieren solltest ob beim gewünschten Produkt der Cache so funktioniert, wie du es dir vorstellst bzw. für deine Anwendungszwecke sinnvoll funktioniert.
Die diversen Caches sind halt ein Kompromiss wenn man (gewisse) Dinge im schnellen Zugriff möchte aber gleichzeitig große Datenmengen hat und nicht den Preis für 100% SSDs hinlegen kann oder will.

Beispiel: Wenn man als Firma für seinen VMs/Server 100TB Speicherplatz braucht, dann muss man ja sowieso ein Vielfaches davon kaufen für gewisse Redundanzen die man ja vermutlich will. Wenn jetzt ein großer Teil der Server keine dauerhaft hohe Last im Bereich Storage hat bzw. nie alle gleichzeitig dann macht ein NAS/SAN mit vielen (günstigeren) HDDs schon Sinn in Kombination mit 10+TB SSDs oder so als Cache.

Genauso wie in den meisten Fällen im privaten Bereich heute ein Raid nur noch wenig Sinn macht bzw. bei wenigen Anforderungen, und Backups deutlich sinnvoller sind. In der Realität nutzen dann doch viel zu viele ein Raid und haben kein Backup.