NAS Konfiguration mit 10G
- Ersteller kest
- Erstellt am
Ein wie EINS, also singular? Wofür dann ein NAS? HBA in den PC und entsprechende SSDs dran. Eine Samsung 860 Evo 4TB mit QLC lieferte sehr stabil 540 MB/s, Test hier auf CB bzw. im Vergleich zur 870 Evo QLC 4 TB.kest schrieb:
Musst halt bei der TBW gucken wenn ihr wöchentlich die Daten neu schreibt ob da die Evo noch ausreicht oder eben nicht.
Bei HDDs und Performance würde ich aber auch nicht unbedingt ein Raid 5 oder 6 wählen sondern ein Raid 10.
Im Gegensatz zum schon erwähnten Raid 0+1 hast bei einem Raid 10 einen schnelleren Rebuild bei Ausfall und Austausch einer HDD.
Bei vier HDDs hast zwei Spiegel über die verteilt wird, bei sechs HDDs hast drei Spiegel über die verteilt wird usw.
Nachtrag: @H3llF15H Mehrere Raid 0 die dann gespiegelt werden sind ein Raid 01. Hat man hingegen mehrere Spiegel die zusammen gefasst werden, ist es ein Raid 10.
- Registriert
- Aug. 2004
- Beiträge
- 26.034
Günstiger IBM M5015 Controller + 7x 6TB (CMR) Platten mit 7200U/min im Raid 5 machen durchgängig mehr als 600MB/s lesend und schreibend bei Dateigrößen wo es drauf ankommt. Zudem hat man hier noch ein wenig Verfügbarkeit mit drin. Dürfte locker im Budget drin sein und bietet auch noch Speicherplatz für künftige Erweiterungen.
snaxilian schrieb:
Ich fürchte, darauf wird es sich hinauslaufen. Ursprünglich war das Zeil auch Produktions-PC vom dem ganzen Kram zu entkoppeln (also NAS als Zentrale für Daten). Aber es sieht so aus, als ob es anders einfach nicht geht.
Ich glaube, ich nehme 2 x Samsung SSD 870 QVO 8TB im RAID 0 im PC direkt am SATA-Port.
Zusätzlich/parallel wird dann ein 10G-NAS mit 3-5x 16TB aufgebaut. Notfalls, wird man dann auf dem PC lokal berechnen/editieren können.
Vielen vielen Dank an alle Beteiligten. Es tut echt gut Sachen zu besprechen, weil man sonst in eigener Suppe kocht und nicht übers Tellerand schaut :-) Ich werde auf jeden Fall berichten, was geworden ist und wie die Performance ist!
p.s.: für ein anderes Projekt muss ich 100G-Ethernet bespaßen :-o :-) Wird aber wohl einfach 4x 1TB NVME SSD im Rechner (Raid 0 oder 5)
Um das ganze Workflow zu beschleunigen, könnte ein Zweit.PC schon die Daten stitchen. Zur Zeit wird alles mit einem PC gemachtsnaxilian schrieb:
1. 16TB an Daten von der Kamera werden auf HDD kopiert (über 10G bzw. wird durch HDD begrezt)
2. 16TB werden nach 16TB gestiched (aus mehreren Kameras wird ein 3D Bild berechnet), gelesen von HDD aus (1) und abgelegt auf dem schnellen Speicher (2xSATA RAID 0)
3. 16TB (fertige 3D Bilder) werden geschnitten (hier sind 600 MByte/s notwendig) (wird auf 2xSATA RAID 0 gearbeitet)
4. Daraus wird dann ein Film erstellt (muss nicht realtime sein). 2xSATA RAID 0 auf lokale 2TB NVME.
Aber wie gesagt, zunächst probiere ich mit 2xSATA-SSD RAID 0 lokal, ich kann die 2xSSD RAID 0 immer noch in den NAS schieben.
Also wenn das hin und her kopiert wird auf lokale Rechner dann ist das schon blöd... 16TB bei 500MB/sind allein 9h...
Mal über ein DAS nachgedacht? Das kann man zwischen den Rechnern einfach hin und her tragen. Die Latenz ist kacke aber die Brandbreite zwischen den Rechnern ist geil.
Wenn ich das richtig sehe, habe ihr auch sicherlich nur große file/Zugriffe. Da bringen SSDs nicht so viel sondern lieber mehr HDD. Den Speicherplatz gibt es da dann an sich für Lau. Man nimmt so viele das die Bandbreite erreicht wird.
Wie gesagt, mach mal wirklich ne saubere Analyse mit Datenmengen auf welchem Rechner mit welcher Verweildauer, Anforderungen bezüglich Bandbreite und wie lange jeder auf welchen Daten arbeitet.
NAS spart sie halt das hin und her kopieren wenn mehrere Rechner mit einem Datensatz arbeiten müssen. Vor allem wenn da ständig hin und her geswitched wird ist das gut. Wenn aber Rechner A 1 Woche damit arbeitet und dann Rechner B 1 Woche und dann C 3 Tage, dann ist ein DAS keine große Einschränkung gegenüber einem NAS aber viel billiger und eher auch leistungsfähiger.
Aber wie gesagt erst mal sauberes Anforderungsprofil
Für 3-4k bekommt man ja doch etwas und 600MB/s sind ja mit nem einzelnen Anschluss/HBA/DAS/NAS machbar.
Btw 3 Rechner wo jeder arbeiten muss mit 500MB/s bei nem DAS einfach 3x hinstellen und gut. Bei nem NAS musst du aber 1500MB/s aus einem schaffen. Sprich da reicht zwar 10G Network an die Rechner aber am NAS ist es schon zu wenig. Soweit verstanden?
Edit:
Hier Beispiele für DAS
4Bay 350€ https://www.cyberport.de/pc-und-zub...qnap-tl-d400s-erweiterungsgehaeuse-4-bay.html
8Bay 600€ https://www.cyberport.de/pc-und-zub...qnap-tl-d800s-erweiterungsgehaeuse-8-bay.html
Ist also der Preis von den HDD drin in etwa.
Das 8er DAS mit Raid 10 und 8x4TBB HDD sollte bei 1500€ liegen und die Bandbreite locker schaffen. Vielleicht reicht sogar schon das 4er mit 4 Platten und raid 10. Dann braucht es halt min die 8TB Platten.
Aber wie du siehst bekommst du 2-3 der Teile für euer Budget und muss nichts mehr hin und her kopieren zwischen Rechnern sondern einfach nur umstellen und gut ist. Und du kannst mit zweiern auch parallel von der Kamera ziehen etc und mit dem anderen arbeiten. Und Wenn's ins Archiv muss kann man dort auch nen HBA einbauen und dann mit voller Bandbreite rein ballern.
Mal über ein DAS nachgedacht? Das kann man zwischen den Rechnern einfach hin und her tragen. Die Latenz ist kacke aber die Brandbreite zwischen den Rechnern ist geil.
Wenn ich das richtig sehe, habe ihr auch sicherlich nur große file/Zugriffe. Da bringen SSDs nicht so viel sondern lieber mehr HDD. Den Speicherplatz gibt es da dann an sich für Lau. Man nimmt so viele das die Bandbreite erreicht wird.
Wie gesagt, mach mal wirklich ne saubere Analyse mit Datenmengen auf welchem Rechner mit welcher Verweildauer, Anforderungen bezüglich Bandbreite und wie lange jeder auf welchen Daten arbeitet.
NAS spart sie halt das hin und her kopieren wenn mehrere Rechner mit einem Datensatz arbeiten müssen. Vor allem wenn da ständig hin und her geswitched wird ist das gut. Wenn aber Rechner A 1 Woche damit arbeitet und dann Rechner B 1 Woche und dann C 3 Tage, dann ist ein DAS keine große Einschränkung gegenüber einem NAS aber viel billiger und eher auch leistungsfähiger.
Aber wie gesagt erst mal sauberes Anforderungsprofil
Für 3-4k bekommt man ja doch etwas und 600MB/s sind ja mit nem einzelnen Anschluss/HBA/DAS/NAS machbar.
Btw 3 Rechner wo jeder arbeiten muss mit 500MB/s bei nem DAS einfach 3x hinstellen und gut. Bei nem NAS musst du aber 1500MB/s aus einem schaffen. Sprich da reicht zwar 10G Network an die Rechner aber am NAS ist es schon zu wenig. Soweit verstanden?
Edit:
Hier Beispiele für DAS
4Bay 350€ https://www.cyberport.de/pc-und-zub...qnap-tl-d400s-erweiterungsgehaeuse-4-bay.html
8Bay 600€ https://www.cyberport.de/pc-und-zub...qnap-tl-d800s-erweiterungsgehaeuse-8-bay.html
Ist also der Preis von den HDD drin in etwa.
Das 8er DAS mit Raid 10 und 8x4TBB HDD sollte bei 1500€ liegen und die Bandbreite locker schaffen. Vielleicht reicht sogar schon das 4er mit 4 Platten und raid 10. Dann braucht es halt min die 8TB Platten.
Aber wie du siehst bekommst du 2-3 der Teile für euer Budget und muss nichts mehr hin und her kopieren zwischen Rechnern sondern einfach nur umstellen und gut ist. Und du kannst mit zweiern auch parallel von der Kamera ziehen etc und mit dem anderen arbeiten. Und Wenn's ins Archiv muss kann man dort auch nen HBA einbauen und dann mit voller Bandbreite rein ballern.
Zuletzt bearbeitet:
