Welche Festplatte für Server in 10G Netzwerk?

[Rickmer]

Die ist mit 1TB zwar nur für 800TBW garantiert, wird aber sicher Petabytes schreiben können.

Das ist bei Datacenter SSDs auch nicht anders...

Ich hatte eine KIOXIA CD6-R 7.68TB gebraucht gekauft. Die hat eine TBW von 14PB und kam bei mir mit 2PB Writes und 97% Zustand an. Das sind hochgerechnet ~67PB bis der Zustand bei 0% ist.

Ergänzung (3. August 2023)

Praxisfrage - ich habe richtig verstanden, dass es hier um ca. 100 Kameras a ~10Mbit/s geht?

Das sind rund 100 MB/s Writes, 24/7. Umgerechnet:

• 8,6 TB / Tag
• 3,2 PB / Jahr

Bei 100 MB/s steady-State und dann noch gelegentliche Wiedergabe oder Archivierung wird's bei einer HDD extrem schwierig.
Bei 8,6TB / Tag hat selbst eine 7.68TB SSD nur Platz für ca. 20h an Footage bevor hier etwas archiviert oder gelöscht werden muss.
Bei 3,2 PB / Jahr sind wir im Bereich wo man Consumer SSDs schnell tot geschrieben hat. Enterprise HDDs sind übrigens allgemein mit 550 TB/Jahr kombinierte Schreib- und Leselast angegeben.

 

[h00bi]

Ich hatte eine KIOXIA CD6-R 7.68TB gebraucht gekauft. Die hat eine TBW von 14PB und kam bei mir mit 2PB Writes und 97% Zustand an. Das sind hochgerechnet ~67PB bis der Zustand bei 0% ist.

Das liegt daran, dass Enterprise SSD TBW Angaben nach JESD218 gemacht werden bei 100% random writes.

Praxisfrage - ich habe richtig verstanden, dass es hier um ca. 100 Kameras a ~10Mbit/s geht?

Da es auch um verteilte Objekte geht, wird der Bottleneck vermutlich schon das WAN sein. Irgendwie müssen die Daten ja auch angeliefert werden.

 

[Chris323]

Um genau zu sein, handelt es sich bei den Kameras um Reolink Kameras. U.a. Die Duo2 poe und die RLC 810a. In den Jeweiligen Objekten ist überall Glasfaser verbaut mit einem Vertrag für 1000Mbit/s

Ergänzung (3. August 2023)

Es stimmt ja, das ich wohl nicht mehr als grob 1000Mbit/s mit allen Kameras zusammen schreibe. Das heißt doch, das eine HDD mit vielleicht 200Mb/s lese schreib Geschwindigkeit vollkommen ausreicht? Ich würde mit einer ssd doch nur die Lesegeschwindigkeit vergessen (als wohl die Zugriffszeit) wenn ich die Videos auf der Platte anschauen möchte oder?

 

[Masamune2]

Wie viele Kameras sollen es denn werden? Nenn doch einfach mal ein paar mehr Infos, immerhin wissen wir jetzt "schon" (nach 23 Posts) die konkreten Modelle.
Die Kameras können h265 was schon mal kleine Streams bedeuten könnte. Leider hat Reolink den eigenen Artikel hier noch nicht aktualisiert: https://reolink.com/blog/ip-camera-bandwidth-calculation/
Hier ist noch von h264 und 4MP Sensor die Rede. Für h265 und 8MP Sensor sind aber 10Mbit durchaus realistisch. Im Zweifel Reolink mal anfragen.

Die NVR von Reolink hast du gesehen?

 

[Chris323]

Es sind ca. 100 Kameras. Ja die NVR habe ich gesehen, mich aber dagegen entschieden, da die Gebäude verteilt sind und ich deshalb zum senden und empfangen mittels ftp eh einen Server brauche.

 

[Masamune2]

Ok dann sind die 1000 Mbit/s in der Spitze durchaus realistisch. Zeichnen die Kameras kontinuierlich auf oder nur nach Events? Das würde den Bandbreiten und vor allem Speicherplatzbedarf nochmal drücken.

Für die maximal 125 MiB/s Schreibbedarf reicht theoretisch eine einzelne Festplatte, wenn du aber gleichzeitig auch mal auf die Bilder zugreifen willst könnte es kurz stocken, denn HDDs sind nicht sehr gut darin gleichzeitig Lese- und Schreibzugriffe abzuarbeiten. Ich würde hier auf vier Platten als Raid 10 setzen, da solltest du auf der sicheren Seite sein.

Sollten alle Kameras gleichzeitig immer aufzeichnen und du möchtest 3 Tage aufbewahren kommst du schon auf knapp 30TiB an Daten. Vier 16TB Platten als Raid 10 wären dafür ausreichend.

 

[Chris323]

Es wird 24/7 aufgezeichnet.
Aber wenn ich die im RAID laufen lasse, habe ich doch auch keine Garantie, das er auf eine andere Platte schreibt, wenn gerade gelesen wird oder? Es wird doch vermutlich ehe die selbe Platte meistens genutzt und der Rat ist zufällig oder nicht?

 

[Masamune2]

Die Daten werden dann immer abwechselnd auf beide Platten geschrieben, je nach Stripesize. Die ist bei Raids mit HDD immer um die 256 kByte (können auch 128 oder 512 sein, oft ist es einstellbar aber nicht immer)
Das heißt du hast rein statistisch eine recht gute 50/50 Verteilung der Daten. Wichtig ist das jede Platte (genauer jedes Raid 1 Plattenpaar) nur die Hälfte der Last zu stemmen hat.

 

[Chris323]

Wenn ich also 4 Platten habe wird jeder Datensatz 25% aufgeteilt?

Ergänzung (4. August 2023)

Kann ich eigentlich nen RAID auf nachträglich erstellen, wenn auf einer Platte schon was drauf ist?

 

[Chuuei]

Ich persönlich würde als ersten Speicher wo die Streams landen auf jeden Fall ne SSD nehmen. Bei hundert Streams die wohlmöglich auch zu beliebigen Zeitpunkten gestartet und gestoppt werden hat man bei HDDs nen Schreib/Lesekopf der Überstunden leisten muss beim hin und her springen. Mag sich zwar trotzdem noch ausgehen für die erforderliche Datenrate aber Verschleißtechnisch ist das auf langer sicht ein riesen Unterschied ob man die jeweils gleiche Datenmenge komplett random oder sequentiell geschrieben hat.

Bisher wurde viel über HW geredet, aber nicht über die SW Seite. Mit TrueNas z.B. ist es problemlos möglich eine tiered Speicherarchitektur aufzubauen mit SSDs als Cache für HDDs.

 

[Chris323]

Könnte ich stattdessen nicht einfach mehr RAM einbauen? Momentan sind es 32GB DDR4 3200MHz (4x 8GB) 3x Hynix, 1x Samsung.

 

[Chuuei]

Wenn die Dateien der einzelnen Streams reinpassen, dann sicherlich mit ner passenden SW die darin die Daten cached. Beim Stromausfall sind die aber weg, wenn keine USV vorhanden ist.

Im Idealfall landet die komplette Datei eines Streams im nicht mechanischen Speicher um danach sequentiell auf den mechanischen Speicher verschoben zu werden.

Es geht auch als reine HDD Lösung, so ists nicht. Aber mit der Variante mit einem Cache aus nicht mechanischen Speicher (egal ob jetzt SSD oder RAM) ist die Art und Weise wie die HDDs Daten schreiben angenehmer.

 

[Chris323]

OK, also RAM oder SSD sind egal. Dann würde ich ehe den „natürlichen“ Weg mit dem RAM gehen. Voralpen erspare ich mir dann wohl komplizierte Software Lösungen, die Vll. Nichtmal auf Windows laufen.

 

[Masamune2]

Wenn ich also 4 Platten habe wird jeder Datensatz 25% aufgeteilt?

Hängt vom Raid Level ab. Bei Raid 0 wär das so, ich würde ein Raid 10 machen, dabei werden jeweils zwei Platten gespiegelt und die beiden Spiegel zu einem Raid 0 zusammengefasst auf das abwechselnd geschrieben wird. Du verteilst also die Schreibzugriffe effektiv 50/50 auf, die Lesezugriffe können aber 25% aufgeteilt werden.

Kann ich eigentlich nen RAID auf nachträglich erstellen, wenn auf einer Platte schon was drauf ist?

Hardware Raidcontroller können das meistens, bei Software Raids kenne ich das jetzt nicht.

Mit TrueNas z.B. ist es problemlos möglich eine tiered Speicherarchitektur aufzubauen mit SSDs als Cache für HDDs.

Kann TrueNAS von Haus aus FTPS? Dann wär das durchaus eine Option.

Könnte ich stattdessen nicht einfach mehr RAM einbauen?

Nein RAM wird nie als Schreibcache genutzt da sein Inhalt nicht geschützt ist und bei Stromausfall oder Absturz des Server alles weg wäre was noch im RAM war.

erspare ich mir dann wohl komplizierte Software Lösungen, die Vll. Nichtmal auf Windows laufen.

TrueNAS ist ein eigenes Betriebssystem und läuft bestenfalls als VM auf Windows.

 

[Chris323]

Nein RAM wird nie als Schreibcache genutzt da sein Inhalt nicht geschützt ist und bei Stromausfall oder Absturz des Server alles weg wäre was noch im RAM war.


TrueNAS ist ein eigenes Betriebssystem und läuft bestenfalls als VM auf Windows.

Also heißt das, SSD als Cache für HDD hat doch einen Nutzen.
TrueNas kenne ich garnicht. Werde mich mal genauer damit befassen.

Ergänzung (5. August 2023)

Ist es mit TrueNas möglich, Programme wie dem Reolink Client zu installieren?