Schnelles Speichersystem für große Dateien gesucht

[ArgonEins]

Hallo Forum,

ich habe eine Frage. Und zwar wollte ich mir neue Datenträger anschaffen um 4K Spieleaufnahmen zu machen. Nachdem ich die für die Aufnahmen nötige Hardware gekauft habe bin ich jetzt nur noch bei der Frage welche Hardware ich für die Speicherung nutzen soll, da ich gemerkt habe, dass dort der Flaschenhals sitzt.
Allerdings stehe ich jetzt vor der Frage, welches Speichersystem ich für maximale Schreibgeschwindigkeit bei großen Dateien (100GB+) benötige und wie groß die minimale Schreibgeschwindigkeit (Bei 4K @ 60FPS) sein muss. Meine bisherigen Gedankengänge führten bisher zu diesen Vorschlägen:

1. Raid0 System aus 2 Festplatten (Ja ich bin mir des Risikos bei Raid0 bewusst, die Daten lägen ja auch nur temporär auf der Platte und würden nach Fertigstellung kopiert)
2. 10TB+ Festplatten
3. Eine einzelne SSD

natürlich habe ich auch gewisse Vorstellungen, so benötige ich mindestens eine reale Datenkapazität von 1TB, wodurch SSD's und gar PCIe SSD's eigentlich rausfallen, und auch preislich setze ich so eine Preisgrenze von grob 300€ an, wobei ich lieber für das Geld mehr Schreibgeschwindigkeit als mehr Speicher hätte um einen gewissen Puffer zu haben.
Meine Frage ist nun, WIE sollte ich das Speichersystem aufbauen, und wenn es zu einem Ergebnis kommt WELCHE Produkte ich dann kaufen sollte. Danke schonma im Voraus ^^

 

[zoz]

und wie groß die minimale Schreibgeschwindigkeit (Bei 4K @ 60FPS)

2 Minuten Clip aufnehmen zum Testen, in VLC öffnen -> Media Information -> Statistics

Dort steht die Bitrate. Da mal 15% draufrechnen als Overhead und du weißt wieviel Schriebgeschwindigkeit du brauchst.

 

[HominiLupus]

Ich würde eher eine MLC SSD nehmen. Eben drauf achten wie schnell die SSD schreibt wenn der Cache voll ist.

 

[KeyKon]

Wenn du komprimiert aufnimmst sollte doch ne dicke Festplatte reichen.
Die Dinger um 3TB@7200RPM schaffen locker 200MB/s sequentiell und kosten "nur" einen Hunderter.
Du solltest halt nie über ~75% der Kapazität gehen da sonst durch die Fragmentierung wieder ein Flaschenhals entstehen kann.

Ich sags mal so wenn die 200MB/s nicht reichen wird ne SSD an der Kapazität bzw. am Geldbeutel scheitern^^

Und wie immer: niemals die Mbit/s die man beim Aufnehmen einstellen kann mit MB/s verwechseln^^

LG KeyKon

 

[ArgonEins]

@zoz: Bei der Aufnahme mit mehreren Dateien kamen Datenraten von etwa 60 bis 120 Mb/s hervor. Ich glaube die Werte könnten ganz gut stimmen

Würde bei der MLC SSD, bzw. bei SSD's allgemein nicht eine Fragmentierung stattfinden, dadurch dass die ständig beschrieben und überschrieben wird?

Welche normale HDD würdet ihr mir denn empfehlen? Oder taugt dazu quasi jede im Markt verfügbare relativ aktuelle Festplatte?

 

[FranzvonAssisi]

Fragmentierung findet bei Frstplattrn statt.

Eine Datei besteht aus Teil X und Teil Y (grob gesagt)
Teil X liegt innen auf der Platte und Teil Y außen. Der Lesekopf muss jetzt, um die Datei zu lesen, von innen nach ganz außen fahren und das kostet Zeit.

Lg, Franz

 

[SoDaTierchen]

Äh, ich glaube, du verwechselst Fragmentierung und Abnutzung. Bei SSDs gibt es keine "Fragmentierung", da selbst zusammenhängende Blöcke fragmentiert sind, bzw. es überhaupt keinen Unterschied macht, ob Daten fragmentiert sind oder nicht.

60-120Mb/s bedeutet, du solltest auf 135Mb/s schreibend gehen. Das kann NICHT jede Platte am Markt, ein paar Festplatten machen wirklich bei 120Mb/s Schluss. Prüfe aber beim Abspielen Aufnahme nochmal, ob wirklich nur mit 120Mb/s geschrieben wurden, oder ob die Schreibrate nicht höher ist. Für 4K@60fps scheint mir das doch recht gering, gerade beim Aufnehmen. Wichtig: Prüfe das hinterher an einem aufgenommenen Video, nicht während der Aufnahme, da du ja während der Aufnahme nicht mit mehr schreiben kannst, als die HDD zulässt. Oder du schreibst nur einen sehr kurzen Clip auf eine vorhandene SSD, prüfts die Datenrate und kannst den Clip ja anschließend wieder löschen.

Zu deinen Vorstellungen: Eine 10TB+ - Festplatte fällt schon alleine wegen deines Geldbeutels raus. Ich würde hier eher zu einer passenden Business-Festplatte raten, da diese vernünftige konstante Schreibraten schaffen. Zum Beispiel eine Seagate Enterprise NAS HDD in Wunschgröße (2TB-Version, 215Mb/s schreibend). Wichtig: Diese Festplatte darfst du dann aber während der Aufnahmen für nichts anderes verwenden, schon die kleinste Leseoperation kann die Schreibrate ins Bodenlose drücken.

Ajo, sollte sich herausstellen, dass 215Mb/s nicht ausreichen, es gibt auch SSDs in TB-Größe für unter 300€. Zum Beispiel die SanDisk Ultra II 960GB.

 

[KeyKon]

Wie und worauf nimmst du derzeit eigentlich zum testen auf? Und woher hast du die Datenraten?

An Festplatten hab ich für solche Zwecke immer zu den günstigen Seagates im 3TB Bereich gegriffen.
Für knapp unter 100€ kann man da nix sagen.

@SoDaTierchen: Hat die SanDisk II 960 nicht auch nen SLC Cache der nach ner gewissen Dauerbelastung auf < 200MB/s einbricht?

LG KeyKon

 

[Moselbär]

https://www.computerbase.de/artikel/storage/ssd-kaufberatung.2569/#abschnitt_oberklasse_pci_express

Warum keine SSD?

Und wie sieht der Rest des Systems aus?

 

[SoDaTierchen]

@KeyKon: Ja, hat sie. Aber der Cache wird erst zusammenbrechen, wenn die Schreibrate dauerhaft über der konstanten Schreibrate liegt. Da bei Videoaufnahme die Schreibrate aber nicht am Maximum des Controllers liegt, sondern vermutlich immer mal um die optimale Schreibrate herum pendelt, läuft der SLC-Cache erst voll, wenn die SSD voll ist. Für Videorecording spielt der SLC-Cache erst eine Rolle, wenn die optimale Schreibrate nicht ausreicht. Deshalb aber auch mein Anraten an unseren TE: Wirklich mal prüfen, wie groß die Aufnahmerate sein muss. Weil man dann besser empfehlen kann.

Ein weitere Vorteil der SSD gegenüber einer Profi-HDD ist, dass die Schreibrate bei kleineren Lesezugriffen nebenbei nicht total einbricht.

 

[ArgonEins]

Also je nach Codec komme ich auf Werte zwischen 8mio kbit/s (Sind das umgerechnet 1gb/s?) beim FICV Codec und 200t kbit/s beim UTVideo, also sind die Werte scheinbar doch ein bisschen höher als bei meinen ersten Tests, wobei das die Maxima, nicht die Durchschnittswerte sind, die liegen jeweils etwa 20%-40% darunter. Die Datenraten entnehme ich den fertigen Dateien mit Mediainfo. Werte Auf meine SSD (eine OCZ Trion 150) mit 240GB die etwa zu 50% voll ist hab ich probeweise aufgenommen, da hat es geklappt.

@SoDaTierchen: Da 1Tb vom Speicherplatz ausreichen würde, wäre auch die SanDisk eine Option für mich, aber da nochmal die Frage, ist der Unterschied zwischen einer Business-HDD und der SSD groß genug um einen deutlich höheren TB/€ Preis zu rechtfertigen, oder macht das in der Praxis, wie ich sie benötige einen nicht allzu riesigen Unterschied? Die Festplatten würde ich ja in jedem Fall NUR zum aufnehmen verwenden, System, Spiel, alles andere liefe auf zahlreichen anderen Festplatten.

Da ja auch nach dem Rest des Systems gefragt wurde: 2 GTX 1080, i7 4790k auf 4,4, 12GB Ram, zum Aufnehmen zurzeit WD Green 2TB Festplatten.

 

[SoDaTierchen]

Entschuldige, dass ich so spät antworte.

Einfach mal an deinen Zahlen gemessen:
8mio kbit/s = 1GB / s. Das schafft kein SATA-Gerät, das ist schlicht über dem theoretischen Maximum des Anschlusses. Selbst wenn der Durchschnitt 40% niedriger liegt und der Überschuss vom RAM abgefangen wird, benötigst du noch immer konstant 600MB/s. Auch das liegt über dem Maximum von SATA.
Für FICV gibst du 200t kbit/s an, das wären 25 TB/s. Ich denke, hier hast du einen Wert falsch abgelesen, denn diese Datenrate kann deine GPU gar nicht ausgeben, geschweige denn dein Monitor darstellen.

Was ich im Netz gefunden habe, variieren die Datenraten zwischen 3,5 und 0,1 Gb/s. Also 450 und 12MB/s. Relativ vielversprechend ist wohl der Codec "MagicYUV", da dieser recht gut bei ~350MB/s arbeitet und wohl deutlich besser komprimiert (Quelle). Für UTVideo brauchst du tendentiell eher mehr Datenrate. Die Werte sind von Leuten die selbst auch aufnehmen und daher vermutlich realistischer als deine Werte (nichts für Ungut).

In jedem Fall, egal ob UTVideo oder MagicYUV reicht die Datenrate einer Festplatte nicht aus. Optionen, die ich für realistisch halte: entweder eine SSD, oder zwei HDDs im RAID 0 fahren. Ein RAID im Desktop-System ist etwas friemelig, weil es nur ein Software-RAID wird und man ein wenig herumprobieren muss, welche Konfiguration vom OS anerkannt wird, aber es ist tendentiell möglich. Und Vorteil vom RAID: Du hast für etwa den selben Preis einer SSD die 4fache Speichermenge. Trotzdem gilt weiterhin: Keine Leseoperationen nebenbei laufen lassen, es sind noch immer HDDs!

Da es Leute gibt, die mit 2 Festplatten im RAID zufrieden mit 4K-Recording sind, würde ich tatsächlich zu dieser Lösung raten. Da kriegst du für das Geld am meisten.

 

[Holt]

Ich würde eher eine MLC SSD nehmen. Eben drauf achten wie schnell die SSD schreibt wenn der Cache voll ist.

Pseudo-SLC Schreibcaches gibt es auch bei SSDs mit MLC NAND und umgekehrt kann die Samsung 850 Evo trotz TLC NAND (V-NAND, also Samsungs 3D NAND) ab den 500GB Versionen auch mit vollem Cache noch mit 500MB/s schreiben, die 960 Evo 500GB sogar mit 600MB/s und die 960 Evo 1TB sogar mit 1200MB/s.

ArgonEins, mittlere doch erst einmal wie zoz beschrieben die tatsächliche nötige Datenrate, die hängt vom CODEC an.