Schnelle und externe Speicherlösung (SSD) für 8K-Videoschnitt mit mindestens 16TB

[Parafox]

Ich bin auf der Suche nach einer schnellen und externen Speicherlösung für 8K-Videodateien der DJI Inspire 3, die mit ca. 4GB @ 10 Sec nicht gerade klein ausfallen. Da ich projektbedingt alle Video-Dateien in Premiere auf einmal greifbar haben muss und nicht immer mehrere SSDs parallel anschließen möchte, suche ich derzeit nach einer halbwegs portablen Speicherlösung über USB C 3.2/Thunderbolt 4, die direkt mit einer sehr hohen Kapazität und Performance kommt; sprich jenseit von 8TB und zwar mindestens 16 TB, damit es eine Weile ausreicht. Das ganze sollte unter 2.500 EUR bleiben. Was gibt es dort für Möglichkeiten und lassen sich Platten wie diese Micron 7450 PRO - 1DWPD Read Intensive 15.36TB in einem externen Gehäuse betreiben?

 

[Redundanz]

direct attached storage mit hw-raid (0/1/jbod) wie z.b. qnap tr-004
in die richtung mal recherchieren ob es sowas auch explizit für 2,5 zoll gibt. ansonsten muss man halt basteln.

 

[massaker]

mindestens 16 TB, damit es eine Weile ausreicht. Das ganze sollte unter 2.500 EUR bleiben.

Das ging letztes Jahr sogar unter 1.000€. Es gibst nämlich diese ext. Gehäuse für Raid0 aus 2x 2,5" - da steckt man 2x 8TB 870QVO und... Sustained writes sind dann aber natürlich nicht höher als 300MB/s. Beim Lesen kannst aber die 10Gbps Anbindung ausreizen.

Was gibt es dort für Möglichkeiten und lassen sich Platten wie diese Micron 7450 PRO - 1DWPD Read Intensive 15.36TB in einem externen Gehäuse betreiben?

Selbstverständlich, warum nicht. Es bedarf aber einer zusätzlichen Stromversorgung.

 

[schneup]

Was genau bedeutet portabel? Wenn die Groesse noch ok ist und Dir 10Gb/s reichen ist das Terramaster D5 Hybrid vielleicht eine Option. Hat 2x3.5” Slots und 3xNVMe. Kann recht flexibel konfiguriert werden.

 

[DJMadMax]

Ja, eine solche Platte lässt sich in einem externen Gehäuse betreiben, allerdings sind das dann eher "Koffer" und ähneln schon einem ITX-PC.

Als sinnvoller erachte ich da eher so etwas:
https://geizhals.de/lindy-usb-3-2-gen-2-m-2-ssd-enclosure-43382-a3126456.html?hloc=de

Da hast du ein USB C-Gehäuse für zwei NVMe PCIe-SSDs und der USB C 3.2-Asnschluss bei 20 Gbit liefert immerhin gute 1,8 GB pro Sekunde in jede Richtung.

Wenn's noch performanter sein und auch lange in die Zukunft reichen soll, was bei großen Datenmengen durchaus ratsam ist in deinem Fall, dann gib etwas mehr Geld aus und greif zur USB / Thunderbolt 4-Variante mit 40 Gbps, womit du die Schnittstelle einer PCIe 3.0 SSD voll ausreizen kannst:
https://geizhals.de/sabrent-thunder...-free-enclosure-ec-t3dn-a2742115.html?hloc=de

Hier würde ich dann zwei 8TB Corsair Force MP600 Pro NH reinpacken und glücklich sein:
https://geizhals.de/corsair-force-series-mp600-pro-nh-8tb-cssd-f8000gbmp600pnh-a2829393.html

Preislich bleibst du dann auch unter den 2500 Euro.

EDIT:
Ich sehe aber gerade, bei dem Sabrent-Case ist RAID1 nötig, damit du auch tatsächlich diese hohen Datenraten erreichen kannst. Es reicht also vermutlich problemlos das Lindy-Gehäuse, das nur die Hälfte kostet.

 

[Araska]

Im Prinzip solltest du eine 7450 Pro an so etwas anschließen können, wenn dir USB 3.2 ausreicht.

 

[Parafox]

Danke für eure Tipps! Vom Grundsatz her gefällt mir die Lösung mit 2 x Corsair Force Series MP600 Pro NH 8TB + einem externen Gehäuse wie dem Lindy USB 3.2 Gen 2 M.2 SSD Enclosure. Beim Gehäuse möchte ich absolut nicht sparen, da hatte ich einmal recht schlechte Erfahrungen gemacht, die ich nicht wiederholen möchte. Hier wäre vor allem Robustheit und kompakte Abmessungen absolut wichtig. Das wird ja kein Backup-System, sondern ist schon oft im Einsatz. In Sachen Wärmeentwicklung bin ich da etwas überfragt - muss man sich da Sorgen machen bei einer längeren Session?

 

[Midium]

Zu beachten ist, dass der USB 20 Gbit/s Standard nicht von allen Geräten unterstützt wird. Nur weil du einen USB 4 oder Thunderbolt 4 Anschluss an deinem Gerät hast, wird 20 GBit/s nicht automatisch unterstützt. Da solltest du dich vorher auf jeden Fall informieren oder direkt zu einem Thunderbolt Gehäuse greifen.

PS: Die Frage ist auch, was du unter halbwegs portabel verstehst. Prinzipiell brauchst du für alles mit mehr als einer M.2 SSD wohl ein eigenes Netzteil.
Denkbar wäre auch sowas hier: https://www.sonnettech.com/product/echo-express-se3e/overview.html
Damit hast du dann 2x PCI-E x8 Anschlüsse und 1x PCI-E x4 meine ich. Theoretisch gehen da dann 5 SSDs zu verbinden. Ist dafür preislich natürlich eine andere Liga und auch nicht mehr im Hosentaschen-Format.

 

[Parafox]

Zu beachten ist, dass der USB 20 Gbit/s Standard nicht von allen Geräten unterstützt wird. Nur weil du einen USB 4 oder Thunderbolt 4 Anschluss an deinem Gerät hast, wird 20 GBit/s nicht automatisch unterstützt. Da solltest du dich vorher auf jeden Fall informieren oder direkt zu einem Thunderbolt Gehäuse greifen.

Das hier wäre ja ein solches reines Thunderbolt Gehäuse. Dell schreibt zu meinem Laptop in Sachen Thunderbolt folgendes: "Bietet Datenübertragungsraten von bis zu 40 GBit/s für USB4 Gen 3x2 Thunderbolt 4."

 

[DJMadMax]

In Sachen Wärmeentwicklung bin ich da etwas überfragt - muss man sich da Sorgen machen bei einer längeren Session?

Die SSDs werden unter maximaler Last schon mal recht heiß, aber in dem Fall, wo sowieso nur ein teil der maximalen Leistung der SSDs abgerufen werden kann (eben nur etwas unter 2 GB/s).

Von daher würde ich mir keine Sorgen machen, im Teillastbereich sind SSDs thermisch keinesfalls kritisch.

Zu beachten ist, dass der USB 20 Gbit/s Standard nicht von allen Geräten unterstützt wird. Nur weil du einen USB 4 oder Thunderbolt 4 Anschluss an deinem Gerät hast, wird 20 GBit/s nicht automatisch unterstützt. Da solltest du dich vorher auf jeden Fall informieren oder direkt zu einem Thunderbolt Gehäuse greifen.

Abwärtskompatibel sind die Ports zueinander schon. Wenn er am Mainboard z.B. nur einen USB C mit 10 Gbps besitzt, dann kann er da dennoch problemlos das 20 Gbps-Gehäuse verwenden. Oder habe ich dich da falsch verstanden und du meintest eigentlich etwas anderes?

Ergänzung (3. Juli 2024)

@Parafox
Lies aber den "EDIT", den ich unter meinen anderen Post geschrieben habe zu dem Sabrent-Gehäuse. Ich habe keine Ahnung, ob die teils schlechten Amazon-Bewertungen daher rühren, dass die alle keinen echten Thunderbolt 4-Anschluss besitzen, wo sie es einsetzen können, oder aber, ob das Sabrent-Gehäuse wirklich nur unter Einsatz eines Software-RAID eine wirklich hohe Datenrate erzielen kann.

Wenn dem nämlich der Fall ist, dann kannst du dir das zusätzliche Geld sparen und den günstigern Lindy nehmen, der immer noch genug Geld kostet für ein kleines Gehäuse mit nem popeligen Chip auf ner Platine.

 

[Ray519]

greif zur USB / Thunderbolt 4-Variante mit 40 Gbps, womit du die Schnittstelle einer PCIe 3.0 SSD voll ausreizen kannst:

Das stimmt nicht so ganz. Aktuelles TB3/USB4 ist noch limitiert in drosselt die PCIe Übertragung grundsätzlich (sie wird ineffizienter als bei vielen modernen SSDs). Daher kommt sowas wie 3.1-3.2 GiB/s Limit mit PCIe Gen 3 SSDs. braucht neue Hosts und neue Controller um dieses Limit zu beseitigen. Für den Moment kann man nur mit einer schnelleren PCIe Anbindung und ASM2464 und passendem Host dieses Limit überkommen. Das erfordert dann auch gleich Gen 4 SSDs.

Ergänzung (3. Juli 2024)

Das hier wäre ja ein solches reines Thunderbolt Gehäuse.

Nicht für das was du zitierst. Das Gehäuse nutzt einen TB3 Controller. Also erstmal hartes PCIe Limit auf ~3.1 GiB/s max. (die Specs sprechen sogar nur von 2500 MBit/s. Das kling sogar noch nach grottigem Alpine Ridge. Und dann wird das Gehäuse auch gar nicht rückwärtskompatibel sein zu irgendeinem USB3 oder USB2 Standard. Geschweige denn USB3 20G. Das darf man nicht verwechseln mit TB3/USB4 20G (was keinen Sinn macht. Weil quasi alles das TB3/USb4 kann gleich 40G kann. Diese 20G nutzt also niemand freiwillig und sind nicht ansatzweise zu vergleichen mit USB3 20G.

Ergänzung (3. Juli 2024)

oder aber, ob das Sabrent-Gehäuse wirklich nur unter Einsatz eines Software-RAID eine wirklich hohe Datenrate erzielen kann.

Wenn PCIe genutzt wird, wäre es gigantisch schwer ein NVMe Hardware Raid im Gehäuse zu haben. Du kannst Gift drauf nehmen, dass jedes multi-NVMe Gehäuse nur JBOD anbietet und wahrscheinlich nicht rückwärtskompatibel zu USB3 ist.

Hardware NVMe Raid ist ja sogar bei Server Raid Karten noch selten oder? Weil warum? Wenn du die PCIe Bandbreite hast um Nutzen daraus zu ziehen, dann schließ die NVMes direkt an.

 

[Parafox]

Ich bin mir jetzt leider nicht wirklich sicher, welche Datenrate ich zum flüssigen Bearbeiten von 8k Videos in Adobe Premiere wirklich "brauche"; aber möchte mir natürlich die schnellen Corsair Force Series MP600 Pro NH 8TB nicht unnötig ausbremsen.

Zur Frage der Portablität: Ein großes 3.5" Gehäuse wäre derzeit so ein wejig die Schmerzgrenze.

Hier einmal die Stats einer typischen Video-Datei

Format : MPEG-4
Format profile : QuickTime
Codec ID : qt 0000.02 (qt )
File size : 8.64 GiB
Duration : 20 s 200 ms
Overall bit rate mode : Variable
Overall bit rate : 3.672 Mb/s
Frame rate : 30.000 FPS
Encoded date : 2024-03-13 09:47:40 UTC
Tagged date : 2024-03-13 09:47:40 UTC
Writing application : DJI Inspire 3
Cover : Yes
snal : (Binary)
tnal : (Binary)
com.apple.proapps.manufacturer : DJI
com.apple.proapps.modelname : Inspire 3
org.smpte.rdd18.camera.neutral : 1
org.smpte.rdd18.camera.shutter : 180.00deg
org.smpte.rdd18.camera.isosens : 200
org.smpte.rdd18.camera.whiteba : 4762K
org.smpte.rdd18.lens.irisfnumb : F13.0
com.apple.proapps.exif.{Exif}. : 13.000
com.apple.proapps.exif.{Exif}. : 200.000

 

[Ray519]

Ein großes 3.5" Gehäuse wäre derzeit so ein wejig die Schmerzgrenze.

Dann wird wohl nicht mehr als Titan Ridge TB3 Datenraten (die erwähnten 3.1 GiB/s) drin sein. Und dass natürlich auch nur mit Software RAID.

Selbst wenn man mehrere getrennte Gehäuse nehmen würde, wo jedes seine eigene Bandbreite zum Host hat, kommt es noch ganz stark auf den Host an, ob nicht alle TB Ports sich die Bandbreite voll teilen (Desktops mit Maple Ridge TB4 Controller zB). Für Notebooks mit besseren, in die CPU integrierten USB4 Controllern wissen wir dass sie mehr Bandbreite haben, haben aber noch keine Benchmarks wie viel insgesamt. Ich könnte also nicht versprechen, dass man dort 2 ASM2464 Gehäuse voll ausnutzen könnte (je ~ 3.8 GiB/s mti Gen 4 SSDs).
Aber die Notebooks die 2 native USB4 Ports haben und noch gleichzeitig am Netzteil hängen können ist jetzt auch nicht soo groß.

Das sind so die einfach portablen Lösungen. Nächste Stufe in einem Desktop wäre eine U.2 / U.3 Backplane in die man die 2.5" NVMes einzeln rein steckt. Und alles Server-mäßige ist wesentlich größer und braucht Netzwerkanbindung oder so. Oder nicht Hotplugbar.

 

[massaker]

Nächste Stufe in einem Desktop wäre eine U.2 / U.3 Backplane in die man die 2.5" NVMes einzeln rein steckt.

Aber spätestens da ein absoluter Overkill für ihn. Er braucht für seine gewünschten ~16TB nur eine einzige U.2 und am besten keine Raids aus mehreren SSDs. Oder verstehe ich seine Anwendung noch nicht ganz. Für seine Video Dateien mit ca. 400-450 MB/s reichen theoretisch auch 10Gbps wenn man nicht gleich 3 und mehr Videospuren in die Timeline packt und bearbeitet - dann wäre der Workflow leicht hackelig. Aber spätestens TB3-Anbindung mit ~3 GB/s würde wohl vollkommen ausreichen.

 

[Ray519]

Aber spätestens da ein absoluter Overkill für ihn.

Mag sein. Erwähne ich nur weil es zur der U.3 NVMe passt, die TE oben ins Spiel gebracht hätte. Sonst braucht man die halt nicht wirklich.

Ergänzung (3. Juli 2024)

Und wenn man wegen dem Speicherplatz eine U.2 / U.3 nehmen muss, wird ein Gehäuse dafür äußerst schwer.
Ich kenne keine TB/USB4 Gehäuse dafür. Und mit M.2 NVMe wo es die Gehäuse gibt, braucht man mehrere SSDs für die Kapazität.

Und für portabel würde ich jetzt nicht anfangen mit einer Horde an 100% nicht supporteten Adaptern. Da geht garantiert was schief wenn man das berührt. Da bräuchte es dann alleine um das aufzubewahren sowas wie ein kleines, modernes eGPU Gehäuse. Eine AIC für U.2/U.3 und da dann die eine SSD drauf. Das wird dann aber auch sperriger. Und man verschenkt halt mehr von den Fähigkeiten der SSD als mit sowas wie 2 guten M.2 NVMe Gehäusen. Und kommt vermutlich teurer.

Aber klar, setzt vorraus dass man eine sinnvolle Variante für Software RAID vorsieht. Unter Linux einfach. Unter Windows wird das schon schwerer...

Edit: solange man RAID haben will. Joined geht jetzt unter Windows mit dynamischen Partitionen noch einfach.

 

[Parafox]

Mag sein. Erwähne ich nur weil es zur der U.3 NVMe passt, die TE oben ins Spiel gebracht hätte. Sonst braucht man die halt nicht wirklich.

Die hatte ich ohne viel technisches Hintergrundwissen ins Spiel gebracht; da einfach in der Kapazität überhaupt eine wenigen SSDs, die ich finden konnte.

Aber spätestens da ein absoluter Overkill für ihn. Er braucht für seine gewünschten ~16TB nur eine einzige U.2 und am besten keine Raids aus mehreren SSDs. Oder verstehe ich seine Anwendung noch nicht ganz. Für seine Video Dateien mit ca. 400-450 MB/s reichen theoretisch auch 10Gbps wenn man nicht gleich 3 und mehr Videospuren in die Timeline packt und bearbeitet - dann wäre der Workflow leicht hackelig. Aber spätestens TB3-Anbindung mit ~3 GB/s würde wohl vollkommen ausreichen.

Ich habe relativ "simple" Anwendungen - das meiste Sind Videos in dieser Art:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Eine Tonspur und eine Videospur sind das derzeit, plus ein paar Textebenen. Du hast wahrscheinlich vollkommen Recht, bei ca. 500 MB/s würden wahrscheinlich selbst die meisten oben beschriebenen Szenarien trotz Drosselungen ausreichen. Und Premiere greift ja auch nicht permanent auf die Videos zu. -- Ich bin noch nicht tief in der Videothematik drin, da ich das eher als Erweiterung meiner Fotografie sehe und da keine komplexen Filmprojekte abdecke und möchte daher nicht den absoluten Overkill; aber dennoch ein wenig Luft nach oben, wenn sich das mal etwas verändert. Also suche kurz gesagt, eine sinnvolle Lösung für die Bearbeitung von Videofiles wie in diesem Beispiel mit ein wenig Puffer, aber ohne komplettem Overkill. Ich bin viel mit dem Van unterwegs oder arbeite aus Hotels, daher möchte ich da keine riesen Workstation auf dem Tisch aufbauen

 

[Ray519]

Ohne jetzt viel mit Videoschnitt zu tun zu haben, denke ich dass die klassische Lösung dafür ist mit Proxies zu arbeiten. Die Proxies brauchen weniger Platz und ist das wo sich kurze Latenzen lohnen. Die eigentlichen Files werden nur am Anfang zum Erzeugen der Proxies und zum eigentlichen Rendern gebraucht. Und können dann auch auf wesentlich langsamerem Speicher liegen. Wenn man das extern haben wollte würde ich da eher an ein NAS mit HDDs für die Kapazität und NVMes für den eigentlichen Workspace denken. Aber das ist natürlich nicht dafür gemacht durch die Gegend getragen zu werden...

 

[DJMadMax]

Ich bin mir jetzt leider nicht wirklich sicher, welche Datenrate ich zum flüssigen Bearbeiten von 8k Videos in Adobe Premiere wirklich "brauche"

Die Frage hast du dir ganz zu Beginn eigentlich schon selbst beantwortet:

Ich bin auf der Suche nach einer schnellen und externen Speicherlösung für 8K-Videodateien der DJI Inspire 3, die mit ca. 4GB @ 10 Sec nicht gerade klein ausfallen.

4 GB in 10 Sekunden entspricht also ca. 400 MB pro Sekunde.

Selbst mit einer SATA SSD könntest du das noch einfangen. Mit einer PCIe SSD in besagten Gehäusen wird das locker mehr als doppelt übertroffen mit mindestens 1 GB/s (also 10 GB in 10 Sekunden).

Das "Streamen" der Dateien funktioniert also schneller als Echtzeit. Das Bearbeiten des Streams wiederum hängt dann nicht mehr von der SSD sondern viel mehr von der verwendeten Grafikkarte (Hardware-Encoding) bzw. der CPU (und dessen iGPU) ab.

 

[Ray519]

4 GB in 10 Sekunden entspricht also ca. 400 MB pro Sekunde.

Das ist aber Echtzeit. Wenn du jetzt da durch scrubben wolltest um eine bestimmte Stelle zu finden explodiert die nötige Bandbreite, wenn du das auf dem Original machst. Das kann ich auch gar nicht einschätzen.
Und kommt auch noch auf das exakte Format an, wie schnell man da drin einzelne Frames finden kann wenn man es nicht der Reihe nach abspielt. Und wie viel der Editor das mit zusätzlichen Indizes und Caches verstecken kann, wenn das Dateiformat das nicht hergibt.

 

[Parafox]

Ohne jetzt viel mit Videoschnitt zu tun zu haben, denke ich dass die klassische Lösung dafür ist mit Proxies zu arbeiten. Die Proxies brauchen weniger Platz und ist das wo sich kurze Latenzen lohnen. Die eigentlichen Files werden nur am Anfang zum Erzeugen der Proxies und zum eigentlichen Rendern gebraucht. Und können dann auch auf wesentlich langsamerem Speicher liegen. Wenn man das extern haben wollte würde ich da eher an ein NAS mit HDDs für die Kapazität und NVMes für den eigentlichen Workspace denken. Aber das ist natürlich nicht dafür gemacht durch die Gegend getragen zu werden...

NAS möchte ich aus besagten Gründen der Portabilität weiterhin ausschließen; das wäre perfekt für stationären EInsatz, aber weniger für unterwegs im Van sowie mal hier im Café.

Die Frage hast du dir ganz zu Beginn eigentlich schon selbst beantwortet:


4 GB in 10 Sekunden entspricht also ca. 400 MB pro Sekunde.

Selbst mit einer SATA SSD könntest du das noch einfangen. Mit einer PCIe SSD in besagten Gehäusen wird das locker mehr als doppelt übertroffen mit mindestens 1 GB/s (also 10 GB in 10 Sekunden).

Das "Streamen" der Dateien funktioniert also schneller als Echtzeit. Das Bearbeiten des Streams wiederum hängt dann nicht mehr von der SSD sondern viel mehr von der verwendeten Grafikkarte (Hardware-Encoding) bzw. der CPU (und dessen iGPU) ab.

750MB-1.000 MB/s sind derzeit mein anvisiertes Ziel, mit dem genug Puffer für ein ordentliches Arbeiten mit Premiere möglich sein sollte. Wichtiger werden mir dann hier der insgesamte Formfaktor der Speichermedien samt Gehäuse (klein und portabel) und eben die Kapazität von ca. 16 TB. Leider gibt es große SSDs mit 8TB kaum "günstig", da eher aktuelle Modelle und daher auch von der Performance natürlich etwas Overkill. Muss mich da noch ein wenig durch die Produktlisten auf Geizhals arbeiten.