extrem schwankende Prozessorauslastung beim Rendern auf 10GBit NAS

[supastar]

Keine Ahnung, was ein "Annapurna Labs Alpine AL-514" zu leisten im Stande ist.

Das mit den 10 Gbit Ethernet ist vermutlich eh mehr Marketing als Versprechen.
Theoretisch möglich wegen der Schnittstelle, aber praktisch nicht wegen der Hardware.
(Wie die NAS-Geschwindigkeit bei ner Fritz!box)

Sind die WD Red die Pro-Serie oder die normalen? Denn die normalen sind ja eigentlich nur für 1-5 Laufwerke spezifiziert.
Nicht dass die so stark schwingen und dadurch langsamer drehen, dass es an diesem liegt.

 

[Vindoriel]

Eine interne HDD habe ich nicht, aber ich kann mal den Test auf eine USB 3 Platte machen. Gute Idee.

Die Quelldateien liegen auf einer per USB 3 angeschlossenen HDD.

Macht wenig Sinn, dass dann der USB-Controller sowohl lesen als auch schreiben muss (nur eine Übertragung gleichzeitig möglich).

Da bliebe halt nur das Speichern auf einen internen Datenträger und bei bester Gelegenheit verschiebst Du alles aufs NAS.

 

[chrigu]

naja, rendern bedeutet... lesen, in ram-cache schieben, berechnen, cache-umschreiben, zusammenfassen und auf festplatte schieben, und das wohl auch noch mit proxy-files, also doppelt. dazu noch die raid5 konfiguration mit schreiben, spiegeln, vergleichen und verdoppeln plus auch noch indexieren und transcodieren...
du bist schneller, wenn du eine festplatte direkt in den pc steckst und dort deine rohdaten lagerst, den proxy/cache von davinci sollte auf der schnellen ssd gelagert sein, und das fertig gerenderte videofile manuell auf die nas kopierst.

 

[DavidH83]

Der maximale Durchsatz ist wie gesagt weit unter den Möglichkeiten. Die USB Platte müsste aktuell um die 10 MB pro Sekunde bereitstellen, um den Prozessor voll auszulasten.
Auch das NAS kann ja bei einem einfachen Kopiervorgang ca. 10x schneller schreiben, als es das aktuell tut.

Das Problem sind wohl eher Latenzen / Zugriffszeiten.

In Tests mit einer mit SSDs vollgepackten DS2015xs schafft das NAS locker 10GBit.
Und auch in meinem Fall ist es ja nicht die maximal mögliche Geschwindigkeit, die begrenzt.

Die Festplatten sind die Pro Version der RED.

Intern ist nur eine 500GB SSD verbaut, genau.
Die zu schreibenden Videodaten haben insgesamt eine Größe von knapp 3 TB. Erst auf die SSD rendern und dann verschieben ist also leider keine Option.

 

[Wolfsrabe]

Kannst du sicher ausschließen, daß in deinem Programm Davinci Resolve die Cache-Settings nicht vielleicht ungünstig eingestellt sind?

Ich kenn mich mit dem Programm nicht aus, habe nur bei Google "Davinci Resolve cache" eingegeben und bin auf diverse Seiten mit Tipps gekommen. Wenn man das ausschließen kann, würde ich auf jeden Fall auch auf das NAS tippen.

Ansonsten gibt es in der digitalen Produktion (im Bereich Film, Foto, Dokumentendigitalisierung usw.) manchmal die Erfahrung, daß es günstiger ist, Daten zunächst lokal zu produzieren, und diese erst am Ende des Projektes (oder am Ende des Tages o.ä.) mit einem Wisch über's Netz zu schieben. Dadurch fallen zumindest die Netz-Antwortzeiten (Latenzen) und ein wenig Overhead weg.
Zumindest ist das meine Erfahrung in der Dokumentendigitalisierung.

 

[DunklerRabe]

Wie sieht denn die Konfiguration der 10G Karten aus? RX/TX Buffer? Interrupt Rate / Drosselung? Jumboframes hab ich gesehen hast du aktiviert, dabei wäre das aber nicht mal das wichtigste. 10G erzeugt halt etwas CPU Last. Moderne CPUs kriegst du damit nicht klein, aber du machst das während du mit dem Rendering Job eine klassische CPU-lastige Anwendung betreibst.

Und wenn du dann auch noch Quelle und Ziel auf dem selben Laufwerk hast, dann ist klar, dass da nicht mehr viel passiert.

Ich würde lokal rendern und das fertige Ergebnis dann per 10G wegschreiben. Zu große Dateien gibt es nicht, dann brauchst du lokal halt mehr Speicher. Ist ja nicht so, dass das nicht machbar wäre.

 

[DavidH83]

Zu RX/TX Buffer habe ich nichts gefunden.
"Interrupt Moderation" steht auf enabled.

Die WD RED sind wie gesagt die Pro Version.
Quelle und Ziel sind wie gesagt nicht auf dem gleichen Laufwerk.
Lokal rendern und dann kopieren ist wie gesagt keine Option, da es knapp 3 TB Daten sind und intern nur eine 500 GB SSD installiert ist.

 

[DunklerRabe]

Die Interrupt Moderation könntest du versuchsweise mal abschalten, teilweise wird da etwas sehr konservativ vorgegangen. Die Option muss es aber auf beiden Seiten geben. Allerdings wird das dann wohl nur einen Einfluss auf die Performance haben während du nicht renderst, weil die CPU dann ja sowieso ausgelastet ist.

RX/TX Buffer hat vielleicht auch einen anderen Namen, da geht es um das Caching der Netzwerkpakete. Wenn die zu klein sind wirkt sich das negativ auf die Performance aus, wenn man die größer macht tauscht man Arbeitsspeicher gegen Performance/Durchsatz. Wenn es sowas bei dir nicht gibt, dann beherrschen das die 10G Karte bei dir vielleicht nicht (oder die Treiber können es nicht).

Wenn das alles nicht greift, dann gehen dir halt die Optionen aus und du musst lokal rendern. 3 TB kriegt man lokal ja durchaus hin. Ich denke, dass das deine beste Option ist. Die andere Option wäre noch das Problem mit Hardware zu erschlagen, d.h. CPU mit mehr Kernen um Rendering und den Rest stärker voneinander zu trennen. Bessere 10G Karte mit mehr Einstellmöglichkeiten im Desktop. Besseres NAS.

 

[Freak_On_Silicon]

Ich tippe hier eigentlich auf die Netzwerkkarte im PC.

 

[DavidH83]

Vielen Dank schon mal für die vielen Antworten!

Ich werde testen, was noch zu testen ist und euch wissen lassen, was es am Ende war.

 

[DavidH83]

Das Problem hatte zumindest auch mit der Art zu tun, wie Davinci Resolve die Daten schreibt.
Nur zur Erinnerung: Wenn ich auf die interne SSD gerendert habe, hat Davinci keine Probleme gehabt, aber wenn ich auf den Server gerendert habe, ist die Prozessorauslastung immer wieder eingebrochen.

Ich rendere gerade einen Teil der Daten in Avid Media Composer neu, da bei einigen Videos der Farbraum falsch war und siehe da - die Prozessorauslastung liegt konstant bei 99% und die Schreibrate auf den Server bei immerhin 60MB/s.


Ich werde trotzdem das Schreibproblem im Zusammenspiel mit Davinci lösen müssen, aber zumindest weiß ich jetzt, dass es ein Davinci-Problem ist.