extrem schwankende Prozessorauslastung beim Rendern auf 10GBit NAS

[DavidH83]

Hallo,

ich rendere Videos in Davinci Resolve auf eine in Windows 7 als Netzwerklaufwerk verbundene Synology DiskStation DS2015xs.
Es sind 8 WD Red Festplatten mit jeweils 4 TB verbaut.
Das NAS ist direkt (ohne Switch) per Glasfaser mit dem PC verbunden. Die Netzwerkkarte ist eine 10GBit-Karte von Solarflare. Jumboframes sind sowohl im NAS als auch in Windows aktiviert.

Leider stockt das Rendern immer wieder. Die Prozessorauslastung schwankt permanent zwischen annähernd 100% und fast 0%. Auch die Netzwerkauslastung ist alles andere als konstant.
Wenn ich intern auf die SSD rendere, tritt dieses Verhalten nicht auf.
Hat jemand eine Idee, woran es liegen könnte?

Gruß, David

 

[Masamune2]

Wenn du Daten im Explorer vom und zum NAS kopierst welche Datenraten werden da erreicht?

 

[Dunkelschwinge]

Problem dürften die Zugriffszeiten sein und ich vermute die DS kann das Netzwerk nicht auslasten. Dieses Problem wirst Du auch nicht lösen können, daher intern rendern...

 

[computerbase107]

Zwei Fragen dazu:

1. Ist der Hauptspeicher von Nas und PC gut bestückt ?

2. Läßt sich in der Synology eine SSD als Datencache betreiben ?

 

[HominiLupus]

Und wie konstant sind die Datenraten?

 

[Mulleperal]

Ich bin zwar kein Experte, aber ich glaub die Personen die dir helfen können brauchen noch die Festplatten Konfiguration in dem NAS, also ob RAID und welcher Typ.
Mfg

 

[DavidH83]

Je nach Datei zwischen 100 und 350 MB/s.
Beim aktuellen Rendern ist die Schreibgeschwindigkeit aber nie über 40 MB.

Ergänzung (16. Juni 2016)

Die Festplatten sind als RAID 5 konfiguriert.

 

[xxMuahdibxx]

https://www.synology.com/de-de/products/DS2015xs

also maximal kann sie eh keine 10 gbit /s schreibend ...

 

[b1nb4sh]

Starte doch mal einen Kopiervorgang auf das Nas, damit wir feststellen können wie schnell die Datenübertragung via SMB ist.

 

[DavidH83]

Das NAS gibt an, dass von seinem Arbeitsspeicher aktuell 13% genutzt werden.
Auf dem PC werden aktuell von 32GB RAM ca. 24GB genutzt.

Es ließe sich eine Cache SSD im NAS installieren, allerdings sind die aktuellen Schreibraten eh nicht so wahnsinnig hoch (max. 40MB). Das sollte ein RAID 5 mit 8 Platten ja auch so schaffen, oder?
Einen Screenshot der Netzwerkauslastung habe ich im ersten Post angehängt.

 

[computerbase107]

https://www.synology.com/de-de/products/DS2015xs
also maximal kann sie eh keine 10 gbit /s schreibend ...

Wenn es die versprochenen 700 MB/s werden sollten plus SSD-Cache, dann wäre dieses Konfiguration doch schon flott unterwegs.

 

[DavidH83]

Beim kopieren über den Explorer wird die Geschwindigkeit denke ich von den Festplatten begrenzt. Da sind es jedenfalls bis ca. 350 MB/s.

 

[computerbase107]

...

Es ließe sich eine Cache SSD im NAS installieren, allerdings sind die aktuellen Schreibraten eh nicht so wahnsinnig hoch (max. 40MB). Das sollte ein RAID 5 mit 8 Platten ja auch so schaffen, oder? ...

Die SSD erhöht nicht nur die Schreibperformance, sondern auch das Ansprechverhalten vom Nas wird deutlich beschleunigt.

 

[Maxx2332]

Hast du ne interne HDD? Kannst du mal auf die rendern? Würde behaupten, dass das rendern keine sequentiellen Schreibvorgänge darstellt und deswegen HDDs gar keine Chance haben an eine SSD ranzukommen.


Sonst wird es halt ein Cache oder eine komplett andere NAS Konfiguration, wobei ich nicht sicher bin wie viel Synology da bietet, da ich selber nur mit FreeNAS arbeite.

 

[Masamune2]

In deinem Fall sind Quelle und Ziel das NAS? Ich denke damit wird das System etwas überfordert sein und die Latenz geht entsprechend hoch. Test mal mit NAS nur als Quelle oder Ziel, das sollte bei den Werten die du beim kopieren erreichst ohne Probleme möglich sein.

 

[supaman]

Die semi professionellen NAS haben oft nur ein Software Raid, d.h. die Raid-5 Berechnung läuft über die gleiche CPU wie das NAS OS. Beim Lesen kein Problem, beim Schreiben gibt das Einbrüche. Echte Raid Controller haben für sowas einen Spezialprozesser.

Ich würde man 2 Dinge ausprobieren:
1) 500 GB SSD Cache (aber bitte mit vernünftiger SSD, die auch ~500 Schreibrate mitmacht)
2) nur Raid 1 / Raid-10 benutzen (Spiegelung)

Dann weist Du, wo der Flaschenhals sitzt.

 

[DavidH83]

Eine interne HDD habe ich nicht, aber ich kann mal den Test auf eine USB 3 Platte machen. Gute Idee.

Die Quelldateien liegen auf einer per USB 3 angeschlossenen HDD. Das NAS ist also nur Ziel.

Die CPU-Auslastung beim NAS liegt im einstelligen Bereich.

Ich werde wahrscheinlich tatsächlich mal testen (müssen), ob eine Cache SSD das Problem löst.
Das wird allerdings noch ein paar Wochen warten müssen, weil erst dann wieder eine Lücke ist, wo nicht auf dem NAS gearbeitet wird.

 

[makiyt]

Ich rendere Videos zwar nur mit Premiere Pro bzw. dem Media Encoder, aber da lässt sich folgendes Verhalten festsellen:

Wenn ich Videos auf meinen (internen) RAID 1 mit 2x 3 TB rendere, wird die Videodatei trotzdem auf dem Systemlaufwerk (SSD) erzeugt. Wenn der Renderfortschritt bei 100% ist, bleibt das je nachdem einige Minuten dort stehen, parallel fängt die HDD-LED an wie wild zu leuchten. Im Taskmanager sieht man, dass erst jetzt die Enddatei auf die andere Festplatte geschrieben wird. Vielleicht verhält es sich bei Dir ja ähnlich.

 

[DavidH83]

Laut Ressourcenmonitor gibt es keine nennenswerten Schreibvorgänge auf die interne SSD.
Es wird von der USB 3 Platte gelesen und auf das NAS geschrieben.

Die Prozessorauslastung korreliert auch exakt mit der Schreib- und Leseauslastung.
Das der "Fehler" im NAS zu suchen ist leuchtet mir auf jeden Fall ein.

 

[supaman]

Die Quelldateien liegen auf einer per USB 3 angeschlossenen HDD. Das NAS ist also nur Ziel.

Hier erkenne ich 2 mögliche Engstellen:

#1 Quelle = USB 3
USB3 ist zwar deutlich besser wie USB2 - aber nicht gleichwertig oder gleichzusetzen mit einem SATA3 Anschluss. Das merkt man schon an den max. Schreib/Leseraten mit dicken Platten, die am SATA3 Anschluss 150-180 mb/sec machen und am USB nur ~100.

#2 Quelle = mechanische HDD
Grade bei vielen kleinen Daten oder der unvermeidlichen Fragmentierung kommt es zu heftigen Latenzen bzw Durchsatzeinbrüchen.

Für einen echten Test müsstest Du die Quelle mindestens mit SATA2 ankabeln, im idealfall intern SATA3 mit SSD.