Kaufberatung NAS

[fanatiXalpha]

Danke für die Info ropf, ja das weiß wahrscheinlich nur Jellyfin bzw die Leute die da reinschauen können.
Aber ich werde doch mal die stärkere GPU holen und berichten.
Zumal diese dann auch einen Codec mehr kann und trotzdem passt

 

[fanatiXalpha]

So, neue GPU (RTX A400) ist eingebaut und der erste Test mit der gleichen Konfiguration wie für die T400 absolviert.

Habe natürlich bei der T400 damals nicht auf die Temperatur geschaut.
Aber bei der A400 sehe ich mehr Schwankungen der Auslastung in dem kurzen Test.
Könnte sein, dass die GPU etwas mehr vorarbeiten kann, who knows.

Dann stelle ich jetzt mal Jellyfin so sein, dass auch AV1 geht.
Mal sehen ob das einen Unterschied macht.
....


EDIT:
Ah, Fehler meinerseits glaube ich.
Zwar kann die A400 AV1 decodieren laut Geizhals.
Aber bei "Encoding" steht nur H.265 und H.264
Das heißt Jellyfin versucht in AV1 zu codieren, da die GPU das aber nicht kann führt es zum Fehler.

Naja, Learning by doing
Aber gut, immer hin ein Codec mehr, den die GPU im Zweifel decodieren kann.

 

[ropf]

Die Auslastungsgrafik ist von der missglückten AV1-Codierung?

 

[fanatiXalpha]

nein, von der erfolgreichen H.264 Transcodierung
in beiden Fällen, weil AV1 nicht verfügbar ist

Setze ich den Haken unten bei AV1 kracht es

 

[alturismo]

Zwar kann die A400 AV1 decodieren laut Geizhals.
Aber bei "Encoding" steht nur H.265 und H.264
Das heißt Jellyfin versucht in AV1 zu codieren, da die GPU das aber nicht kann führt es zum Fehler.

für das nächste mal ...

https://developer.nvidia.com/video-encode-and-decode-gpu-support-matrix-new

Encoding Matrix öffnen, dann weißt du es vorweg

und Nein, zum Encoding braucht es keine x8, x16 Lanes ...

 

[fanatiXalpha]

Ja die Seite hatte ich mal gesehen. Aber hab ich zu dem Zeitpunkt vergessen gehabt 🙄
Muss ich mir an die Nase fassen

 

[fanatiXalpha]

ich überlege gerade doch eine SSD einzubauen, unabhängig ob das Caching oder sonst was sinnvoll sind.
wenn ich richtig gesehen habe läuft das OS zwar nicht von den Festplatten, aber die Programme
Und das kann zum Teil dann so langsam werden, dass das NAS nicht wirklich nutzbar/erreichbar ist....
Jetzt gerade aktualisiert Jellyfin zum Beispiel im Hintergrund die Metadaten zur Medienbibliothek.
Und die Auslastung ist wohl so hoch, dass das NAS nicht mehr erreichbar ist...
Deswegen kann ich leider nicht einsehen, was genau so ausgelastet ist.

Ist nur die Frage, ob SSDs da helfen und ob ich das noch im Nachhinein machen kann.
Ich durchsuche mal das Internet.

EDIT:
Ah, das NAS hat es geschafft selber eine Meldung rauszugeben...

also doch RAM der voll ausgelastet ist?
hätte ich nicht gedacht
wenn ich mich nicht irre war bei der Initialisierung der Haken bei der Kompromierung gesetzt
wahrscheinlich ist das der Grund für die hohe Auslastung, daran hab ich nicht gedacht
mehr RAM oder SSD einbauen...

EDIT2:
endlich hat er es mal aktualisiert

 

[Banned]

Ich hatte dir doch mal empfohlen, da 16GB-ECC-RAM einzubauen.

Also das bei ZFS der RAM immer so sehr belegt ist, ist normal. Das wird quasi immer so sein (weil er reserviert wird). Dass allerdings ein Swap angelegt werden muss, sollte nicht sein.

Komprimierung? Ja, das könnte wohl eine Ursache sein. Denn auch mit 8GB sollte es eigentlich bei der von dir beschriebenen Anwendung nicht zu so etwas kommen. Also einfach mal deaktivieren und schauen.

Trotzdem ECC-RAM einbauen. Denn den nicht zu nutzen, wenn es das NAS unterstützt ist, blödsinnig.

Hier, such dir welchen aus:

https://geizhals.de/?cat=ramddr3&xf=15903_DDR4~15903_SO-DIMM~15903_mitECC

Bis 3200er unterstützt deine CPU (aber weniger läuft natürlich auch und macht hier keinen großen Unterschied). Am besten dann 2x8GB und den alten raus. Wenn du gerne klotzen willst - bis 64GB unterstützt die CPU, aber über 32GB würde ich nicht gehen. Schon 16GB werden dicke reichen, sofern du nicht viel mit VMs oder so machst, oder du über ~96GB Gesamtkapazität (inklusive Parität) kommst.

 

[fanatiXalpha]

Ich hatte dir doch mal empfohlen, da 16GB-ECC-RAM einzubauen

Ist doch auch drin oder hab ich da was falsch verstanden?
Hab den von dir empfohlenen 8Gb ECC RAM 2x gekauft

 

[Banned]

Aso, dann alles gut. Sieht man ja auch auf deinen Screenshots, dass 16GB verbaut sind. Bin spät aufgestanden und hatte erst einen Kaffee.

Lag dann bestimmt an der Komprimierung (denn deine Prozesse lasten den RAM doch anscheinend gar nicht sehr aus). Wobei mich auch das bei 16GB eigentlich wundert. Naja, guck halt mal und zur Not dann evtl. doch ne SSD.


PS: Mal was anderes: Guck, dass du hin und wieder (1 mal im Jahr oder so) nen Scrub laufen lässt, falls du das noch nicht auf dem Schirm hattest. Das trägt zur Datenintegrität bei.

 

[fanatiXalpha]

Also einfach mal deaktivieren und schauen.

Das werde ich auf jeden Fall machen
Ich hab ja erstmal mehr als genug Platz denke ich.

Ergänzung (Samstag um 11:25)

Guck, dass du hin und wieder (1 mal im Jahr oder so) nen Scrub laufen lässt, falls du das noch nicht auf dem Schirm hattest

Ich hatte das auf dem Schirm und hätte wahrscheinlich auch hier nochmal nachgefragt.
Wollte nach der Initialen Einrichtung alles mal durchgehen an Optionen etc und mein Wissen mehren.

Das scrubben ist also etwas, was man manuell anstoßen muss?
Ich nehme an, je nach OS heißt die Option dann anders?

 

[Banned]

Ich hab bei mir auch Komprimierung komplett deaktiviert. Es gibt dort Algorithmen, die kosten sehr wenig Leistung, komprimieren aber auch nicht viel. Andere wiederum komprimieren schon gut was, kosten aber auch ordentlich Leistung. Weiß ja nicht, welcher bei dir aktiv war. LZ4, welcher eigentlich Standard bei ZFS ist, sollte zumindest nicht viel Last erzeugen.

Ergänzung (Samstag um 11:30)

Das scrubben ist also etwas, was man manuell anstoßen muss?

Kann man so oder so machen. Du kannst entweder eine Task dafür einrichten, welche in einem gewissen Intervall startet. Im professionellen Bereich m.W. auch gerne mal jede Woche. Oder eben den Scrub für einen Pool manuell anstoßen.

Ein Hinweis dazu: ZFS überprüft die Daten bei jedem Lesen (so wie bei einem Scrub). Wenn du also z.B. in einem gewissen Abstand ein Backup der Daten machst, werden diese dabei über das Lesen schon automatisch geprüft. Der Unterschied gegenüber dem Scrub ist, dass bei diesem wirklich komplett alles geprüft wird (das gesamte Dateisytem ab Root --> also der komplette Verzeichnisbaum).

Ich nehme an, je nach OS heißt die Option dann anders?

Gute Frage.

 

[ropf]

Welche Prozesse sind das eigentlich, die derart viele IOs erzeugen, dass die CPU nur noch mit Warten beschäftigt ist?

 

[fanatiXalpha]

@ropf Wie kann ich das herausfinden?
Ich habe hier Jellyfin im Verdacht und das hinzufügen bzw aktualisieren von Metadaten

Ergänzung (Samstag um 13:24)

Wenn du also z.B. in einem gewissen Abstand ein Backup der Daten machst, werden diese dabei über das Lesen schon automatisch geprüft.

Das habe ich auch regelmäßig vor
Wie schon mal geschrieben externe Platte die auch mit zfs arbeitet wenn möglich.

 

[Banned]

Wie schon mal geschrieben externe Platte die auch mit zfs arbeitet wenn möglich.

Ich weiß nicht, wie es in QNAP geregelt ist (wahrscheinlich einfacher), aber in TrueNAS muss man die Platte als Pool einrichten und dann jedes Mal importieren bzw. exportieren. Also leider nix mit Hot-Plug, aber auch kein Beinbruch. Wie gesagt, könnte mir gut vorstellen, dass es bei QNAP einfacher gelöst ist.

Das Coole an einer externen Platte mit ZFS ist, dass du diese dann auch scrubben kannst (nur eben ohne Redundanz bzw. Parität).

 

[ropf]

@ropf Wie kann ich das herausfinden?
Ich habe hier Jellyfin im Verdacht und das hinzufügen bzw aktualisieren von Metadaten

Dein Ressourcen-Monitor ist schonmal ein guter Ausgangspunkt - danach ist Jeyllyfin der grösste Brocken hinsichtlich CPU- und Speicherverbrauch, der Rest ist Pillepalle.

Die Werte der Prozesse in der Übersicht erklären aber nicht die hohe Gesamtauslastung - die anderen Kategorien im Ressourcenmonitor geben vielleicht weitere Hinweise - wobei solche (oberflächlichen) Tools oft den "internen" Gebrauch von Treibern etc. nicht mit anzeigen.

Ab da wirds glaskugelig - hab weder Ahnung von QNAP, noch ZFS noch Jellyfin. Versuchsweise Jellyfin mal stoppen - sehen was passiert - Jellyfin mal auf eine "einfache" ext4 Partition loslassen - sehen, ob es besser läuft - probeweise mehr RAM dazustecken (evtl beim freundlichen PC-Händler um die Ecke ausleihen) ... oder mit der Kommandozeile anfreunden - ssh- oder telnet-Zugang einrichten - und das System erforschen ;-)

... eine SSD für den Swap kann jedenfalls nicht die Lösung sein - höchstens die Symptome eines tieferliegenden Problems mildern.

 

[fanatiXalpha]

so, ich war jetzt ja eh unterwegs und das NAS war mehr wie 24h alleine
ich komm zurück und es sieht so aus:

Da passt doch was gewaltig nicht mit Jellyfin...

Ergänzung (Sonntag um 20:01)

Wie gesagt, könnte mir gut vorstellen, dass es bei QNAP einfacher gelöst ist.

das werde ich dann die Tage rausfinden

EDIT:
Jellyfin stoppen hat auch die hohe Auslastung natürlich zurückgenommen.
muss mal schauen, welche Einstellung da das Problem verursacht...

 

[Banned]

Je nachdem, wie viele Daten du auf dem NAS hast, scannt es die vielleicht irgendwie durch und das dauert. Das war auch der Grund, warum ich früher unter Windows bei Festplatten immer die erweiterte Indizierung deaktiviert habe. Mit SSDs fällt sowas halt nicht so auf, aber mit Festplatten war das die Pest. Könnte mir gut vorstellen, dass JF was ähnliches tut und jetzt erst mal alle neuen Daten durchscannt.

Da ich persönlich sowas nicht nutze, kann ich leider nicht mehr als vage Vermutungen beitragen.

 

[fanatiXalpha]

ich halte da mal weiter ein Auge drauf
vielleicht ist er auch beim Metadaten Update irgendwo hängen geblieben...

EDIT:
super, neues Problem
Transcodierung hatte vorher ja funktioniert gehabt
jetzt nicht mehr, GPU wird irgendwie nicht mehr erreicht, bricht mit schwerwiegendem Fehler ab
muss mich nächste Woche mal auf die Suche machen....

 

[ropf]

Immerhin gibts nichtmehr das gigantische Speicherleck ... mit dem (zeitnahen?) Ausfall der GPU könnte das durchaus ein Hinweis sein, wo das Problem zu suchen ist ... würd mal nach Berichten von Problemen zwischen Jellyfin und GPU suchen.

Ansonsten Logs anschauen ... Bei Jellifin, falls es eine solche Einstellung gibt. Logging einschalten ... oder Jellyfin vorübergehend deaktivieren, System neustarten, schauen was die GPU macht ... Systemlog öffnen, Jellifin starten - Meldungen beobachten ...