Seafile auf Raspberry Pi 4 - iowait / Download von großen Dateien klappt nicht / Thumbs Problem

[Wintermute]

Hallo zusammen,

nachdem mir ewig lang niemand antwortet im Seafile Forum, kann mir vielleicht jemand von euch helfen.

Hier ist der Orginal Thread:
https://forum.seafile.com/t/cpu-iow...while-browsing-images-generating-thumbs/11589

Kurz erklärt:
Ich nutze folgende config:

• Seafile auf Raspberry Pi 4
• 32GB U3 SD Karte
• 256GB MX500 SSD an USB3 Port

Jedesmal, wenn nun große Datenmengen gelesen oder geschrieben werden sollen, geht iowait auf 25-90 Prozent und der Seafile Server hängt komplett. Zum Beispiel wenn Thumbs generiert werden oder ich eine große Datei runterladen möchte. Wenn ich die Anfragen dann abbreche, kehrt nach einiger Zeit wieder Ruhe ein. Seahub läuft die ganze Zeit ohne Probleme weiter, allerdings kann es nicht auf die Datenbank zugreifen, da alles hängt.

Problemlösungsansätze:

• SSD in Gehäuse mit Stromanschluss
• SSD durchgetestet, läuft wie erwartet von der Performance her
• Thumbnails dir auf die SSD gepackt
• Simultane Verbindungen auf nginx testweise limitiert
• verschiedene Versionen von Pillow ausprobiert

Interessant auch:
Das Problem tritt in dieser Ausprägung nur beim Download auf. Ich habe gerade testweise eine 4GB Datei auf den Server kopiert. Er verbrachte ewig mit "indiziere Dateien", hat die Datei aber dann nach ein paar Minuten hochgeladen über LAN (allerdings auch etwas langsam mit nur 20-25 MB/s und stark schwankender Geschwindigkeit). Aber da beschwere ich mich nicht, hauptsache es geht.

Hat vielleicht irgendwer eine Idee?
Ich bin bestimmt nicht der Backend Gott und kenne mich auch mit Linux nur soweit aus, dass ich es mit Ach und Krach geschafft habe, Seafile ans Laufen zu bekommen.

 

[Hancock]

Was sagt dmesg? SSD auf USB3 lief bei mir z.B. nur suboptimal (M.2 SSD via Adapter, der sich die ganze Zeit aufgehängt hat).

 

[yoshi0597]

Welchen Pi 4 hast du? 1GB, 2GB, 4GB oder den neuen 8GB?
Hast du schonmal geachtet wie viel RAM belegt wird? (falls die Daten im Arbeitsspeicher automatisch gecached werden und irgendwann ist der Arbeitsspeicher voll)
Wie ist die Temperatur vom Pi4? Wird er gekühlt?
Sorry aber mehr Ideen habe ich leider auch nicht :-(
Ich nutze auf meinem Pi leider kein Seafile.
Vielleicht ist OpenMediaVault eine Alternative für dich :-) Bei mir funktioniert letzteres ohne Probleme und die Geschwindigkeit ist zwischen 30 - 90MB/s (in Abhängigkeit von WLAN oder LAN auf dem jeweiligen Endgerät. Über WLAN ist das Maximum aber bei ca. 40MB/s erreicht, da das WLAN nicht mehr mitmacht)

 

[honky-tonk]

wird arch von seafile unterstützt? ich wollte auch auf meinem pi4 unter manjaro auch openhab und nextcloud installieren und bin in viele probleme rein gelaufen. nach dem wechsel auf debian lief alles ohne probleme.

ich mag zwar manjaro leiber als arch, aber in dem fall war debian unkomplizierter

 

[kartoffelpü]

Schau dir mal mit iotop oder iostat (müssen vermutlich beide über apt nachinstalliert werden), ob denn während deiner Aktionen auch die SD-Karte höhere IO-Last hat. Falls ja, könnte das der Flaschenhals sein.

 

[Wintermute]

Was sagt dmesg? SSD auf USB3 lief bei mir z.B. nur suboptimal (M.2 SSD via Adapter, der sich die ganze Zeit aufgehängt hat).

Nach was muss ich das schauen?

Welchen Pi 4 hast du? 1GB, 2GB, 4GB oder den neuen 8GB?
Hast du schonmal geachtet wie viel RAM belegt wird? (falls die Daten im Arbeitsspeicher automatisch gecached werden und irgendwann ist der Arbeitsspeicher voll)
Wie ist die Temperatur vom Pi4? Wird er gekühlt?
Sorry aber mehr Ideen habe ich leider auch nicht :-(
Ich nutze auf meinem Pi leider kein Seafile.
Vielleicht ist OpenMediaVault eine Alternative für dich :-) Bei mir funktioniert letzteres ohne Probleme und die Geschwindigkeit ist zwischen 30 - 90MB/s (in Abhängigkeit von WLAN oder LAN auf dem jeweiligen Endgerät. Über WLAN ist das Maximum aber bei ca. 40MB/s erreicht, da das WLAN nicht mehr mitmacht)

Hab den Pi4 mit 2GB RAM. Da ist eigentlich immer genug frei.
Pi wird passiv gekühlt und geht nicht über 52 Grad hinaus.
Swap liegt auf SSD.

Hat Openmediavault auch ein Android und iOS app? Eventuell wechsele ich dann. Seit Monaten versuche ich das Problem zu lösen.

Schau dir mal mit iotop oder iostat (müssen vermutlich beide über apt nachinstalliert werden), ob denn während deiner Aktionen auch die SD-Karte höhere IO-Last hat. Falls ja, könnte das der Flaschenhals sein.

Auf der SD Karte passiert nicht viel. Wenn man lange genug wartet, fängt er irgendwann mal an, die Datei runterzuladen. Dann passiert minutenlang nichts, bis es dann einen Schub macht und er kurz sehr schnell 50-60Mb zieht, dann hängt wieder alles. Iowait bei 50% plus.

Hab euch mal einen Glances Screen angehängt. So sieht das System aus, wenn ich gerade eine 500Mb Datei ziehen möchte.

Ergänzung (17. Juni 2020)

Hier nochmal ein Screen, während ich 1GB uploade. Das läuft ohne Probleme. Erstaunlich viel aktivität auf der SD Karte allerdings. Puffert nginx evtl irgendwas, was mir beim Download dann durch die Decke geht? Leider hängt bei aktivem DL alles derart, dass ich kaum gescheite Telemetrie bekomme. Eventuell versucht er wie irre auf die Karte zu schreiben und die kommt nicht nach. Allerdings ist das (seit heute) eine nagelneue U3 Sandisk. Die schafft einiges an Transfer, wie ich beim image schreiben heute gesehen habe.

 

[Hancock]

dmesg sollte ja eine bunte Ausgabe haben, alles was rot ist und mehrfach auftaucht ist Grund zur Sorge.

Buffering/iowait dürfte aber nicht verhindern, dass glances weiterhin dein Screen aktualisiert.

 

[Wintermute]

Nichts rotes ist dort zu sehen.
Hm ok @ glances. Dann passiert tatsächlich nichts. Er will runterladen, es kommt aber nur alle paar Minuten ein kleiner Schub an Daten. So sieht es aus, wenn er mal kurz nicht hängt beim Download. Iowait geht kurz runter, Daten kommen, dann springt es wieder hoch.

Ergänzung (17. Juni 2020)

So sieht dmesg derweil aus

 

[yoshi0597]

@Wintermute OpenMediaVault hat keine Apps. Wenn du ein Laufwerk verwendest kannst du über "Dateien" in iOS / iPadOS zugreifen. Android sollte ähnlich funktionieren über einen Dateimanager oder ähnliches.
Ich kann dir nur leide rnicht sagen, ob du auch diverse Nutzer einrichten kannst. Bei mir ist das "offen" für jeden eingestellt, da das unsere Mobile Festplatte ersetzen soll :-)

 

[Wintermute]

Ah, ok. Dann danke für den Tipp. Ich benötige aber leider eine Plattform mit Webinterface wie Seafile. Nextcloud hatte ich schon probiert, das war aber eine Katastrophe. Etwas "klapprigeres" habe ich selten erlebt. Alles fühlt sich an, als wäre es nur halb fertig.

 

[Hancock]

OK, nicht rot, aber böse: Dein sda (usb uas) wird die ganze Zeit getrennt.

Guck mal hier: https://www.raspberrypi.org/forums/viewtopic.php?t=245931

 

[Wintermute]

Guck mal hier: https://www.raspberrypi.org/forums/viewtopic.php?t=245931

Das hat geklappt!!! Genial, danke! Was das Seafile Forum in 3 Monaten nicht gepackt hat, hat CB in 6 Stunden erledigt. Danke vielmals!

Jetzt hab ich nur noch ein Problem:
Es sieht aus, als würde er jedesmal eine Datei von der SSD erstmal auf die SD Karte schreiben und sie dann erst zum Download weiterleiten. Das ist zwar schon okay, aber auch nicht Sinn der Sache. Weißt du eventuell auch noch, wie ich das umgehe? Ist ja auch nicht so gesund für die SD Karte am Ende.

 

[Hancock]

Das ist wiederum eine Frage für das Seafile Forum :-). Finde raus, wer wo auf die SD-Karte schreibt, dann kannst du passend drauf reagieren. fatrace bietet sich mit grep an

sudo fatrace |grep -v /mnt/mx256