Samba Freigabe Dateien Indexierung

[Marcwa19197]

Habe mal auch Windows umgestellt und das NAS komplett neu gestartet - leider kein Erfolg.

Das einzige was für heute bei mir im Log steht ist:

Aug 18 00:00:02 19197-srv syslog-ng[4690]: Configuration reload request received, reloading configuration;
Aug 18 06:28:02 19197-srv collectd[5078]: aggregation plugin: Unable to read the current rate of "19197-srv.dom.local/cpu-0/cpu-user".
Aug 18 06:28:02 19197-srv collectd[5078]: utils_vl_lookup: The user object callback failed with status 2.
Aug 18 13:44:22 19197-srv collectd[5078]: aggregation plugin: Unable to read the current rate of "19197-srv.dom.local/cpu-1/cpu-user".
Aug 18 13:44:22 19197-srv collectd[5078]: utils_vl_lookup: The user object callback failed with status 2.
Aug 18 13:44:22 19197-srv collectd[5078]: aggregation plugin: Unable to read the current rate of "19197-srv.dom.local/cpu-3/cpu-user".
Aug 18 13:44:22 19197-srv collectd[5078]: utils_vl_lookup: The user object callback failed with status 2.
Aug 18 15:50:12 19197-srv collectd[5078]: aggregation plugin: Unable to read the current rate of "19197-srv.dom.local/cpu-0/cpu-user".
Aug 18 15:50:12 19197-srv collectd[5078]: utils_vl_lookup: The user object callback failed with status 2.

Habe das Logging mal auf "Full" gestellt und den Share aufgerufen. Er hat geladen, wärenddessen war jeder Dateizugriff (Den Windows macht um das Datum auszulesen - schätze ich mal) im Log vermerkt.. Eigentlich sollte er genau diese Info Cachen, dann würde das Listing sofort gehen..

[2017/08/18 19:13:26.364433,  3] ../source3/smbd/smb2_read.c:413(smb2_read_complete)
  smbd_smb2_read: fnum 3930149298, file Folder1/movie1.mp4, length=524288 offset=524288 read=524288

Edit: Das logging war unter /var/log/samba4/log.smbd
Edit2: Die CIFS Shares waren vor den NFS shares da.. und leider auch langsam..

Ergänzung (18. August 2017)

Was bringt den das Samba attribut "cacheprime"? Achjah, der Share um den es geht ist gar nicht als NFS Share verfügbar, habe ich gerade nachgesehen

 

[Ex0r]

Moin!
Also langsam gehen mir die Optionen aus. Der "Read" Vorgang im SMB Log ist ja auch okay. Ist der Windows SMB Pfad sehr lang? Ich halte die auch immer möglichst kurz. Der Log Error im Syslog scheint ein Freenas Bug zu sein.

Nur mal so nebenbei: ECC RAM hast du schon oder? Wie sieht dein Netzwerk aus. Ausschließlich Gigabit Cat 5e bis 6? Keine Loops, gute Switches? Wie viel MB/s kriegst du von dem Share? Du solltest mit einem Transfer einer großen Datei locker auf 99% Nic Auslastung am Client kommen. LAG benutzt du nicht?

/edit: Achso zum Thema Caching. Also ich habe da damals echt nichts eingestellt. Mir ist auch von anderen Systemen nix bekannt wo man das aktivieren muss.

Was mir gerade noch einfällt: Deaktiviere bitte mal die Windows 10 Vorschaubilder am Client. Muss man googlen. Ist etwas versteckt meine ich. Wenn es erfolgreich war siehst du in dem Share nur noch die Standard icons für die entsprechenden Dateien und bei Bildern z.B. ist selbst wenn man ein Bild anklickt rechts "kein Vorschaubild verfügbar".

/edit2: Ich meine das wars: http://techfrage.de/question/11524/windows-10-thumbsdb-erstellung-deaktivieren-anleitung/

Zumindest gehts so in die Richtung. Das verhindert auch Deadlocks. Damit hatte ich Probleme. Wenn ich übrigens ne Datei lösche, sehe ich das manchmal nicht sofort. Aber naja. Kann ich mit leben

 

[Marcwa19197]

Ich hänge an diesem Problem auch schon mehrere Monate, bevor ich den Thread aufgemacht habe. Habe mich langsam damit abgefunden, auch wenn es eigentlich unverständlich ist.. Arbeite selbst auch beruflich in der IT.

Ist der Windows SMB Pfad sehr lang?

Der Pfad ist eigentlich wie im Log geschrieben "SHARE\\Folder1\movie.mp4" oder manchmal auch "SHARE\\Folder1\Folder1-2\movie.mp4".

Nur mal so nebenbei: ECC RAM hast du schon oder?

Ja, was anderes nimmt der Microserver ja leider nicht..

Ausschließlich Gigabit Cat 5e bis 6?

Folgender Ablauf bis zu meinem PC:
Microserver - via CAT 6 zum Gigabit Switch (TP-Link TL-SG108) - dann via CAT 7 Verlegekabel durch den Boden in eine Netzwerkbüchse (auch min. CAT 6) im Keller, von dort dann via CAT 6 in den Speedport W921V (Welcher auch nur Gigabit Ports hat) - dann wieder vom Router aus via normalem CAT 6 Kabel nach oben, dort in einen weiteren TP-Link Switch (selbes Model wie oben) - von dort dann wieder via CAT 6 in einen weiteren TP-Link Switch (Am Schreibtisch) - von dort dann letztendlich via CAT 6 zum PC.
(Bisschen wirr, ist aber durchgehend Gigabit. )

Keine Loops, gute Switches?

Keine Loops, nur TP-Link TL-SG108 oder das Model aus Plastik verbaut.

Wie viel MB/s kriegst du von dem Share? Du solltest mit einem Transfer einer großen Datei locker auf 99% Nic Auslastung am Client kommen. LAG benutzt du nicht?

Du meinst L2ARC oder? (Siehe: http://www.45drives.com/wiki/index.php?title=FreeNAS_-_What_is_ZIL_&_L2ARC)
Nein, mit L2ARC habe ich nichts eingestellt.. auch wenn ich mir gestern noch https://forums.freenas.org/index.php?threads/cifs-directory-browsing-slow-try-this.27751/ durchgelesen hatte.. Wäre es bei allen CIFS Shares würde ich das ja noch halb verstehen, es ist aber nur bei diesem einen. Ich vermute langsam es liegt an der Dateigröße und die dazugehörige Filemenge.. (Viele Videodateien, Knapp 2.000, dazu jedes min. 2-8GB groß oder sogar größer.

Was mir gerade noch einfällt: Deaktiviere bitte mal die Windows 10 Vorschaubilder am Client. Muss man googlen. Ist etwas versteckt meine ich. Wenn es erfolgreich war siehst du in dem Share nur noch die Standard icons für die entsprechenden Dateien und bei Bildern z.B. ist selbst wenn man ein Bild anklickt rechts "kein Vorschaubild verfügbar".

Habe als Ansicht immer "Detail" drin, dann wird sowieso nichts angezeigt, zudem sind sowieso keine Vorschaubilder verfügbar, da es ja ausschließlich Videos sind. (Windows zeigt da ja nur bei .wmv vorschaus an, soweit ich weiss.)
Sehe durchgehend nur das VLC-Player Icon.

Zumindest gehts so in die Richtung. Das verhindert auch Deadlocks. Damit hatte ich Probleme. Wenn ich übrigens ne Datei lösche, sehe ich das manchmal nicht sofort. Aber naja. Kann ich mit leben

Das ist mir eher schon generell bei Lokalen Drives aufgefallen, oder das man Files wo speichert und diese nicht sofort sichtbar sind.. vorhin beim Speichern des Screenshots auf dem Desktop auch wieder.. naja Windows eben

 

[Ex0r]

Die Detail Ansicht reicht übrigens nicht. Ich glaube Win10 versucht da trotzdem irgend nen thumbs.db Quatsch. Nen Versuch ists halt wert.
Lustig, ich habe auch so ne TP Link Möhre für das Spielzeug Switching. Das ernstere übernimmt aber nen besser Metall Linksys.

Was mich auch zur Bandbreite bringt. Wieso liest du so derbst langsam? Schreibend ist ja okay aber 17MB/s bis 18MB/s lesen?

/Edit: Achso und ich meinte wirklich LAG = Link Aggregation = Bündelung 2er oder mehr Links. Glaube aber nicht, dass der TP Link das überhaupt kann. Effektiv geht also nur einmal Cat6 in deinen Microserver. Habe auch Cat 7 im Boden. Gibt nix geileres und stabileres.

 

[Marcwa19197]

Die Detail Ansicht reicht übrigens nicht. Ich glaube Win10 versucht da trotzdem irgend nen thumbs.db Quatsch. Nen Versuch ists halt wert.

Habe es mal abgeschaltet und neu gestartet. Leider kein Erfolg..

Wieso liest du so derbst langsam? Schreibend ist ja okay aber 17MB/s bis 18MB/s lesen?

Das ist eine sehr gute Frage.. Andere Shares sind auch so langsam.
Habe mal von einem Windows Server 2016, welcher mit separater Hardware am selben Switch wie der Microserver hängt gemessen:

Achso und ich meinte wirklich LAG = Link Aggregation = Bündelung 2er oder mehr Links. Glaube aber nicht, dass der TP Link das überhaupt kann. Effektiv geht also nur einmal Cat6 in deinen Microserver. Habe auch Cat 7 im Boden. Gibt nix geileres und stabileres.

Achso, nein das denke ich auch nicht.. vorallem müssen es ja dann eigentlich alle Netzwerkgeräte können.. kann man beim Speedport dann ja sowieso knicken.

 

[Ex0r]

Okay ich denke wir haben den Fehler. Bei dir ist definitiv was bei der Performance krumm. Anbei meine Werte. Ich hab nen schlechteren Prozessor und kleinere Platten.



Jetzt ist halt die Frage ob es ein Netzwerk- oder Storageproblem ist. Also meine Werte sind das reine Netzwerklimit. Hätte ich 10Gbit würde da noch mehr rauskommen. Hast du Jumbo Files aktiv? Ich nicht. Alles auf Standard.

Mein Server hängt aber auch direkt am selben Switch wie der Client. Der Switch stammt so aus der 50 bis 100€ Klasse von Linksys (lüfterlos). Vll hast du auch ein Traffic Problem

 

[Marcwa19197]

Komisch ist ja, das ein Client direkt am selben Switch beim lesen und schreiben langsamer ist als ein entfernter Client beim schreiben..

Edit: Was misst du den da genau, da bei dir kein Ordner/Laufwerk ausgewählt wurde? ("Select Folder")?

Ergänzung (19. August 2017)

Das ist alles irgendwie komisch. Ich wüsste nicht wo der Netzerk-Traffic herkommen soll. Habe gerade nochmal einen Benchmark laufen lassen, auf den "langsamen Share". Wo vorhin noch 110MB/s schreibend drin war ist nun nichts mehr los..

Ergänzung (19. August 2017)

Okay, ich glaube es einfach nicht.
Gerade habe ich mal alle Switche auf dem Weg zu meinem Schreibtisch neugestartet (Power raus und wieder rein). Insgesamt 3 Stück. Einer davon der TP-Link im Metallgehäuse, die anderen zwei jeweils die im Plastikgehäuse.

Danach nochmal gebencht. Siehe da - Fullspeed.
Leider hat das das eigentliche Problem mit dem langsamen listen von den Files innerhalb des Shares nicht gelöst..



Welche Switche hast du den genau von Linksys? Taugen die auch was? Habe mir letzt zwei Ubiquiti Access Points zugelegt, finde das Webinterface dafür 1A, würde dann eher auch noch passende Managed Switche von denen kaufen.

Edit: Okay, das Folder listing geht nun statts innerhalb von 2 Minuten innerhalb von max. 30 Sekunden, was jedoch auch bei jedem Ordneraufruf neuläd.. lässt sich da noch etwas machen? Ansonsten denke ich ist das Problem erledigt.. Das einzige was ich noch Client seitig eingestellt habe war das deaktivieren von SMBv1, wobei das ja sowieso nicht genutzt wurde.

 

[Ex0r]

Hey,

ich glaube ich habe einen aus der LGS10x Reihe. Ja die taugen aufjedenfall was. Ich glaube da gabs sogar richtige Datenblätter zu, in dem die Backplane Switching Kapazität angegeben war. Selbst die kleinen können alle Ports zeitgleich mit 1G versorgen. Das ist bei low budget Switchen nicjt selbstverständlich. Deine APs kenne ich nicht. Ich denke FreeNAS hat keine Probleme.

Die TP Links sind auch nicht ganz ohne. Eventuell macht auf der Strecke einer davon nen QoS. Es gibt so AutoQoS Ports für Playstation oder Heimkino.Vielleicht haste so einen erwischt. Wie lang in Meter ist die Strecke überhaupt? Kannst du nicht direkt auf den NAS Switch hängen? Schau mal ob du nen Packet loss irgendwo hast. 2K Dateien sind immernoch recht wenig. Ich hatte mal hundert tausend in einem. Und davon 50 Ordner. Das listing hat recht flott gefuntzt. Allerdings über 10Gbe. Das Löschen habe ich dann aber lieber dem NAS selbst überlassen. Hat 3 Wochen gedauert.

Im Benchmark konnte ich komischerweise nicht mein Netzlw (auch Z auswählen. Ich konnte aber einen Unterordner auswählen. Das lief auch alles korrekt übers Netz. Habe den Traffic beobachtet.

-> mitm handy getippt

 

[Marcwa19197]

Hi,

Werde ich mir mal anschauen, wobei ich sagen muss das ich solche TP-Link Switche schon des öfteren verbaut habe, auch innerhalb von Firmennetzwerken und es dort noch nie zu solchen Probleme kam.
Du meinst es gibt spezielle Ports an den Switchen für QoS? Wenn das so sein sollte sind die aber nicht gekennzeichnet..
Auf einem Switch hängt der Samsung Smart-TV inklusive MediaReciever von der TKom (der macht 100% QoS) und unrelevant, da erst seit heute ne PS4.

Edit hierzu: Natürlich war der Reciever immer aus, als die Benchmarks erstellt wurden

Naja, die Strecke vom Schreibtisch zum NAS sind 5M Luftlinie. Da ich aber keine Kabel in der Wohnung haben wollte läuft es zuerst nach unten in den Router und von da dann wieder nach oben. Kabel dürften ca. 8-10m verlegt worden sein. (Natürlich mit viel "Spare").

Edit2: Habe gerade mal ein Kabel direkt ans NAS gelegt. Listing der Files dauert genausolange wie davor (Ca. 30 Sek.) Also muss das Problem wohl doch irgendwie an FreeNas/Datasets oder CIFS liegen..

PacketLoss habe ich keine, habe erst vor einiger Zeit mal von jedem Client/Switch aus Pings laufen lassen zum NAS.

 

[Ex0r]

Mag komisch klingen, aber klemm ma den Tkom Receiver ab.

Ansonsten wär ich auch mit meinem Latein am Ende. Immerhin ists jetzt ja schneller

Ja genau es spezielle AutoQoS Ports. Sind meistens auch markiert. Aber man weiss ja nie...

Achso einen hab' ich noch: tausch mal Kabel und schau mal im syslog nach ob der Netzwerkservice (oder so) da vorhin auf 100mbit gedrosselt hat. Nich das iwo nen wackler ist. Wenn die Nic zurückstuft macht sich das auch nicht direkt in packetloss bemerkbar und ist schwerer zu reproduzieren. Bremst aber gewaltig. Hatte ich auch mal bei jemandem. War nen kaputtes Kabel (Kabel war neu...).

 

[Marcwa19197]

Mag komisch klingen, aber klemm ma den Tkom Receiver ab.

Gerät vom Strom gezogen, Client und NAS zusätzlich auch neu gebootet, leider immer noch ca. 15-30 Sek.

Achso einen hab' ich noch: tausch mal Kabel und schau mal im syslog nach ob der Netzwerkservice (oder so) da vorhin auf 100mbit gedrosselt hat. Nich das iwo nen wackler ist. Wenn die Nic zurückstuft macht sich das auch nicht direkt in packetloss bemerkbar und ist schwerer zu reproduzieren. Bremst aber gewaltig. Hatte ich auch mal bei jemandem. War nen kaputtes Kabel (Kabel war neu...).

Hatte vorher das Problem, dass ich nur mit 100mbit lief. Da gab es noch ein Kabel in der Wand runter zu Router, was anscheinend Zicken machte. Daraufhin hatten wir neue Kabel verlegt, direkt durch den Boden mit normalen Patch-Kabeln. Das Kabel NAS - Speedport ist noch CAT7 Verlegekabel, das von Schreibtisch runter in den Keller jedoch CAT 6 Patchkabel. Danach gab es volle Gigabit, auch getestet mit DiskMark.
Werde morgen dann mal Testweise die Kabel NAS - Switch und Schreibtisch: PC - Switch - Switch - Speedport tauschen.

Edit: im Syslog ist nichts dergleichen zu sehen..

Oder gibt es Tools, womit ich den Speed stundenlang Monitoren kann? Sowas wie DiskMark nur quasi unenedlich? Dann würde so ein drop von Gigbit auf 100Mbit ja auffallen und ich könnte mir das wechseln der Kabel sparen.

Danke für deine Hilfe!

 

[Ex0r]

Hast du einen Intel Karte oder onboard? Oder sogar Realtek? Ich habe nen Intel Gigabit CT Desktop Adapter. Kostet so nen 10er meine ich und ist ca. 10% schneller als Realtek. Im Nas nutze ich allerdings den onboard Broadcom Chip, weil sich da im Vergleich zu Intel nicht viel tut und man so halt auch wieder weniger hardware drinn hat. Stundenlang monitoren macht ja das Syslog eigentlich für dich.

Mein Event Source ist z.B. e1iexpress (weil PCIe Slot) und nen Event lautet "Intel(R) Gigabit CT Desktop Adapter
Network link has been established at 1Gbps full duplex." Habe mein OS halt auf englisch. Es muss nicht unbedingt als Fehler auftreten.

Da kann halt auch 100mbit duplex stehen. Ist ja auch kein Error. Im Normalfall ist das besser als ein Monitoring bzw. steht in keinem vergleich zum Aufwand. Man könnte sich vielleicht per Powershell Script ne Email zukommen lassen wenn Event XY auftritt. Aber das ist wie mit Kanonen auf Spatzen ballern.

Mich macht es stutzig, dass die Direktverbindung zum NAS nicht besser lief. Zum "Dauertest" kannst du einfach mal nen ping -t auf das NAS fahren und währenddessen mal mehrere hundert GB ziehen. Kannste auch so laufen lassen. Dann einfach iwan STRG+C und du siehst ja die Statistik. Da sollte im LAN auch bei der Menge nicht ein Paket daneben gehen.

Kein Problem. Schön mal jemanden mit dem gleichen Setup hier zu sehn.

:

 

[Marcwa19197]

Hast du einen Intel Karte oder onboard? Oder sogar Realtek? Ich habe nen Intel Gigabit CT Desktop Adapter. Kostet so nen 10er meine ich und ist ca. 10% schneller als Realtek. Im Nas nutze ich allerdings den onboard Broadcom Chip, weil sich da im Vergleich zu Intel nicht viel tut und man so halt auch wieder weniger hardware drinn hat. Stundenlang monitoren macht ja das Syslog eigentlich für dich.

Stimmt, da hast Du auch wieder recht, wie bereits gesagt, im Syslog steht leider nichts davon. Auch in Älteren nicht.
Habe am Client einen Broadcom Gigabit Chip.

Mein Event Source ist z.B. e1iexpress (weil PCIe Slot) und nen Event lautet "Intel(R) Gigabit CT Desktop Adapter
Network link has been established at 1Gbps full duplex." Habe mein OS halt auf englisch. Es muss nicht unbedingt als Fehler auftreten.

Du meinst jetzt im Event Viewer am W10 Client? - Da steht bei mir nichts dergleichen drin.
Edit: Natürlich muss was drinstehen. Bei mir "Broadcom NetLink (TM) Gigabit Ethernet: Network controller configured for 1Gb full-duplex link.", passt also.

Mich macht es stutzig, dass die Direktverbindung zum NAS nicht besser lief. Zum "Dauertest" kannst du einfach mal nen ping -t auf das NAS fahren und währenddessen mal mehrere hundert GB ziehen. Kannste auch so laufen lassen. Dann einfach iwan STRG+C und du siehst ja die Statistik. Da sollte im LAN auch bei der Menge nicht ein Paket daneben gehen.

Ich hatte damals mal lange Iperf laufen um den Speed zwischen NAS und PC zu monitoren, kam aber nicht viel dabei raus. Das mit dem Ping kann ich mal versuchen, wobei ich echt mittlerweiel davon aussgehe, dass entweder das Dataset nen Knacks hat, oder generell das CIFS Sharing auf dem FreeNas Probleme macht.

 

[Ex0r]

Ich hatte damals mal lange Iperf laufen um den Speed zwischen NAS und PC zu monitoren, kam aber nicht viel dabei raus. Das mit dem Ping kann ich mal versuchen, wobei ich echt mittlerweiel davon aussgehe, dass entweder das Dataset nen Knacks hat, oder generell das CIFS Sharing auf dem FreeNas Probleme macht.

Jaja dieser ping Befehl. Was würden wir nur ohne den machen. Es vergeht glaube ich kaum ein Tag auf der Arbeit ohne ein simples "ping" Es ist eben kürzer als nslookup oder so. Wobei ich den halt fast nur noch zur DNS Prüfung nutze: "Its DNS. Its always DNS".

Freenas ist halt eigentlich rocksolid. Wenn das einmal läuft brauchst du das normal nicht noch ma anpacken.

 

[Marcwa19197]

Problem gelöst!
Es war einfach die sortiertung nach Date innerhalb des Windows Explorers. Er scheinte hier die EXIF daten ausgelsen zu haben.

Mit einer sortierung nach Date Created ist alles instantan da.

 

[Ex0r]

oh gott, da muss man auch erst einmal drauf kommen.

"Tanze Samba mit mir...Samba die ganze Nacht..." Der Song bekommt bei sowas eine ganz neue Bedeutung.