Samba Freigabe Dateien Indexierung

[Marcwa19197]

Hallo zusammen,

folgende Situation:
Ich habe ein NAS mit FreeNAS am laufen, welches mehrere Samba Freigaben an Windows 10 Clients (Momentan nur 2) freigibt. Darauf werden unter anderem auch Bilder und Videos gespeichert. (Jeweils als separate Shares)

Das Problem nun ist, das ich im Video Ordner eingestellt habe, das er Datums mäßig sortieren soll. (Neuste oben) Dies klappt auch, dauert allerdings bei jedem Aufruf fast 2 Minuten bis alle Dateien dementsprechend sortiert angezeigt werden. Selbst wenn man in einem Unterordner ist und wieder zurück geht läd es dementsprechend lange. Unter Eigenschaften habe ich als Dateityp bereits "Video" gewählt, was leider keine Besserung brachte.

Gibt es eine Möglichkeit Netzlaufwerke in den Windows-Index aufzunehmen? Bzw. gibt es vielleicht noch weitere "Fine-Tuning" Optionen, welche ich einstellen kann?
Die Hardware sowie LAN Anbindung meines NAS ist mehr als ausreichend.

Zur NAS-Hardware:
CPU: XEON E3-1270v2
RAM: 16GB
HDD: 4x 4TB WD RED RaidZ-1, (+ 1TB 2,5" System-HDD)
RAID-Controller: IBM M1018 (IT-Mode geflashed)
FreeNAS-Version ist die aktuellste (Nicht Corral)
Komplettes LAN ist auf Gigabit

Sollte dies der falsche Bereich sein, bitte ich um eine Verschiebung in den Richtigen.

Vielen Dank im Voraus!

 

[Ex0r]

Hi !

Welche Samba Protokoll Version ist im Einsatz? Welche Hardware hat dein NAS? Wie viele Dateien sind in dem Video Ordner? Dauert das reine Auflisten der Dateien schon so lange oder nur ein "neu sortieren" im Explorer?

Bei FreeNas gibt es generell eine Tonne an Tuning Optionen. Wenn man einmal eine gute Konfig gefunden hat, braucht man da auch nie wieder rann.

 

[Marcwa19197]

Folgendes ist unter Samba eingestellt:
Server-Minimum: SMB2
Server-Maximum: SMB3_11

Das auflisten der Dateien geht flott, sprich alles ist direkt sichtbar. Dadurch das ich jedoch als Standard-"Ansicht" nach Datum sortieren eingestellt habe, fängt er dann an die Eigenschaften jeder Datei nachzuladen und anschließend zu sortieren, was bis zu 2 Minuten dauert.

Zur NAS-Hardware (Habe es auch mal im ersten Beitrag editiert):
CPU: XEON E3-1270v2
RAM: 16GB
HDD: 4x 4TB WD RED RaidZ-1, (+ 1TB 2,5" System-HDD)
RAID-Controller: IBM M1018 (IT-Mode geflashed)
FreeNAS-Version ist die aktuellste 11.0-U2 (Nicht Corral)
Komplettes LAN ist auf Gigabit

Vergessen zu erwähnen: Es läuft noch eine kleine Linux-VM auf dem NAS, die Samba-Shares werden zusätzlich für diesen Linux-Client via NFS ReadOnly freigegeben.

Wie viele Dateien es genau sind kann ich dir leider erst später genau sagen, es sind aber ca. 2 TB mit Unterordnern, aber auch viel einzelne Dateien direkt im Share.

Hast du eine gute FreeNAS-config?

 

[snaxilian]

Hast du die Indexierung auf den Clients auch für Netzwerkshares aktiviert? Afaik ist die per default deaktiviert. "Windows 10 index network shares" sollte dich weiter bringen. Alternativ die Shares zu den lokalen Libraries hinzufügen, dann werden sie afaik auch indexiert.

 

[Marcwa19197]

Hi,

an den Clients habe ich diesbezüglich nichts umgestellt. Danach habe ich bereits gesucht, bin jedoch nur auf die Methode gestoßen die Shares zu den lokalen Libraries zu "linken", sodass Windows vorgegaukelt wird es handle sich um einen Lokalen Pfad.

Wie kann ich explizit das Indexing für Network-Shares aktivieren? Dazu habe ich leider nichts gefunden...

 

[Ex0r]

hey,

sorry für die späte Antwort. Grundsätzlich würde ich das Indexing für Netzwerkshares deaktivieren. Die Anzahl der Dateien ist erst ab x tausend Objekte interessant. Darunter sollte alles mögliche flott performen. Wie hoch ist die Auslastung des NAS im idle? Ich habe eine sehr identische Hardware/Software und keine Probleme.

Was mich etwas wundert: Betreibst du ein Software Raid auf einem Hardware Raid? Oder schleift der Controller nur durch? Welches Mainboard ist verbaut oder welcher Server steht dahinter?

 

[Marcwa19197]

Hi,

Der RAID-Controller schleift nur durch, das eigentliche "RAID" ist ein auf ZFS basierendes Software-Raid (RAIDZ1 genannt). Das Durchschleifen deshalb, damit die Platten Hotswap fähig werden und wegen dem Verbesserten Caching. Das Mainboard is das standard Mainboard des HP Microserver Gen 8.

Es könnte schon an den Tausender Bereich kommen, genauer kann ich es dir heute Abend sagen. Die Auslastung des NAS ist nahezu null.

Ergänzung (16. August 2017)

So, ich habe gerade nachgeschaut. Es sind 2.019 Dateien in 211 Ordnern.

 

[Ex0r]

Hey,

ich nutze auch den Microserver ;-) Allerdings ohne Raidcontroller. Ich halte von zusätzlichen Raidcontrollern in dem Ding allerdings auch nichts, da du dir eine Komponente einbaust, die du vermutlich nicht überwachst und Fehler nicht mitkriegst. Mehr Teile = Mehr Fehler. Vom Single Point auf Failure mal abegesehen. Falls ich dazu komme, kann ich das zuhause mal nachstellen. Ich denke aber nicht, dass sich mein CIF Share so verhält. Du könntest den Raidcontroller als Gegentest mal umgehen. Klar du verlierst hotswap. Aber hotswap bei 4 Platten? Meine Reds laufen jetzt 3(?) Jahre oder mehr 24/7. Wenn da mal wirklich eine bei draufgeht, muss man ja eh erst mal rausfinden welche


/Edit: Um es nochmal zu verdeutlichen: Wenn die Datasets etc. alle korrekt eingestellt sind und Ordner nicht von zu vielen Protokollen im Zugriff sind, tippe ich grundsätzlich erst einmal auf den Controller.

 

[Marcwa19197]

Hi,

das lässt sich ganz einfach sagen: Das Problem bestand ohne Controller auch..
Wie meinst du dass, das man erst einmal herausfinden muss welche? DriveBay0 = Port0 auf dem Controller.. (So ist es bei mir zumindest).
Ein I/O Problem schliesse ich aus, da ich ja auch noch andere Shares mit ähnlich vielen Files habe, diese funktionieren einwandfrei und vorallem schnell.

Danke für deine Hilfe!

Ergänzung (17. August 2017)

Meinst du es bringt vielleicht etwas, das Dataset mal neu anzulegen und alles rüberzukopieren? (Oder gibts es für soetwas auch direkte ZFS Commands?)

 

[Ex0r]

Du kannst aufjedenfall per SSH auf die Maschine und per root alles in eine neue location verschieben. Mit den Platten hast du Recht aber woher weiß ich wo Port0 bei MiniSAS ist? Wenn man davor steht ganz links oder ganz rechts?

Okay wenn das Problem vorher ja schon bestand ist der Raid Controller i.O. Wie hoch ist denn nun deine CPU Last im idle? Ist das Samba Logging deaktiviert? Per default ist das meine ich an. Worauf liegt das OS?

Eventuell auch mal auf Samba 2 begrenzen, NFS deaktivieren, mit Win7 testen.

 

[Marcwa19197]

Ja, das würde sich bei 2 TB ja empfehlen..

Tja, das ist die Frage.. Ich nutze ja auch noch das ganz normale MiniSAS Kabel, stecke es jedoch anstatt ins Mainboard auf den Controller. Ich habe es anfangs auch ausprobiert, wenn FreeNAS z.B. von Disk0 Redet, ist auch das DriveBay 0 gemeint (Also das ganz links). Im Microserver selbst sind die Bays glaube ich auch Nummeriert, musst du aber mal nachschauen, bin mir nicht mehr sicher.

Samba Logging ist komplett deaktiviert, kann mich aber nicht erinnern dort was geändert zu haben.. hatte kurze Zeit nur mal FreeNAS Coral laufen, vielleicht haben sich dort ein paar Settings geändert.

Das OS liegt auf der 5ten HDD, eine 2,5" 1TB Patte oben im Laufwerksschacht, angeschlossen via SATA direkt ans Mainboard.

CPU Last aktuell: 1.75, 0.84, 0.44 (In Prozent: 98,21% IDLE)
(Hauptclient, mein PC ist aus, die VM welche die Shares ReadOnly via NFS gemounted hat allerdings an. Diese liegt jedoch direkt auf dem Host, weshalb ich denke das es dort nicht zu Last kommt..)
--> Der NFS mount ist zwar gemounted, wird aber nur bei Bedarf benutzt um ein Backup der Shares anzulegen. Sonst läuft im Idle hier überhaupt kein Zugriff drauf.

Leichter gesagt als getan, Samba 2 forcen kann ich heute Abend ausprobieren, auch während NFS aus ist. Windows 7 könnte ich nur als VM testen, was jedoch das Ergebnis verfälschen würde..

Könntest du vielleicht mal deine SAMBA-Settings Screenshoten? Danke!

 

[Ex0r]

Hey,

kein Problem kann ich dir nachher machen. Allerdings habe ich deutlich (!) weniger load als du. Ich weiß aber jetzt auch nicht ob meine CPU stärker oder schwächer war Jedenfalls ist die Büchse bei mir auch noch in Hardware verschlüsselt und wird per AES-NI Instruction auf der CPU dekodiert. Also eigentlich nochmal mehr arbeit.

Als OS Storage benutze ich ne SD Karte. Ich hatte übrigens massive Probleme mit dem Samba Logging. Die vielen Zugriffe haben mir nach ein paar Monaten 2 USB Sticks getötet. Bis ich da mal auf den Trichter kam das Logging zu deaktivieren Da war dann auch Ruhe.

FreeNas bietet schon einige Fallen...

 

[Marcwa19197]

Okay, das kann natürlich auch von meiner VM kommen, die hat zwar nur 5GB beherbergt aber Webmin mit DHCP/DNS und halt die NFS Shares.

Genau, ich habe die "normale" Verschlüsselung via ZFS aktiv, oder was meinst du genau?

Hehe, kann ich mir vorstellen, ich lasse das Logging erstmal aus, wenn dann würde ich es nur zum debuggen aktivieren.

 

[Ex0r]

Also erstmal zur Hardware:

CPU: Xeon E3-1220l
RAM: 16GB ECC
4*3TB

Software:

FreeNAS-9.10.1-U2
2 Linux VMs, 0.33er Load im Schnitt.
Die Hdds sind einem Raid5. Also unter FreeNas RaidZ irgendwas.

Ich habe mal eben einen Ordner nach Datum sortiert. Es ist sofort da. Als ob es lokal wäre. Die Samba Settings habe ich dir angehängt. Mit Verschlüsselung meine ich, dass jede Platte vollverschlüsselt ist. Sprich nach einem Reboot muss ich die immer mit nem Passwort neu einhängen. Die Verschlüsselung (AES) kann die CPU aber in Hardware dekodieren. Sonst hätte ich Performance Probleme. Deine kann das aber auch

Feierabend! Prost!

/Edit: Das hat übrigens ganz schön gedauert bis ich auf diese Einstellungen kam. Rechnung kommt dann

 

[Marcwa19197]

Okay, gerade noch einmal geschaut. Vorhin war wohl doch etwas am laufen. Habe gerade eine Idle Load von 0.05, 0.02, 0.00.

Ja genau, diese Art Verschlüsselung ist bei mir auch aktiv.

Ich habe nur Änderungen bei "Hostname Lookups" (Yes), DOS-Charset und UNIX-Charset, wobei ich schwer davon ausgehe das dies nicht diese Probleme verursacht..

Prost zurück!

Jaja, Rechnung kommt erst sobald das Problem behoben ist!

 

[Ex0r]

Bei mir waren genau diese Charset Geschichten verantwortlich für Explorer Probleme. U.A. Explorer Abstürze (keine Rückmeldung) etc. wenn ich das richtig in Erinnerung habe. Wir sollten aber vll auch die Dataset Settings mal vergleichen.

 

[Marcwa19197]

Also ein Problem mit dem Windows Explorer hatte ich wegen den Charsets (noch) nicht..

Im Anhang die Settings meines Datasets und die des Shares. Der Share ist nur für einen Client freigegeben, zusätzlich ist das Browsing Ausgeschaltet, heisst man kommt nur direkt mit eingabe des Sharenamens darauf (z.B. \\serverip\sharename). Das macht aber nichts, war vorher browsable für alle und auch ohne Client restriction gab es das besagt Problem.

 

[Ex0r]

Ich editiere nachher meine Bilder in den Post. "Share Type = Unix" sieht für mich aber falsch aus.

 

[Marcwa19197]

Naja, das ist die Frage was damit gemeint ist.. das "Share Type" lässt sich nämlich nur im Dataset ändern.
Habe gerade mal nachgeschaut was das genau ist: https://forums.freenas.org/index.php?threads/dataset-share-type.20415/

" This is an old thread but today I started wondering as well: what does 'Share type' do?
The documentation at http://doc.freenas.org/9.3/freenas_storage.html#create-dataset tells:
which is not really helpful. I only use CIFS Windows shares that work fine while the 'share type' is still 'UNIX'.
CIFS with Unix permissions type works fine till it doesn't. It's better to do things the official way. "

Scheint nur etwas mit den Berechtigungen zu tun haben. Werde es heute Abend aber mal auf Windows umstellen. Die Dok. schreibt dazu nämlich " select the type of share that will be used on the dataset; choices are UNIX for an NFS share, Windows for a SMB share, or Mac for an AFP share"

 

[Ex0r]

Also mein Sharetype ist wirklich Windows. Ansonsten alles gleich.

Ich versuche Protokolle und Shares übrigens immer so gut es geht zu trennen. Also z.B. Ein Ordner für NFS und einen für CIF. Ich arbeite beruflich mit "etwas" fetteren NAS Systemen und bei denen gibt es auch nur CIF ODER NFS. Beides in einem Ordner geht ohne Tricks auch nicht.

Die wissen vielleicht warum. Was sagt eigentlich dein Syslog? Meins spuckt täglich nur einmal den "Configuration reload request" aus und das wars. Du kannst natürlich auch mal das Sambalogging temporär anschalten. Dann tauchen im Syslogs die Samba Errors auf.