Empfehlungen für einfaches NAS mit schnellem Dateizugriff

[halwe]

Hallo zusammen,

ich habe zur Zeit eine vier Jahre alte 3 TB WD MyCloud mit ca. 200.000 Dateien drauf. Mit den Funktionen (SMB, DLNA, FTP) und dem Durchsatz (bis zu 100 MB/S) bin ich zufrieden. Da ich aber öfter mal etwas suche (z. B. ein bestimmtes Foto), wären schnellere Zugriffszeiten schön. Zur Zeit dauert z. B. das Durchzählen eines Verzeichnisses von nur 1000 Dateien (rechte Maustaste-Eigenschaften) oft länger als 5s .

Ich hatte gehofft mit einer 1TB SSD am USB3-Port des NAS auf besserer Werte zu kommen - leider ein Irrtum: Die MyCloud reizt die Möglichkeiten der SSD nicht annähernd aus, sowohl Durchsatz als auch Zugriffsgeschwindigkeit sind noch schlechter als bei der eingebauten Festplatte. Am lokalen USB3-Port am PC habe ich da natürlich eine ganz andere Situation und kann die SSD in Nullkommanix durchforsten.

Deshalb würde mich interessieren, ob ich einfach zu viel erwartete oder ob es auch im "Amateurbereich" schnellere NAS bzw. NAS-Gehäuse gibt. Mir scheint ja, dass ein schnellerer Prozessor oder etwas Cache hier viel bewirken könnten, leider sind Werte wie die Zugriffszeit oder das Cache-Verhalten bei den NAS-Angeboten recht selten angegeben. Letztlich kann ich nur auf Erfahrungen anderer Nutzer setzen.

Besten Dank für Eure Rückmeldung im voraus!
Halwe

 

[Fersy]

Openmediavault mit Raspberry Pi4 als NAS, macht bis zu 100MB/s im Netz...
https://www.heise.de/tipps-tricks/Raspberry-Pi-als-NAS-verwenden-so-geht-s-4289165.html

 

[M4ttX]

Die MyCloud ist ein "NAS". Ich würde ein vollwertiges NAS aus der Einsteigerserie von Synology (DS119j, DS218) oder von QNAP ausprobieren. Vielleicht hilft da einfach nur eine (bessere) Indexierung.

 

[snaxilian]

Damit sich niemand wiederholt, denn das Thema wurde in Teilen ja schon diskutiert, verlinke ich mal den "alten Thread": https://www.computerbase.de/forum/t...enen-nutzerkennungen-erreichen.1965358/page-2

Synology hat ein, wenn auch gut verstecktes, White Paper zu dem Thema SSD Cache was vieles erklärt: https://global.download.synology.co...SM/All/enu/Synology_SSD_Cache_White_Paper.pdf

So ziemlich jeder NAS Hersteller bietet in seiner Dokumentation entsprechende Informationen welche Geräte eine SSD als Cache nutzen können. Manche können gar keinen, manche können nur M.2 SSDs als Cache, manche können nur 2,5" SSDs und manche können M.2 oder 2,5" SSDs als Cache nutzen.

Konkrete Zahlen wirst von keinen Hersteller bekommen, da dies von vielen Faktoren abhängt und du identische Werte nur bekommst wenn du einen identischen Versuchsaufbau hast.

 

[Demon_666]

Ich würde, sofern es um Bilder und deren Suche geht einfach eine Fotoverwaltungssoftware nutzen. Die scannt einmal alles ein und die Suche bzw. das Handling erfolgt dann über die lokal auf dem PC liegende Datenbank.

Guck dir bspw. mal Daminion an (gibt ne kostenlose Version mit Katalogen bis 15000 Einträgen).
Der initiale Einlesevorgang dauert natürlich, aber danach geht Suchen bzw. Finden rasend schnell.

Falls Dir das Programm nicht zusagt, nimm eine ähnliche Software. Die gibt es wie Sand am Meer ....

Edit: Daminion kommt übrigens auch mit anderen Dateitypen klar, geht also in Richtung Media-DMS.

 

[halwe]

Danke an alle für die schnellen Antworten.
@Fersy: Wie gesagt, mir geht es vor allem um die Zugriffszeit.
@M4ttX: Genau dieses "Ausprobieren" habe ich gerade mit der SSD durch, das kostet richtig viel Zeit, deshalb würde ich eben gern auf Eure Erfahrungen zurückgreifen. Wie lange braucht Euer NAS, um die "Eigenschaften" eines Verzeichnisses mit 1000 Dateien anzuzeigen?
@snaxilian: Danke für die Verlinkung. Ich hatte zunächst darauf verzichtet, um das Thema hier nicht zu überfrachten. Aber natürlich hängt das zusammen.
Um Missverständnissen vorzubeugen: Mir ist die Art des Caches (SSD oder Speicher) egal aber wichtig scheint, ob das NAS überhaupt die Festplattenzugriffe über einen Cache abwickelt oder eben alternativ mit einer USB-SSD schnell umgehen kann. Bei meiner MyCloud scheint das nicht der Fall zu sein.
@Demon_666: Es geht eben nicht nur um Fotos. Die Verwaltung des NAS-Speicher, das Suchen eines Dokumentes oder Musiktitels, ... - ich stoße an vielen Stellen auf das Problem der Zugriffszeiten. Letztlich auch bei einer Fotodatenbank - wenn die mal auf die Idee kommt, den Index zu erneuern, dauert das eine halbe Ewigkeit.

 

[storkstork]

Von den ganz günstigen Synology-NAS kann ich dir nur abraten. Hab selbst ein DS 119j. Das Ding hat 256 MB RAM und eine recht langsame CPU. Wenn du da etwas im Betriebssystem des NAS umstellen willst, dauert es erstmal einige Sekunden, bis die Menüs aufgebaut sind etc.

 

[halwe]

@storkstork: Danke für deine Erfahrungen, genau solche suche ich.
Ist bei mir übrigens genauso. Gerade jetzt, wo ich die SSD neu angeschlossen habe und der DLNA-Server noch die Mediadaten zusammenzählt, reagiert das Dashboard sehr langsam und braucht eine gefühlte Ewigkeit, ehe ich damit arbeiten kann.

Könntest du bitte mal den o. g. Test machen und unter Windows per Rechsklick-Eigenschaften ein Verzeichnis zusammenzählen lassen. Bei mir dauert das wie gesagt 5s / 1000 Dateien, auch beim 2. Mal. Bei der angeschlossenen USB-SSD noch länger. Das spricht dafür, dass der Prozessor langsam ist und auch kein Cache verwendet wird.

Kennt jemand die Buffalo LinkStation?

 

[storkstork]

Das mit dem Test wird bei mir nicht aussagekräftig sein, da ich nur Videos auf meinem NAS habe.
Wenn ich auf einen Ordner mit ca. 1400 Dateien zugreife, dauert es nur 1-2 Sekunden, bis das Eigenschaften-Fenster alles durch gezählt hat. Für das ganze NAS mit 2500 Dateien dauert es beim ersten mal ca. 2 Sekunden, beim zweiten mal ist es sofort da. Bin zur Zeit aber auf Linux unterwegs. Wenn ich später Windows hochfahren, werde ich es dort testen. Falls es einen Unterschied macht, schreibe ich nochmal.

 

[MasterMaso]

Von Synology würde sich da sicher ein DS 120j oder ein DS 118 anbieten.

 

[halwe]

Danke für den Tipp mit der synology. Nach storkstorks Beobachtung scheint ja ein Cache da zu sein, so dass das Problem mit der Zugriffsgeschwindigkeit sich hoffentlich in Grenzen hält.
Der Lüfter bei den synology Billigmodellen scheint ganz leise zu sein. Schwach ist sicher, dass da nur ein USB 2-Anschluss ist, aber richtig, eigentlich will ich ja nicht mehr über den USB-Anschluss arbeiten.
Nun muss ich noch den Datendurchsatz (unter Realbedingungen) sowie die Möglichkeit eines Energiesparmodus ermitteln. Und ja, ich will der Buffalo Disc Station auch noch eine Chance in diese Vergleich geben.

 

[Demon_666]

Die Suche in einer lokalen Datenbank wird immer schneller sein, als irgendwelche Caches oder komplette Zugriffe über ein Netzwerk.
Und wann die Daten aktualisiert werden, kann man manuell festlegen. Wie gesagt, ein entsprechendes DMS mit Schwerpunkt auf Fotos ist in meinen Augen für den von dir geschilderten Anwendungsfall besser (und preiswerter 😉) als ein neues NAS.
Das ist zumindest meine Erfahrung.

 

[halwe]

Danke Demon. Aber wie gesagt, das mit den Fotos war nur ein Beispiel, ich suche einfach ein NAS mit schnellen Zugriffszeiten. Und ja, neben den Zugriffszeiten eine gute Datenübertragungsrate und ein Standby-Modus nicht schlecht, aber das ist schon nice-to-have und wohl eine andere Baustelle.

 

[snaxilian]

HDDs haben immer eine lahme Zugriffszeit und ein Lese-Cache kann nie im Voraus wissen was du an Daten benötigst. Daher gibt es nur zwei Möglichkeiten etwas in einem Lesecache vorzuhalten:

• die am häufigsten gelesenen Daten
• die zuletzt gelesenen Daten

Alles was nicht im Cache ist, muss von den HDDs gelesen werden. Beispielhaft hat Synology auch einen etwas längeren Übersichtsartikel: https://www.synology.com/de-de/ htt...re_Some_Considerations_for_Creating_SSD_Cache
Auch wenn ich hier immer Synology nenne bekomme ich weder eine Provision etc noch würde ich diesen Anbieter pauschal für alles empfehlen. Die anderen Hersteller werden ähnliches in ihrer Doku haben.
Hier auch noch ein beliebiger Vergleich HDD vs SSD: https://www.thessdreview.com/featured/ssd-throughput-latency-iopsexplained/2/
0,034 ms vs 15,4 ms. Die reine Zugriffszeit ist bei diesem Test also ca 450x mal so hoch. Da kannst noch so viel mit irgendeinem Cache und am OS und dem RAM herum doktern und optimieren. Sobald deine Daten nicht im Cache sind wird es lahm.
Das einzige was ggf. einen Versuch Wert wäre wo ich aber keine Tests zur Hand habe sondern es eine Idee ist: Das Journaling des Dateisystems auf eine extra SSD auslagern. Oder ein Dateisystem mit btree Funktionalität nutzen (btrfs, zfs) aber das bringt auch nur bedingt einen Zugewinn. Beides in Kombination mit besser mehr als weniger RAM.
Wenn du also wild alle Daten im NAS im Wechsel brauchst dann bringt dir der SSD Cache vergleichsweise wenig, da hilft am Ende nur eins: Alle HDDs durch SSDs ersetzen. 4TB kosten da ~375€ oder 8TB ca 760€ wenn man SSDs mit QLC nimmt.
Prinzipiell kann man das Thema Latenz auch durch die Verwendung eines Raids verbessern da dann bei vielen Daten mehr als eine Disk die Arbeit verrichtet. War im Serverbereich lange üblich bevor es SSDs gab oder weiterhin üblich wenn man nicht bereit ist den Aufpreis zu SSDs zu zahlen und damit leben kann der der Performancevorteil eben nur einen Bruchteil so hoch ist ggü. SSDs.

Optimierungen am Dateisystem, dem page cache oder anderen Basteleien abseits "des Standards" wirst aber kaum bei fertigen NAS-Lösungen umsetzen können bzw. wirst ggf. Probleme bekommen bei Updates da die Systeme davon ausgehen, dass der Anwender nicht unter der Oberfläche herum bastelt.

Zum Thema Energiesparen:
Hier gibt es oft nur zwei Modi. Der erste parkt die Köpfe der HDDs und vielleicht werden noch die Scheiben gestoppt. Das Ergebnis sind aber auf der anderen Seite deutlich höhere Zugriffszeiten weil die Platten erst wieder anlaufen müssen, Köpfe aus Parkposition raus, Köpfe ausrichten, richtige Spur finden und Daten auslesen. Ob das NAS an sich einen eigenen Standbymodus hat hängt vom Hersteller ab und ob irgendwelche (System-)Dienste laufen, die das NAS daran hindern > Siehe jeweilige Doku. Aber so etwas verlängert natürlich noch mehr die Zugriffszeiten.

 

[halwe]

Danke Snaxilian für deine ausführlichen Erläuterungen. Wie du aus dem anderen Thread weißt, geht es mir nicht um das Einlesen von zig Dateien, sondern um das Durchstöbern der Verzeichnisse, insbesondere um zu ermitteln, wo viele Dateien mit viel Speicherplatz sich verstecken oder um eine bestimmte Datei anhand ihres Namens zu finden.
Und wie gesagt denke ich, dass da ein Cache schon hilft, weil eben nicht jeder Verzeichnisbaum mehrfach eingelesen werden muss.

Allerdings, wo du gerade SSD empfiehlst: Bei meiner WD MyCloud musste ich ja erfahren, dass eine schnelle SSD nichts hilft, wenn der Prozessor zu lahm und die entscheidende Bremse ist. So einen langsamen Zugriff hätte ich bei einer SSD niemals erwartet, da habe ich zu schnell gekauft, denn sie löst nicht mein Problem.
Deshalb stimmt mich die Aussage von Demon_666 recht hoffnungsvoll, offensichtlich ist das cachen eines Verzeichniszugriffs kein Hexenwerk und auch ohne Cache geht es bei ihm schneller, ich habe einfach nur einen lahmen Prozessor (der allwerdings im Vergleich zu einer FritzBox als NAS immer noch schnell ist).

Energiesparen ist relevant, weil ich vielleicht 5 mal am Tag auf das NAS zugreife, aber für alle Fälle hätte ich es schon gern, es auch nachts mal aufwecken zu können, ohne erst in den Keller gehen zu müssen. Die Verzögerung beim Einschalten hatte mich bisher nie gestört. Wohl aber, dass meine jetzige MyCloud sich 2mal je Stunde ohne ersichtlichen Grund einschaltet, was natürlich den Energiesparmodus obsolet macht, schon weil es nicht gut für die Platte ist. Die Kunst ist hier wohl, dass das NAS nicht bei jedem Ping die Platte hochfährt. Auch hier scheint mir ein intelligenter Cache hilfreich zu sein.

Und nein, in der Regel sind weder die Wirkung des Caches noch das genaue Verhalten im Energiesparmodus gut dokumentiert. Hier helfen eigentlich nur Nutzererfahrungen.

 

[storkstork]

Habs gerade mal unter Windows getestet.
Wenn ich auf den Ordner mit den 1.400 Videos auf dem NAS zugreife und die Dateien über die Eigenschaften aufsummieren lasse, dann dauert es bei Windows etwa 5 Sekunden. Auch beim zweiten mal.

Wenn ich das gleiche mit einem Ordner mit 6.000 Videos (deutlich kleinere Dateien) auf der HDD im PC mache, dann ist es in 1 Sekunde da. Da ich mit Videos auf dieser Platte öfter arbeite, kann ich dir aber nicht sagen ob Windows die Dateien schon im Cache hat.

Die Dateien in meinem Steam-Ordner (ca. 350 GB auf einer 2.5" SSD) aufzulisten hat beim ersten mal auch ein paar Sekunden gedauert. Beim zweiten mal sind die Infos sofort parat.

Einen Ordner mit ca 7.000 Dokumenten in den Eigenschaften (ca. 6 GB auf einer hDD) aufzulisten hat beim ersten mal 10 Sekunden gedauert. Beim zweiten mal war es direkt parat. Also zumindest in Windows 10 scheint ein Chache oder die Indizierung eine grosse Rolle zu spielen.

JEtzt darfst du entscheiden, ob du dadurch neue Kenntnisse gewonnen hast

 

[halwe]

Danke für die Tests storkstork.
Unter Windows auf interne Festpülatten zuzugreien ist natürlich nicht so spannend, da zum einen das Cacheverhalten vorhersehbar ist und zum anderen geht es mir ja um ein NAS.
Was mich wundert: Wenn du von einem Windows PC auf das NAS zugreifst, ist es langsamer und zeigt nicht wie bei Zugriff von einem Linux-System das Cache-Verhalten (also beim zweiten Mal sofort-Zugriff)? Im Gegenteil, dein Synology Gerät wird so langsam wie meine MyCloud und braucht auch beim wiederholten Mal mehrere Sekunden fürs Durchzählen.
Oder habe ich etwas falsch verstanden?

 

[storkstork]

Vielleicht hatte Linux das NAS schon im Cache/Index. Ich habe das NAS in Linux so eingebunden, dass es beim Start verfügbar ist und nicht erst eingebunden wird, wenn ich darauf zugreife. Bei Linux sind auch meine internen HDDs sofort da und gehen nicht in den Ruhemodus, soweit mir bekannt. Unter Windows schalten sich die HDDs automatisch ab nach einer gewissen Zeit. Ich schaue es mir nochmal genauer an, wenn ich Linux wieder hochfahre

Vielleicht kann jemand, der sich besser auskennt, mehr dazu sagen?

 

[snaxilian]

denke ich, dass da ein Cache schon hilft, weil eben nicht jeder Verzeichnisbaum mehrfach eingelesen werden muss.

DAS ist aber dein Problem. Du stellst irgendwelche Vermutungen an und äußerst Hoffnungen. Das was du als Verzeichnisstruktur siehst ist eine grafische Abstrahierung damit es für dich einfacher und leserlicher ist. Für einen PC sieht das etwas anders aus intern. Alle möglichen Informationen wie Name der Datei, Größe, Parent (welcher Ordner/Verzeichnis) steht in Metadaten und Inodes und auch Ordner wiederum haben Metadaten & Inodes.

Wie schon erwähnt werden diese Informationen unter Linux und damit in fast jedem NAS für Endanwender im page_cache im RAM vorgehalten solange der RAM nicht anderweitig, z.B. dem Kernel selbst oder höher gewichteten und priorisierten Prozessen benötigt wird.
Je nach Quelle hat dein jetziges NAS einen Dualcore ARM Prozesser mit 650Mhz und 256 oder 512 MB RAM was echt knapp bemessen ist. Das Verhalten vom page_cache kann man begrenzt beeinflussen aber ist nicht immer ratsam. Besser mit Hardware bewerfen, sprich mehr RAM. Früher oder später wird man aber an den Punkt kommen wo die Infos über die Daten nicht in diesem Cache liegen und dann muss die im Verhältnis unendlich langsame Platte ihren Lesekopf ausrichten und warten bis der Platter an der richtigen Stelle vorbei kommt um die fehlenden Infos auszulesen (nennt sich rotational latency).
Hinzu kommt noch, dass dieser page_cache nicht beim Start des OS prophylaktisch befüllt wird sondern sich beim ersten Zugriff füllt. Der zweite, dritte, vierte Zugriff auf die gleiche Informationen (nicht die eigentlichen Daten und deren Inhalt!) sollte dann schneller erfolgen sofern zwischendurch die endliche Ressource RAM nicht anderweitig benötigt wird.
Daher: Mehr RAM kann helfen, ist aber keine Garantie und alles was nicht aus dem RAM bedient werden kann muss vom Laufwerk kommen. Wenn das Laufwerk eine SSD ist dann eben deutlich schneller als bei HDDs. Ein Raid kann dies etwas verkürzen aber nur bedingt und nur das sollte nie der Grund sein deshalb auf ein Raid zu setzen.

Je nachdem welche HDD in der WD MyCloud verbaut ist, ist die auch nicht die schnellste HDD zumindest wenn ich mir diesen Test ansehe aus der Zeit als die WD Red gerade neu war: https://www.tomshardware.com/reviews/red-wd20efrx-wd30efrx-nas,3248-5.html

HDD im PC mache, dann ist es in 1 Sekunde da. [...] ob Windows die Dateien schon im Cache hat

Arbeitsplatz > Rechtsklick auf das interne Laufwerk > Eigenschaften und dann sagst du uns bitte ob ganz unten ein Haken gesetzt ist bei Zulassen, dass für Dateien auf diesem Laufwerk Inhalte zusätzlich zu Dateieigenschaften indiziert werden.
Mit ziemlicher Sicherheit wird die Antwort "ja" lauten und da ist deine Erklärung.

Ansonsten wie hast du denn gemessen? Blick auf die Uhr oder reproduzierbar und ggf. genauer?
Auf die Schnelle mit Powershell zusammen geworfen:
Measure-Command { Get-ChildItem -Path \\name-of-the-nas\name-of-the-share\ -Recurse }
In der Ausgabe sieht man dann die jeweilige Zeit die der komplette Aufruf des Befehls in den { } benötigt. In der genannten Form werden alle Daten in der Freigabe aufgelistet mit den EigenschaftenLastWriteTime, Größe der Datei sowie Name aber keine Vorschaubildchen etc.

Testweise je 10 Durchläufe hintereinander auf zwei Shares gemacht:
Share 1: 110GB - 23732 Dateien - 235 Ordner und in der Regel gibt es 2-3 Ebenen an Ordnern und da drin dann 95% der Dateien. Aufruf mit o.g. Befehl dauert reproduzierbar zwischen mindestens 2,2 und 3,9 Sekunden. Rechtsklick auf den Share > Eigenschaften um Anzahl Dateien, Ordner und Gesamtgröße zu haben dauerte deutlich länger.
Share 2: 145GB - 54163 Dateien - 14581 Ordner und bunt gemischter Inhalt. Erster Aufruf dauerte 153 Sekunden, alle weiteren zwischen 40-60 Sekunden. Ansicht über Anzahl Dateien, Ordner & Größe per Explorer dauerte wieder etwas länger.

Die längere Laufzeit des Explorers würde ich auf den Overhead der grafischen Darstellung, der laufenden Addition etc schieben da auch schwerer messbar.

Auf dem selben NAS gibt es noch ein raidz1 (vergleichbar mit Raid 5) aus SSDs (read-optimized, TLC, kein SLC Cache) auf dem ein paar Datenbanken & kleine VMs mit wenig Ansprüchen liegen. Testweise den o.g. Share 1 kopiert und lokale Tests auf dem NAS gemacht. Rekursive Auflistung aller Dateien mit Namen als auch Auflistung und Addierung der Dateigröße gibt lokal auf dem NAS für die identische Menge Daten folgendes Ergebnis: Die SSDs benötigen jeweils die Hälfte der Zeit für die beiden Aufgaben ggü. den HDDs.

Das Problem an dem Ganzen ist: Wir können da noch so viel messen und mit Zahlen um uns schmeißen: Am Ende sind viel zu viele Variablen beteiligt und du hast immer nur die Gesamtbetrachtung. Du weißt nie: Liegt es am zugreifenden PC, dem smb Protokoll oder dem eigentlichen (dann lokalen) Speichersystem des NAS.

 

[halwe]

Snaxilian, danke noch mal. Es ist doch ganz einfach: Wenn 1000 Dateieigenschaften gelesen werden, fließen nicht viele Megabytes, das merkt man schon an der kurze Zeit und das sollte jeder Cache schaffen. Egal woher da gelesen wird und wie diese Informationen strukturiert sind.
Und jeder PC zeigt, dass man so was cachen kann. Und jeder Flyer renommierter NAS-Anbieter zeigt, dass schneller Zugriff und Cache wichtige Parameter sind.
Das einzige Problem ist, dass die Zugriffsgeschwindigkeit bzw. die Wirkung des Cache (im Unterschied zur Datentransferrate) in der Regel nicht angegeben wird, deshalb braucht es Erfahrungen anderer Nutzer und deshalb sind wir hier und ich habe einen minimalen "Versuchsaufbau" definiert.

Die Windows Indexierung ist eine andere Baustelle, das dürfte keinerlei Einfluss auf das Zusammenzählen der Dateien haben, nur auf ihr Durchsuchen mit dem Explorer-Suchbefehl.

Deine Testwerte mit den "Shares" (diese Freigaben müssen für dich eine spezielle Bedeutung haben dass du sie erwähnst) kann ich leider schlecht einordnen, da ich nicht ganz überblicke verstehe, welches System du von wo aus gemessen hast. Wie gesagt, Messungen innerhalb eines Windows PCS sind hier wenig interessant. Welches NAS hast du eigentlich?

Allerdings - wenn ich das so verfolge mit all den Unwägbarkeiten - ich habe hier noch ein Windows 7 Notebook, 10 Jahre alt aber mit GBit Netzwerk und USB3-Schnittstellen, vielleicht sollte ich dem eine Chance als NAS geben. Das dürfte die aktuellen NAS anscheinend gut in den Schatten stellen.
Das Sicherheitsproblem (fehlende Updates) lässt sich entschärfen, indem das Gerät einfach nicht ins Internet gelassen wird. Lediglich den Stromverbrauch und Wake-On-LAN müsste ich noch mal testen...