Datenrate des Custom-NAS zu gering

[(-_-)]

Hi!

Ich könnte einen Denkanstoß gebrauchen, wieso mein NAS nicht konstant mit voller Geschwindigkeit überträgt.
(Übertragung eines großen Files von der System-SSD 850 EVO zum NAS)

Meistens pendelt sich die Schreibgeschwindigkeit bei 40-80MB/s ein. Es werden aber auch Spitzen von ~100MB/s erreicht.
Ich kopiere gerade viele kleine Dateien rüber, die mit 40KB/s-20MB/s geschrieben werden. Dabei liegt die CPU-Auslastung bei 33-38%, der RAM ist zu etwa 18% ausgelastet.

Hier die weiteren Fakten:

Synology (Xpenology) DSM 5.2-5967 auf AsRock Q1900-ITX mit 4GB RAM
Direkte Verbindung über GBIT-Switch (NAS, Router, PS4, Client und 2 Drucker mit CAT5e-Kabeln max.5m lang angeschlossen)
Die Drucker sind im Idle, die PS4 im Standby
Am Router hängen noch diverse Geräte via WLAN (DHCP)
Der Switch limitiert auch nicht, auf meinen Laptop übertrage ich mit 112MB/s

Das NAS hat eine statische IP, der Client (i7 2600k, Intel 82579V LAN OnBoard und Windows 10 v.1607, heute frisch installiert) bekommt seine IP via DHCP von der Fritz!Box

Geschrieben wird auf eine WD30EFRX (3TB WD Red), ext4 formatiert, auf Synology Hybrid Raid konfiguriert, es kommen nächsten Monat noch 2 Platten dazu und werden dann im Raid 5 laufen
Wenn ich die Platte via SATA anschließe ist die Übertragungsrate bei ca. 150MB/s konstant

Für mich sehen die Werte okay aus, habe ich etwas nicht bedacht?

 

[random_sdg]

Bei Gibabit Ethernet liegt die theoretische Geschwindigkeit bei 125 MB pro Sekunde. In der Praxis sind es - bedingt durch Overhead - maximal 117 MB, die das Netzwerk schafft. Das ist nur zu erreichen, wenn eine große Datei übertragen wird. Bei vielen kleinen Dateien wird das Verhältnis von Nutzlast zu Verwaltungsinformationen deutlich schlechter. Deine 40 - 80 MB mit Spitzen bis zu 100 MB sind bei vielen kleinen Dateien normal. Gigabit kann unter diesen Bedingungen einfach nicht schneller. Um das theoretische Maximum deiner Konfiguration zu ermitteln gibt es entsprechende Programme, z.B. JPerf.

 

[Roesi]

Wird die Schreibgeschwindigkeit bei kleinen Dateien nur durch das Gibabit Ethernet gebremst oder auch auf der geschrieben Festplatte da diese bei kleinen Dateien auch langsam wird?

 

[inge70]

bei vielen kleinen Dateien komt der NAS garnicht dazu den hohen speed anzulegen. Ist ja nicht so, dass der Speed schon beim erst byte anliegt. Bei großen Dateien kann man das gut sehen, wie der speed zeitlich zunimmt, was bei kleinen Dateien eben nicht so funktioniert, da sie dann meist bereits fertig kopiert ist und die nächste kommt.

 

[(-_-)]

Sorry, dann habe ich das nicht klar genug geschrieben:
Beim Verschieben von kleinen Dateien habe ich nur die Auslastung abgelesen, die ja theoretisch höher sein sollte als bei einer Großen.

(Übertragung eines großen Files von der System-SSD 850 EVO zum NAS)

Meistens pendelt sich die Schreibgeschwindigkeit bei 40-80MB/s ein. Es werden aber auch Spitzen von ~100MB/s erreicht.

^
Das ist aber die Situation, in der ich mir mehr Performance erhoffe.

 

[Drahminedum]

Probier mal ein Programm wie RichCopy (oder ein anderes Programm) das mehrere Dateien gleichzeitig überträgt - damit lastest Du das NAS besser aus und die Übertragung läuft insgesamt schneller.

 

[(-_-)]

Mit RichCopy habe ich 2 Dateien (Avi 2.2GB und .vmdk 22GB) auf das NAS geschoben.
Im Schnitt waren es knapp über 8MB/s, daher habe ich nach 10 Minuten abgebrochen.

 

[Oli_P]

Solch einen Effekt kenn ich auch beim kopieren von Daten zwischen meinen beiden NAS-Systemen und meinem Rechner. Bei einzelnen großen Dateien wird schneller kopiert als bei vielen kleinen Dateien. Hab auch ein Gigabit-LAN. Am schnellsten ist die Übertragung vom NAS auf meine SSD. Hab grad nochmal einen Test gemacht und eine 1GB große Datei kopiert. Geschwindigkeit ist zwischen 80-90MB/s. Die Datei ist nach ein paar Sekunden übertragen.
Ich nutze NAS-Stationen von Buffalo.

 

[chrigu]

Sorry, dann habe ich das nicht klar genug geschrieben:
Beim Verschieben von kleinen Dateien habe ich nur die Auslastung abgelesen, die ja theoretisch höher sein sollte als bei einer Großen.
.

... viele kleinen dateien bedeuten geringe geschwindigkeit.. grund: die dateien werden während dem kopieren auch geprüft, sei es durch den controller der nas, damit die daten auch alle bits enthalten oder dem controller des pc. dazu kommt noch das "ok datei ist da, schick mir die nächste" verhalten und je nachdem, welches nas-raid eingestellt ist wird nochmals am selben controller die datei zweimal kopiert (raid1,5 usw.) und vielleicht noch nach viren überprüft...
deshalb wird ein grosses file im verhältnis deutlich schneller übertragen als viele kleine..

 

[(-_-)]

Und durch die Indexierung hat der Controller jede Menge zu tun bei kleinen Files. Ich rede aber von dem Kopieren EINER GROßEN DATEI!

 

[chrigu]

aha.... dann schafft der controller nicht mehr. maximal ist über 1gb ethernet 125mb/s minus die normalen overheadverluste usw...
80mb/s ist doch spitzenmässig mit lan-kabel..

 

[b1nb4sh]

Hallo,

bitte mache einen iperf (Jperf mit GUI) Test und stelle das Ergebnis hie rein. Mit diesem Test kannst du sehen, wie schnell dein Netzwerk wirklich bei großen und kleine Dateien ist.

 

[Raijin]

Wenn ich die Platte via SATA anschließe ist die Übertragungsrate bei ca. 150MB/s konstant

Wie hier schon von meinen Vorrednern erwähnt wurde, sind über 1 Gbit/s maximal 125 MByte/s brutto möglich. Netto sind in der Regel 90-95% davon drin (~112-118 MByte/s) - wenn denn beide Seiten so schnell können. Mehr geht bei 1 GbE einfach nicht.

Entweder du hast dich bei "150 MB/s" verschrieben oder deine Messmethode ist für die Tonne. Manche Tools gaukeln eine höhere Übertragungsrate vor, weil die Daten zB komprimiert übertragen werden und am Ende dann die reale Größe in Relation zur komprimierten Übertragungsrate gerechnet wird. Zum Beispiel Daten auf 50% komprimiert übertragen und am Ende wieder auf 100% hochgerechnet => Doppelte-Pseudo-Geschwindigkeit.

Mit iperf/jperf (wie oben vorgeschlagen) kannst du die tatsächliche Geschwindigkeit des Netzwerks messen. iperf misst dabei direkt von RAM zu RAM und ignoriert somit potentiell langsame Festplatten. Im Idealfall kommst du da auf besagte 900-950 Mbit/s bzw. 112-118 MByte/s.

 

[Oli_P]

Jo, dein 1GB-LAN ist dann der berühmte Flaschenhals... Wobei 80MB/s wirklich okay sind

 

[Jeahaha]

Dieses problem hatte ich auch unter Windows 7 mit dem selben Prozessor und NIC, ich habe nie mehr als 100-200 MBit geschaft, dann den selben Rechner mit Windows 10 Installiert und schon waren es 700-800 MBit bei selber Server Hardware.
Aber 80 Mb die Sekunde sind schon OK, aber es ist ja logisch das bei vielen kleinen Dateien die Rate runter geht.

 

[itm]

Wenn du mehr willst brauchst 10Gbe oder Infiniband 40Gbe dann als Direct Link (PCIe x4 und x8 Karten funktionieren immer auch in x16 Slots

 

[Jeahaha]

Dafür benötigt er dann aber auch in beiden Rechnern entsprechende Hardware...
Festplatten im Raid, Prozessoren etc etc