Link-Aggregation bei NAS,Switch und Desktop

[flo36]

Hallo CBler und innen,
ich habe nun vor mir ein Synology DS1813+, einen HP 1810-8G Smart managed Switch und einen Desktop PC mit Quadport NIC.

Mein Vorhaben war nun das DS1813+ mit 4 Ports über Link Aggregation an den Switch zu schließen und den Switch über 3 Ports mit dem Desktop PC zu verbinden.

Einstellungen:
Bei der DS1813+ habe ich im Menü einen Bond mit den 4 NICs gemacht und auf Link-Aggregation lauf IEEE 802.3ad gestellt. Beim Switch wurden die Ports 1-4 (zum NAS) als Trunk 1 mit Active LACP und die Ports 5-7 (Zum PC) als Trunk 2 mit Active LACP konfiguriert.
Der Desktop PC wurde über den Intel Treiber eine Gruppe aus 3 Ports gemacht und auf IEEE 802.3ad gestellt.

Die Verbindung des NAS wird mit 4 Gbit erkannt und die des PC mit 3 Gbit. Soweit so gut.

Das Vorhaben habe ich nur deswegen gemacht, da auf der Synology Homepage bzw. dem Test dort Übertragungsraten von mehr als 300/200 MB/s heraus kamen. Diese Datenraten benötige ich da ich im Moment sehr viel mit 1080p Videokonvertierung, VMs usw. mache.

Nach dem stundenlangen durchkämmen div. Foren, den IEEE 802.3ad Bestimmungen, der Link-Aggregation Definition usw. bin ich zu der Erkenntnis gekommen, dass dies nur bei mehreren PCs etwas bringt und ich nur eine höhere Übertragungsrate erhalte wenn ich z.b. 10 Gbit LAN einführe (anderes NAS vorausgesetzt).

Mich wunder nur immer wieder der Test von Synology wo die rede von einer Datei mit 10GB ist mit einem PC.


Nun die Frage an euch Netzwerktechniker:
Ist es mit irgendeiner Standardtechnik möglich aus 3*1 Gbit/s Ethernet mehr als 1 Gbit/s mit einem Gerät rauszubekommen?
Bzw. hat Synology vielleicht einfach geschummelt und doch mehrere PCs verwendet.

Ich hoffe Ihr könnt mir hier etwas Licht ins dunkel bringen.

Vielen Dank und liebe Grüße
Flo

 

[Polii]

LACP sollte ja gneua diese 3Gbit/s ergeben. Wenn du keinen Geschwindigkeitsunterschied merkst ist die Festplatte wohl zu langsam.

 

[overdriver]

Ja dafür ist LACP da.

 

[Nexarius]

@ TE:

auf welche Übertragungsraten kommst Du denn ?
Irgendwann ist logischerweise Deine HDD der limitierende Faktor.

Womit hast Du Deine Tests durchgeführt ? Wie sieht die Hardware in Deinem PC aus ? Welche HDD´s hast Du in Deiner NAS ? Wie ist diese konfiguriert ? Raid ? Einzelne Platte ?

Ohne diese Daten, ist Dein Thread eher sinnlos...

Greets

Nexarius

 

[Masamune2]

bin ich zu der Erkenntnis gekommen, dass dies nur bei mehreren PCs etwas bringt und ich nur eine höhere Übertragungsrate erhalte wenn ich z.b. 10 Gbit LAN einführe

Gut erkannt, genau so ist es. LACP verteilt die Pakete anhand eines Hashwertes über Ziel und Quell-MAC-Adresse auf die einzelnen Leitungen. Kommunizieren also immer die gleichen MACs miteinander (die NAS und dein PC) geht das immer über die gleiche 1 Gig Leitung.

Bzw. hat Synology vielleicht einfach geschummelt und doch mehrere PCs verwendet.

Hat mit schummeln wenig zu tun. Wenn da drei PCs dran hängen und die alle drei was ziehen erreicht man die 300MB/s auch (vereinfacht ausgedrückt).

Ist es mit irgendeiner Standardtechnik möglich aus 3*1 Gbit/s Ethernet mehr als 1 Gbit/s mit einem Gerät rauszubekommen?

Mir ist keine bekannt, mit LACP geht es definitiv nicht.

 

[stp]

Ein Datenstrom kann immer nur über 1 physisches Kabel gehen.

Mehrere Datenströme werden dann auf die einzelnen Kabel verteilt und können so das NAS komplett auslasten.

 

[Atkatla]

LACP sollte ja gneua diese 3Gbit/s ergeben. Wenn du keinen Geschwindigkeitsunterschied merkst ist die Festplatte wohl zu langsam.

Das ist falsch. Die Daten für eine einzelne Gegenstelle wird immer nur über einen der LACP-Teilnehmer geschickt, man würde also keine Steigerung merken, auch wenn die Platten nicht zu langsam sind. Erst zwei oder drei Endgeräte führen zu einer Nutzung der restlichen Links in dem LACP-Trunk. Wie Msamune geschrieben hat, wird nach MAC-Adresse verteilt, wobei es abhängig von der Umgebung sinnvoller ist, nach den IP-Adressen hashen zu lassen.

 

[flo36]

Im NAS sind 4 Festplatten mit 2 TB (WD Green) in einem RAID 5 geschalten. Bei verteilten Zugriffen bin ich auf etwas über 160 MB/s gekommen, da auch das RAID 5 mit 4 Platten nicht optimal ist.
Der StandPC steht in meiner Signatur(i7-2600K, 16GB Ram, IBM Intel Quad Port NIC 1000Pro).

Die Tests wurden mit der ganz normalen SMB Freigabe gemacht SMB 2.0 ist aktiviert und auch die CPU des NAS ist nur bei ca. 10% Last.
Mein max. Durchsatz bei 2 PCs war wie beschrieben knapp 160 - 170 MB/s


Vielen Dank für die zahlreichen Antworten.

Es ist also im Endeffekt so:
1 PC maximal 1 Gbit in der derzeitigen Konfiguration. Mehr ist nicht möglich ohne Umstellung aller Komponenten auf 10Gbit Ethernet.
Mehrere PCs ergeben mit Link Aggregation auch eine höhere Durchsatzrate.


Ergänzung: Ich dachte eigentlich Link Aggregation wäre eine Technik die es ermöglicht einen Datenstrom auf mehrere Kabel aufzuteilen. Oder gibt es die Möglichkeit SMB auf mehrere Datenströme aufzuteilen?

 

[computerbase107]

Mit großem Interesse habe ich hier mitgelesen, da ich mich auch mit der maximalen Ausnutzung der Datenübertragung zwischen PC und NAS beschäftige.

Du bewegst Dich im Grenzbereich des Gigabit-Ethernets in Bezug auf die maximale Datenrate.
Deine Schlußfolgerung in Richtung 10GBit-Ethernet zu gehen für mehr Durchsatz ist für mich logisch und konsequent und
dafür ist es auch wohl da.
Leider kostet die Investition in diese Technik doch einige Teuro.

 

[Masamune2]

Oder gibt es die Möglichkeit SMB auf mehrere Datenströme aufzuteilen?

SMB 3.0 bietet diese Möglichkeit zusammen mit dem Server 2012. Das wird der NAS aber noch einige Zeit vorenthalten werden schätze ich...

 

[flo36]

Das NAS mit 10 GBit Technik ist mir auch zu kostenspielig bzw. gebe es die Möglichkeit mit Thecus relativ Günstig ein NAS mit 10 GBit Karte zu bekommen. Jedoch sind die Switch und NICs einfach zu teuer. Ich brauche ja auch keine 10 Gbit^^ 2 oda 3 würden schon reichen.

Es hätte einfach gehofft, dass es eine Art Bündelung wie bei der Telefonleitung gibt. Wurde aber eines besseren belehrt.


SMB 3.0 bietet die Aufteilung auf mehrere Datenströme?
Also wenn das NAS quasi SMB 3.0 könnte und ich auf der gegenseite einen Win8 Client(sollte auch SMB 3.0 denke ich) habe würde ich mehr Leistung zusammenbringen als jetzt?

Vielen Dank für eure Hilfe die wie immer sehr schnell und gut klappte.

Schönen Nachmittag und liebe Grüße
Flo

 

[Masamune2]

Also wenn das NAS quasi SMB 3.0 könnte und ich auf der gegenseite einen Win8 Client(sollte auch SMB 3.0 denke ich) habe würde ich mehr Leistung zusammenbringen als jetzt?

Korrekt. Sobald der Windows 8 Client erkennt das auf der anderen Seite der Fileserver SMB3.0 unterstützt wird Multichannel genutzt, damit kannst du dann mehrere Leitungen ohne besondere Konfiguration nutzen.

 

[flo36]

Boa also wenn das wirklich geht dann hast du mich soeben auf eine sehr interessante Idee gebracht^^.
Ich werde die Idee heute Abend gleich mit den Demo bzw. Evaluierungseditionen testen.

Nur wie bekomme ich mein NAS dazu SMB 3.0 zu reden^^

 

[Masamune2]

Nur wie bekomme ich mein NAS dazu SMB 3.0 zu reden^^

Indem du wartest bis der Hersteller die Firmware dahingehend angepasst hat und du sie einspielst.... ich schätze mal so in zwei bis drei Jahren....

 

[computerbase107]

Bis dahin ist vielleicht auch 10 GBit-Ethernet bezahlbarer Standard ?

 

[flo36]

Naja gut dann die Erkenntnis zum Schluss. Ich teste heute Abend mal Win8 + Server 2012. Verfolge Samba 4.0 aktiv weiter und hoffe auf eine rasche Entwicklung der Programmierer.
Dann noch ein Preisverfall bei 10 GbE Equipment und perfekt.

Danke Leute vielen dank für eure Hilfe.

Flo

Ergänzung zum Thema SMB3:
Um Multipath in Windows 8 verwenden zu können benötigt man einen RDMA fähigen NIC. Derzeit gibt es keinen Intel und auch nur einen Broadcom Chip die RDMA unterstützen.
Ich gebe mich also geschlagen und lasse es dabei.

Mehr zu dem Thema gibts hier:
http://server720.blogspot.co.at/2012/07/smb-30-multipath-over-nic-team-in.html
http://technet.microsoft.com/de-de/library/hh831723.aspx

 

[Masamune2]

RDMA braucht man eigentlich nur für SMB Direct, bei dem die Karten direkt aus und in den Arbeitsspeicher der Server schreiben können und damit den kompletten TCP/IP Stack umgehen. Multichannel geht auch ohne RDMA.

 

[flo36]

Ich habe es gestern leider nicht geschafft mehr als 1 Gbit/s zu übertragen und das obwohl ich die Daten auf 2 Ramdisks liegen hatte.
Es geht theoretisch aber Praktisch leider nicht.
Laut Microsoft braucht man eine NIC mit RDMA, dann doch nicht wenn man sich die Technet Seite so durchliest, ich glaube langsam die haben selber keinen Ahnung was die brauchen.
Hätte man für Multichannel irgendetwas konfigurieren müssen?
Ich habe nur einen Winserver 2012(Quadport mit 16GB Ram und I7-2600K) und ein Windows 8(Dualport HP mit 8GB Ram und 1,6 GHz Turion) miteinander verbunden bzw. entsprechend mit LACP active und 802.3ad getrunkt und es kamen laut Windows bei ner 5 GB Datei knapp 980 MBit/s von Ramdisk zu Ramdisk raus was eindeutig zu wenig ist.

Ah ok die Karte muss auch RSS können. Ich befürchte das war mein Problem.

Also nochmal testen das ganze^^

Danke für deine Hilfe.

 

[Masamune2]

Korrekt, RSS muss gehen, RDMA nicht.

Die Technet Artikel sind auch nicht mehr ganz sauber geschrieben und haben einige Fehler.

Wer sich mit dem Thema richtig gut auskennt ist der Herr Rachfahl. Der bloggt auch unter http://www.hyper-v-server.de/ und da findest du ne Menge Infos und Demo Videos zu SMB 3.0.

 

[flo36]

Genial danke.

Mein größtes Problem ist und bleibt trotzdem die mangelnde Unterstützung des DS1813+ von Samba 4 den wenn ich das richtig gelesen habe kann Samba 4 bereits SMB3. Wobei natürlich fraglich ist ob dieses Feature auch unterstützt wird.

Ergänzung:
Habe es nun auf der Arbeit mit der Dualport und der Quadportkarte Probiert in Ersatzpcs mit unsren rumliegenden WServer2012 lizenzen und es hat funktioniert^^.
Beide seiten einfach einen NIC Team mit Adresshash konfiguriert, im Switch die Ports richtig zugewiesen und LACP Trunks eingerichtet und alles ist perfekt.
Senden 220 MB/s und Empfangen 170 MB/s aus 2 Ramdisks heraus.

Ok jetzt hab ich für mich den Beweis, dass es geht und mit der CPU Leistung auch die Übertragungsleistung steigt. Auch wenn sich beide CPUs langweilen. Eigenartig.

Das ähnelt hier langsam aber sicher nem Blog^^

Gleich mal Synology gas geben, dass die SAMBA 4 einführen.