Geschwindigkeitsproblem mit 10G

[oTT]

Servus Leute,
ich hab zwar gefühlt das ganze Forum durchgearbeitet, aber leider keine genaue Antwort auf das eventuell zugrunde liegende Problem in meinem Anwendungsfall gefunden. Aber ich vermute dass es einfach etwas total simples ist was ich einfach übersehe...

Situation:

Workstation Rechner im Büro:
CPU: AMD Ryzen 3800x
RAM: 32GB
NIC: ASUS XG-C100C (auf PCI-E 1x 2.0) (neuster Treiber von Asus)
OS: Windows 10 Pro x64
Controller: LSI MegaRAID 9260-16i (auf PCI-E 8x 2.0)
HDDs: 8x WD Purple 14TB

Backup Server im Keller:
CPU: Intel Xeon E5-2630v2
RAM: 64GB
NIC: Broadcom BCM57711 NetXtreme II (auf PCI-E 8x 2.0)
OS: Windows Server 2008 R2 Enterprise
Controller: LSI MegaRAID 9260-4i (auf PCI-E 8x 2.0)
Backplane: LSI SAS Expander in Supermicro Server Gehäuse
HDDs: 24x 3TB Hitachi Enterprise SAS

Netzwerk:
Switch: Cisco SG350X-24
Server <> Switch: SFP+ 10G-SR zu SFP+ 10G-SR, 3m OM4 Kabel
Workstation <> Switch: RJ45, 15m Cat6a S/FTP Patchkabel


Einstellungen RAID auf Workstation:

Einstellungen RAID auf Server:

Einstellungen NIC Workstation & NIC Server:
Flow Control Rx & Tx Enabled
Jumbo Packet 9014 Bytes
Alles andere auf Standard

Einstellung auf Switch: Jumbo Frames: Enabled (global setting)



Nun zum Ergebnis: File Transfer via Windows Explorer von Server -> Workstation (10GB+ per file): 280mb/s avg


Das erscheint mir mit dem Setup ehrlich gesagt etwas zu wenig. Mir ist zwar durchaus bewusst dass aufgrund des PCI-E 1x 2.0 für die 10G NIC in der Workstation ein Bottleneck bei ca 500mb/s besteht (abzüglich Overhead), aber mehr als 280mb/s sollten schon irgendwie drin sein.


Hat jemand eine Idee was ich übersehen haben könnte?


Beste Grüße

 

[yxman]

Was sagt iperf?

 

[SlaterTh90]

Wenn ich mich recht erinnere braucht man PCI-E 2.0 x4 um 10G abzüglich Overhead voll auszulasten. Das wären dann ~1GByte/s. 280Mb kommt mit circa 1/4 gut hin.

Edit: Das kann man auch gut an der Bauart der Profikarten sehen. Intel benötigt für einen X550-T2 (2x 10Gbit) Chip zum Beispiel PCI-E 3.0 x4. Die älteren Karten haben bei zwei Ports alle PCI-E 2.0 x8. Wenn das nicht nötig wäre würden vermutlich nicht alle Hersteller so viele Lanes “verschwenden” - das kostet ja auch Geld in der Herstellung.

 

[kartoffelpü]

Teste mal mit iperf

@yxman war schneller

 

[2Stoned]

Du könntest allenfalls die neusten Treiber für den Chipsatz auf der C100C installieren:

Aquantia Treiber
Dort AQC107 wählen.

Zusätzlich kann es helfen TCP/UDP Checksum Offload zu deaktivieren.

 

[oTT]

Vielen Dank schonmal für die schnellen Antworten.

Folgendes bekomme ich per iperf:

bin/iperf.exe -c BINFORD -P 1 -i 1 -p 5001 -f M -t 20
------------------------------------------------------------
Client connecting to BINFORD, TCP port 5001
TCP window size: 0.06 MByte (default)
------------------------------------------------------------
[488] local 192.168.178.20 port 49921 connected with 192.168.178.37 port 5001
[ ID] Interval Transfer Bandwidth
[488] 0.0- 1.0 sec 245 MBytes 245 MBytes/sec
[488] 1.0- 2.0 sec 285 MBytes 285 MBytes/sec
[488] 2.0- 3.0 sec 402 MBytes 402 MBytes/sec
[488] 3.0- 4.0 sec 253 MBytes 253 MBytes/sec
[488] 4.0- 5.0 sec 455 MBytes 455 MBytes/sec
[488] 5.0- 6.0 sec 81.7 MBytes 81.7 MBytes/sec
[488] 6.0- 7.0 sec 231 MBytes 231 MBytes/sec
[488] 7.0- 8.0 sec 167 MBytes 167 MBytes/sec
[488] 8.0- 9.0 sec 270 MBytes 270 MBytes/sec
[488] 9.0-10.0 sec 476 MBytes 476 MBytes/sec
[488] 10.0-11.0 sec 348 MBytes 348 MBytes/sec
[488] 11.0-12.0 sec 125 MBytes 125 MBytes/sec
[488] 12.0-13.0 sec 330 MBytes 330 MBytes/sec
[488] 13.0-14.0 sec 95.4 MBytes 95.4 MBytes/sec
[488] 14.0-15.0 sec 269 MBytes 269 MBytes/sec
[488] 15.0-16.0 sec 315 MBytes 315 MBytes/sec
[488] 16.0-17.0 sec 91.7 MBytes 91.7 MBytes/sec
[488] 17.0-18.0 sec 156 MBytes 156 MBytes/sec
[488] 18.0-19.0 sec 214 MBytes 214 MBytes/sec
[488] 19.0-20.0 sec 255 MBytes 255 MBytes/sec
[ ID] Interval Transfer Bandwidth
[488] 0.0-20.2 sec 5066 MBytes 251 MBytes/sec
Done.


Ich prüfe jetzt nochmal ob es einen neuen Treiber gibt, und versuche TCP/UDP Checksum Offload zu deaktivieren.

@SlaterTh90 Aber selbst mit PCI-E 1x auf 2.0 sollten doch nicht solche komischen Transferraten Muster zustande kommen, oder?

Beste Grüße

Ergänzung (17. März 2020)

So,
neuster Treiber drauf, TCP/UDP Checksum Offload deaktiviert, folgendes Ergebnis:


bin/iperf.exe -c 192.168.178.37 -P 1 -i 1 -p 5001 -f M -t 20
------------------------------------------------------------
Client connecting to 192.168.178.37, TCP port 5001
TCP window size: 0.06 MByte (default)
------------------------------------------------------------
[340] local 192.168.178.20 port 50192 connected with 192.168.178.37 port 5001
[ ID] Interval Transfer Bandwidth
[340] 0.0- 1.0 sec 171 MBytes 171 MBytes/sec
[340] 1.0- 2.0 sec 120 MBytes 120 MBytes/sec
[340] 2.0- 3.0 sec 196 MBytes 196 MBytes/sec
[340] 3.0- 4.0 sec 306 MBytes 306 MBytes/sec
[340] 4.0- 5.0 sec 189 MBytes 189 MBytes/sec
[340] 5.0- 6.0 sec 233 MBytes 233 MBytes/sec
[340] 6.0- 7.0 sec 158 MBytes 158 MBytes/sec
[340] 7.0- 8.0 sec 170 MBytes 170 MBytes/sec
[340] 8.0- 9.0 sec 185 MBytes 185 MBytes/sec
[340] 9.0-10.0 sec 450 MBytes 450 MBytes/sec
[340] 10.0-11.0 sec 336 MBytes 336 MBytes/sec
[340] 11.0-12.0 sec 142 MBytes 142 MBytes/sec
[340] 12.0-13.0 sec 277 MBytes 277 MBytes/sec
[340] 13.0-14.0 sec 303 MBytes 303 MBytes/sec
[340] 14.0-15.0 sec 298 MBytes 298 MBytes/sec
[340] 15.0-16.0 sec 521 MBytes 521 MBytes/sec
[340] 16.0-17.0 sec 169 MBytes 169 MBytes/sec
[340] 17.0-18.0 sec 163 MBytes 163 MBytes/sec
[340] 18.0-19.0 sec 190 MBytes 190 MBytes/sec
[340] 19.0-20.0 sec 157 MBytes 157 MBytes/sec
[ ID] Interval Transfer Bandwidth
[340] 0.0-20.2 sec 4735 MBytes 235 MBytes/sec
Done.


Leider keine Veränderung :/

 

[SlaterTh90]

Gibt es die Möglichkeit, den Adapter mal in einen schnelleren Port zu stecken? Dann könnte man direkt ausschließen ob es sich um ein Problem wegen der Bandbreite handelt oder nicht.

Bei so komischen Schwankungen könnte ich mir auch noch vorstellen dass es am Kabel liegt.

 

[oTT]

@SlaterTh90 Du meinst den Adapter in einen schnelleren PCI-E Port?

Ich versuche mal anderes Kabel, hab hier auch noch ein Cat7 Kabel (mit Cat6a Steckern).

 

[SlaterTh90]

Du meinst den Adapter in einen schnelleren PCI-E Port?

Ja wenn das möglich ist wäre es jedenfalls einen Versuch wert.

 

[bender_]

Alle NICs mit TCP Optimizer auf "Windows defaults" zurücksetzen, neustarten, testen und berichten.
Zuerst an der Workstation, dann am Server.
Hintergrund: Durch Treiber, Tuning Tools oder Traffic Shaping Software verhunzter Netzwerkstack. Muss gar nicht mal bewusst passiert sein und kann auch bestehen bleiben, falls derartige Software nur kurz installiert war.

 

[oTT]

Alle NICs mit TCP Optimizer auf "Windows defaults" zurücksetzen, neustarten, testen und berichten.
Zuerst an der Workstation, dann am Server.
Hintergrund: Durch Treiber, Tuning Tools oder Traffic Shaping Software verhunzter Netzwerkstack. Muss gar nicht mal bewusst passiert sein und kann auch bestehen bleiben, falls derartige Software nur kurz installiert war.

Allers klar, das werde ich gleich mal testen, denn das wäre ein easy win.

Ja wenn das möglich ist wäre es jedenfalls einen Versuch wert.

Wenn das andere nicht hilft werde ich den Raid Controller mit der NIC tauschen auf dem Board, aber dafür muss ich den Rechner zerlegen, deshalb werde ich das andere zuerst testen.

Besten Dank

 

[v3nom]

Welches MB hast du denn? wie sind die anderen Slots belegt? Viele PCIe 1x Slots teilen sich die Bandbreite untereinander, evtl sogar mit Onboard Komponenten.

 

[oTT]

Das Board ist ein Asrock x570 Phantom Gaming4:
https://www.asrock.com/MB/AMD/X570 Phantom Gaming 4/index.asp#Specification

Basierend auf den specs:
AMD Ryzen series CPUs (Matisse)
- 2 x PCI Express 4.0 x16 Slots (PCIE1/PCIE3: single at x16 (PCIE1); dual at x16 (PCIE1) / x4 (PCIE3))*

Im PCIE1 ist die Grafikkarte, in PCIE3 ist der Raid Controller, und in PCIE2 ist die 10G NIC (PCI-E 1x 4.0 Slot, aber die NIC unterstützt laut Manual nur PCI-E 2.0)

 

[bender_]

Oh. Vielleicht Asus GameFirst installiert oder installiert gehabt?
Wenn ja, runter damit und TCP Optimizer drüberlassen.

 

[oTT]

Zusätzliche Software wurde nicht installiert, nur die Treiber. Aber ich werde trotzdem den TCP Optimizer drüber laufen lassen, sicher ist sicher.

 

[oTT]

So, TCPOptimizer auf beiden System gemacht mit Windows default settings, jetzt ists noch schlechter:

bin/iperf.exe -c 192.168.178.37 -P 1 -i 1 -p 5001 -f M -t 20
------------------------------------------------------------
Client connecting to 192.168.178.37, TCP port 5001
TCP window size: 0.06 MByte (default)
------------------------------------------------------------
[328] local 192.168.178.20 port 49994 connected with 192.168.178.37 port 5001
[ ID] Interval Transfer Bandwidth
[328] 0.0- 1.0 sec 216 MBytes 216 MBytes/sec
[328] 1.0- 2.0 sec 82.4 MBytes 82.4 MBytes/sec
[328] 2.0- 3.0 sec 142 MBytes 142 MBytes/sec
[328] 3.0- 4.0 sec 165 MBytes 165 MBytes/sec
[328] 4.0- 5.0 sec 147 MBytes 147 MBytes/sec
[328] 5.0- 6.0 sec 350 MBytes 350 MBytes/sec
[328] 6.0- 7.0 sec 78.1 MBytes 78.1 MBytes/sec
[328] 7.0- 8.0 sec 214 MBytes 214 MBytes/sec
[328] 8.0- 9.0 sec 78.2 MBytes 78.2 MBytes/sec
[328] 9.0-10.0 sec 144 MBytes 144 MBytes/sec
[328] 10.0-11.0 sec 80.6 MBytes 80.6 MBytes/sec
[328] 11.0-12.0 sec 163 MBytes 163 MBytes/sec
[328] 12.0-13.0 sec 72.3 MBytes 72.3 MBytes/sec
[328] 13.0-14.0 sec 150 MBytes 150 MBytes/sec
[328] 14.0-15.0 sec 102 MBytes 102 MBytes/sec
[328] 15.0-16.0 sec 427 MBytes 427 MBytes/sec
[328] 16.0-17.0 sec 87.5 MBytes 87.5 MBytes/sec
[328] 17.0-18.0 sec 145 MBytes 145 MBytes/sec
[328] 18.0-19.0 sec 255 MBytes 255 MBytes/sec
[328] 19.0-20.0 sec 149 MBytes 149 MBytes/sec
[ ID] Interval Transfer Bandwidth
[328] 0.0-20.0 sec 3250 MBytes 162 MBytes/sec
Done.

Das ganze ist bei 10 Tests sogar noch einer der besseren gewesen.

Ich bau jetzt mal die beiden Karten in andere Slots.

Ergänzung (17. März 2020)

Und das ist das Ergebnis mit getauschtem Steckplatz (NIC in PCI-E 16x 4.0 Slot; Raid Controller in PCI-E 1x 4.0):

bin/iperf.exe -c 192.168.178.37 -P 1 -i 1 -p 5001 -f M -t 20
------------------------------------------------------------
Client connecting to 192.168.178.37, TCP port 5001
TCP window size: 0.06 MByte (default)
------------------------------------------------------------
[332] local 192.168.178.20 port 49881 connected with 192.168.178.37 port 5001
[ ID] Interval Transfer Bandwidth
[332] 0.0- 1.0 sec 166 MBytes 166 MBytes/sec
[332] 1.0- 2.0 sec 150 MBytes 150 MBytes/sec
[332] 2.0- 3.0 sec 489 MBytes 489 MBytes/sec
[332] 3.0- 4.0 sec 164 MBytes 164 MBytes/sec
[332] 4.0- 5.0 sec 362 MBytes 362 MBytes/sec
[332] 5.0- 6.0 sec 244 MBytes 244 MBytes/sec
[332] 6.0- 7.0 sec 611 MBytes 611 MBytes/sec
[332] 7.0- 8.0 sec 192 MBytes 192 MBytes/sec
[332] 8.0- 9.0 sec 332 MBytes 332 MBytes/sec
[332] 9.0-10.0 sec 437 MBytes 437 MBytes/sec
[332] 10.0-11.0 sec 240 MBytes 240 MBytes/sec
[332] 11.0-12.0 sec 368 MBytes 368 MBytes/sec
[332] 12.0-13.0 sec 123 MBytes 123 MBytes/sec
[332] 13.0-14.0 sec 151 MBytes 151 MBytes/sec
[332] 14.0-15.0 sec 4.59 MBytes 4.59 MBytes/sec
[332] 15.0-16.0 sec 342 MBytes 342 MBytes/sec
[332] 16.0-17.0 sec 484 MBytes 484 MBytes/sec
[332] 17.0-18.0 sec 133 MBytes 133 MBytes/sec
[332] 18.0-19.0 sec 130 MBytes 130 MBytes/sec
[332] 19.0-20.0 sec 375 MBytes 375 MBytes/sec
[ ID] Interval Transfer Bandwidth
[332] 0.0-20.2 sec 5496 MBytes 272 MBytes/sec
Done.


Also auch nicht wirklich viel besser. Somit wieder am Anfang der Reise... :/

 

[SlaterTh90]

Hmm Kabel tauschen hat auch nix gebracht? Wenn ja dann ist immerhin fast sicher, dass es software ist. Da kann ich dann leider nicht weiterhelfen, bei Windows kenne ich mich nicht mit mehr als den basics aus was Netzwerk-Settings angeht.

Ach ja, ist das setup eigentlich je ohne jumbo-frames gelaufen? Wie viel schlechter war dann die Performance?

 

[orioon]

Ohne Jumbo Frames schon getestet? Würde ich von Abstand nehmen

 

[Evilc22]

Switch schon mal geschaut ob es da ein Problem gibt
Fehler in der Datenübertragung sollte das anzeigen können

was vielleicht helfen konnte tcp auto tuning abschalten bei Windows

btw iperf mal ohne zusätzliche Parameter laufen lassen

nur -c oder -s

 

[Bob.Dig]

iperf gibt bei mir nur Schrott aus, hab trotzdem Fullspeed.
Würde es also nicht zum Testen verwenden.

Spoiler: filecopy

10GBase-T, keine Jumboframes, NVMe <>NVMe

Ergänzung (18. März 2020)

Wobei es bei mir vielleicht auch Probleme mit dem Kabel gibt, die würde dann Windows recht erfolgreich kaschieren.

Spoiler: CDM