10G Intel Lan packt nur ~150 Mbit/s Upstream bei 25 Gbit/s Glasfaser

[tackleberry]

Hallo

Ich habe gerade ein Problem mit meinem meiner Intel 10G NIC auf dem ASUS Pro WS WRX80E-Sage SE WIFI.

In der Vergangenheit hatte ich keine Probleme beim Upload. Heute wurde ich von 1 Gbit/s auf 25 Gbit/s Glasfaser umgestellt. Dabei habe ich auch etwas and der Konfiguration des Routers in RouterOS geändert. Fragt mich nicht was alles...

Der Router hängt an einem Cat 6a Kabel direkt am MikroTik CCR2004-1G-12S +2XS. Am Router verwende ich ein Ubiquiti UF-RJ45-10G SFP+ Modul. Als ich 1 Gbit/s hatte, hatte ich über den gleichen Router ohne große Probleme die 960 Mbit/s im Upload. Nun gammel ich bei 146 Mbit/s rum. Mit den 1600 Mbit/s im Downstream bin ich auch nicht ganz happy bei einem 25 Gbit/s Produkt aber mein Hauptproblem ist aktuell der Upstream. Mein Ryzen System mit MSI Unify und 2.5G LAN auf 1G eingestellt, packt locker die 1 Gbit/s Upstream. Zwischen dem Ryzen und dem Router ist sogar noch ein 20 Euro Unmanaged Switch. Irgendwelche Ideen?

Threadripper System

Ryzen System:

 

[Fujiyama]

Ist eine Software Problem ausgeschlossen? Was passiert wenn du z.B. ein Linux verwendest?

 

[tackleberry]

Ist eine Software Problem ausgeschlossen? Was passiert wenn du z.B. ein Linux verwendest?

Gibt keine Linux Treiber für das Board...

 

[Shandriano]

Der Intel X550-AT2 der das Lan Bereitstellt wird sehr wohl von Linux Unterstützt!
Ich vermute mal das da irgend welche Einstellungen nicht wirklich passen auf dem Asus Brett das daher die Datenraten etwas Mau sind. Ohne zu wissen was eingestellt wurde kann man nicht helfen.

 

[pleshA]

Kannst du einen lokalen speedtest zwischen den beiden systemen machen? Bei mir wars damals mit meinen 10gbit/s anschluss das selbe...(z.t. langsamer als der alte 1gbit/s). Dass die netzwerkkarte zu heiss hat, kannst du ausschliessen? Frag doch auch beim isp nach, die haben vllt. schon mal davon gehört.

Mir gefallen die 0ms

 

[bender_]

TCP optimizer -> Windows defaults

 

[tackleberry]

Kannst du einen lokalen speedtest zwischen den beiden systemen machen? Bei mir wars damals mit meinen 10gbit/s anschluss das selbe...(z.t. langsamer als der alte 1gbit/s). Dass die netzwerkkarte zu heiss hat, kannst du ausschliessen? Frag doch auch beim isp nach, die haben vllt. schon mal davon gehört.

Mir gefallen die 0ms

Gute Idee. Kopieren vom Threadripper zum Ryzen System ging mit 60-90 mb/s. Problem ist also Threadripper => Router => Internet. Habe da halt nur ne Bridge zwischen den Ports konfiguriert. Mehr nicht. Habe was von Fastpath etc. gelesen bei Reddit und Co. könnte das relevant sein?

Habe gerade mal den WAN Port auf 25 Gbps Full Duplex fix eingestellt statt Auto Negotiate aber da kommt nicht mehr. Irgendwelche Ideen wie man den Downstream steigern könnte? Evtl. lösen wir dann auch gleich das Upstream Problem.

TCP optimizer -> Windows defaults

Werde ich gleich mal testen. Danke.

 

[Shandriano]

Wer eine 25 Gbit/s Leitung hat und dazu noch 10 Gbit/s Netzwerk der wird mit kein TCP Optimizer nutzen sondern man müsste wissen was er tut! Ich behaupte das die Netzwerkeinstellungen auf dem Asus Brett nicht passen. Und nur neben her bei 25Gbit/s wären das nicht im Optimal fall 3125 MB/s ?

Von daher meine Meinung da passt vorn und hinten nichts!

Edit: Die 60-90 MB/s ist viel viel zu langsam!

 

[tackleberry]

Der Intel X550-AT2 der das Lan Bereitstellt wird sehr wohl von Linux Unterstützt!
Ich vermute mal das da irgend welche Einstellungen nicht wirklich passen auf dem Asus Brett das daher die Datenraten etwas Mau sind. Ohne zu wissen was eingestellt wurde kann man nicht helfen.

Ging wohl um den Chipsatz Treiber... Hatte damals auf Reddit mal geguckt und einer meinte "There are no drivers for Linux. I tried, believe me". Hat mich genug abgeschreckt.

Ergänzung (11. Juni 2021)

Wer eine 25 Gbit/s Leitung hat und dazu noch 10 Gbit/s Netzwerk der wird mit kein TCP Optimizer nutzen sondern man müsste wissen was er tut!

Sorry das 25 Gbit/s hier für 70 Euro im Monat angeboten werden und ich das trotz fehlender Cisco Zertifizierung als Netzwerk Super Duper Specialist sehr attraktiv fand. Tut mir echt leid. Ich weiß ich bin unwürdig.


edit

Habe den Threadripper mal an eines der 1G Module (SFP) gesteckt, die ich bei FS.com bestellt habe (anderer SFP+ Port).

Könnt es am Modul liegen? Könnte es einfach verdreckt sein? Mal mit Blaseblag durchpusten oder wie putzt man die? Upload vom Threadripper zu meinem Remote NAS im Rechenzentrum entspricht auch dem Upload Speed.

 

[0x8100]

benutzt du auch jumbo-frames? ist bei den geschwindigkeiten eigentlich ein muss.

 

[BlubbsDE]

Nicht wirklich. Immer viel geben hilft oft nicht viel. Das liegt an der Konfig auf Providerseite ob das hilft oder komplett ausbremst. Das kann man im LAN hoch schrauben, wenn man sich sicher ist.

und ich das trotz fehlender Cisco Zertifizierung als Netzwerk Super Duper Specialist sehr attraktiv fand

Angesichts dessen sollten Dir Jumbo Frames und deren Auswirkung bekannt sein.

Habe was von Fastpath etc. gelesen bei Reddit und Co. könnte das relevant sein?

Ernsthaft? Hast Du da mal einen Link zu?

 

[0x8100]

der router macht im upstream schon daraus das, was der provider für richtig hält. aber im eigenen netz kann man schon dafür sorgen, ob man bei 25GB/s und einer mtu von 1500 ~2,1 MPacket/s hat oder mit einer mtu von z.b. 9000 nur ~350k. die nic und der netzwerkstack werden es dir danken

 

[tackleberry]

Ernsthaft? Hast Du da mal einen Link zu?

Use fasttrack if you don't use queues.

Quelle: https://forum.mikrotik.com/viewtopic.php?t=109238

I ran fasttrack off

Quelle: https://forum.mikrotik.com/viewtopic.php?t=138895

 

[tackleberry]

Echt komisch. Umso öfter ich nen Speedtest mache, deste höher wird Schrittweise der Upload. Immer so 60 Mbit/s pro Durchlauf. Ist das Skynet am Werke oder was?

Morgen kommt noch ein 10G Mikrotek Modul.

BTW. bei FS.com bestelle ich nicht mehr so schnell Kleinkrams. Die haben schön alles auf mehrere Pakete ausgeteilt und jedes Mal hat DHL 15 CHF Bearbeitungsgebühr für Zoll kassiert. 👎

 

[Skysnake]

Du kannst bei FS.com normal angeben, das du nur Packet haben willst.

der router macht im upstream schon daraus das, was der provider für richtig hält. aber im eigenen netz kann man schon dafür sorgen, ob man bei 25GB/s und einer mtu von 1500 ~2,1 MPacket/s hat oder mit einer mtu von z.b. 9000 nur ~350k. die nic und der netzwerkstack werden es dir danken

Bringt dir aber auch nur was, wenn du große Pakete verschickst. Klar bei File Transfers ist das der Fall, aber sonst sehr oft nicht.

Wir stellen nie JumboFrames ein. Ist normal den Aufwand nicht wert. Wenn's wirklich um Performance geht verwenden wir eh Infiniband.

Jumbo Frames sind meiner Meinung nach nur bei wirklich großen Ethernet Netzen mit >10G wirklich zwingend. Also so was im Cloud oder Webserver Bereich.

 

[0x8100]

@Skysnake jumbi-frames bei file-transfers und ethernet >10Gb/s? klingt verdächtig nach dem setup des te und aufwand? das ist doch kein argument - das macht man einmalig und aufwändig ist es auch nicht.

 

[Skysnake]

Wenn du hunderte Clients und dutzende Switche, dann überlegst du dir das schon gründlich.

Da gehen ja immer mal wieder Switche kaputt oder brauchen ein Update usw usf. Da passiert es schneller als man denkt, das man es irgendwo nicht konfiguriert und dann wars das wieder....

Und wie gesagt, klar kann man das in so nem kleinen Netz machen wenn einem langweilig ist oder man wirklich die zusätzliche Performance braucht. Aber meist muss es wie hier überhaupt erstmal tun...

@tackleberry machst du Routing? Wenn ja kann es sein, dass der Router auch einfach nicht mehr kann. Router die wirklich line rate bei Routing und nicht nur switching können sind teuer...

Wie schon oben gesagt, probier erstmal Bandbreitentests zwischen zwei y
Rechnen lokal und dann tausch auch mal die Ports.

Insgesamt brauch man einfach mehr Infos wie dein Netzwerk überhaupt aufgebaut und konfiguriert ist.

 

[tackleberry]

Wie schon oben gesagt, probier erstmal Bandbreitentests zwischen zwei y
Rechnen lokal

Upload vom Threadripper zum Ryzen local ist 1 GBit/s. Das Mikrotik Modul, dass auch 2.5G kann war noch nicht im Briefkasten. Die Ubiquiti 10G können nur 1 oder 10G aber kein 2.5G oder 5G. Ganz großes Kino.

Ryzen ist daher weiterhin mit 1Gbit/s angebunden. Mein AC kann bisher auch nicht mehr als 1 GBit/s. Mehr Geräte die großartig was Empfangen und speichern können habe ich nicht daheim. Könnte höchstens mal einen Webserver auf den Threadripper packen und Ryzen, Streaming Box und Handies gleichzeitig was runterladen lassen um zu gucken ob der Upload im Lan auch limitiert ist.

Ich habe auch schon beide Lan Ports und alle möglichen Einstellungen im Intel Pro Lan probiert (16 queues, jumbo etc.)

Ich werde nachher mal nen Schaltplan vom Netzwerk und die Config posten.

Kurzfassung ist, alle ports (WAN und LAN) werden auf bridge 1 gebridged. SFP28_1 ist ebenfalls auf bridge1 gebridged. Das passt schon, oder?

Ich werde nachher auch mal den Upload auf einen 10G Server zu dem ich Zugang habe, testen.

 

[tackleberry]

Hier mal die config:

add name=bridge1
/interface ethernet
set [ find default-name=ether1 ] mac-address=BB:AA:DD:ZZ:YY:XX
set [ find default-name=sfp-sfpplus5 ] advertise="10M-half,10M-full,100M-half,10\
    0M-full,1000M-half,1000M-full,2500M-full,5000M-full,10000M-full" \
    auto-negotiation=no rx-flow-control=on speed=10Gbps tx-flow-control=on
set [ find default-name=sfp-sfpplus6 ] advertise="10M-half,10M-full,100M-half,10\
    0M-full,1000M-half,1000M-full,2500M-full,5000M-full,10000M-full" \
    auto-negotiation=no speed=10Gbps
set [ find default-name=sfp-sfpplus9 ] advertise="10M-half,10M-full,100M-half,10\
    0M-full,1000M-half,1000M-full,2500M-full,5000M-full,10000M-full" \
    auto-negotiation=no
set [ find default-name=sfp-sfpplus10 ] auto-negotiation=no
set [ find default-name=sfp28-1 ] advertise="10M-half,10M-full,100M-half,100M-fu\
    ll,1000M-half,1000M-full,2500M-full,5000M-full,10000M-full" \
    auto-negotiation=no speed=25Gbps
/interface list
add name=WAN
add name=LAN
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/ip pool
add name=dhcp ranges=192.168.2.2-192.168.2.255
/ip dhcp-server
add address-pool=dhcp disabled=no interface=bridge1 name=dhcp1
/interface bridge port
add bridge=bridge1 disabled=yes interface=sfp-sfpplus1
add bridge=bridge1 interface=sfp-sfpplus2
add bridge=bridge1 interface=sfp-sfpplus3
add bridge=bridge1 interface=sfp-sfpplus4
add bridge=bridge1 interface=sfp-sfpplus5
add bridge=bridge1 interface=sfp-sfpplus6
add bridge=bridge1 interface=sfp-sfpplus7
add bridge=bridge1 interface=sfp-sfpplus8
add bridge=bridge1 interface=sfp-sfpplus9
add bridge=bridge1 interface=sfp-sfpplus10
add bridge=bridge1 interface=sfp-sfpplus11
add bridge=bridge1 interface=sfp-sfpplus12
add bridge=bridge1 interface=sfp28-2
add bridge=bridge1 disabled=yes interface=sfp28-1
add bridge=bridge1 interface=ether1
/interface list member
add interface=bridge1 list=LAN
add interface=sfp28-1 list=WAN
/ip address
add address=192.168.2.1/24 comment=defconf interface=bridge1 network=\
    192.168.2.0
/ip dhcp-client
add disabled=no interface=sfp28-1
/ip dhcp-server network
add address=0.0.0.0/24 gateway=0.0.0.0 netmask=24
add address=192.168.1.0/24 gateway=192.168.2.1
add address=192.168.2.0/24 gateway=192.168.2.1 netmask=24
/ip firewall address-list
add address=192.168.2.0/24 list=LAN
/ip firewall nat
add action=masquerade chain=srcnat out-interface-list=WAN
/ip service
set telnet disabled=yes
set ftp disabled=yes
set www disabled=yes
set ssh disabled=yes
set api disabled=yes
set winbox address=192.168.2.74/32
set api-ssl disabled=yes
/system clock
set time-zone-name=Europe/Zurich
/system identity
set name=Brain
/system package update
set channel=testing

An sfpplus5 hängt der Threadripper. Mir ist mittlerweile aufgefallen, dass ich keine einzigen Filter Rules habe... Könnte das das Problem sein?

 

[tackleberry]

Habe mal die Speedtest.net App aus dem Microsoft Store gezogen. Die Browser Tests scheinen bei der Bandbreite wohl ungeeignet und limitieren.

So sieht der Speedtest auf dem Threadripper Pro (10G Intel LAN) es aus wenn gleichzeitig der Ryzen (2.5G Realtek) was mit 1 Gbit/s ins Netz schickt:

So sieht der Speedtest auf dem Threadripper Pro (10G Intel LAN) es aus wenn der Ryzen gerade nichts uploaded

Morgen kommt dann auch hoffentlich endlich das Mikrotik 10G SPF+ Modul, dass auch 2.5G kann. Dann bin ich mal gespannt ob das Ryzen System dann auch bei 1700 / 1050 dicht macht bzw. ob es vielleicht einfach die Ubiquiti 10 SFP+ Module am Mikrotik Router sind. Werde auch mal dem ISP schreiben ob denen bei sich Probleme bekannt sind. Werde vermutlich zwischen durch auch nochmal den Router komplett reseten um auszuschließen, dass es daran liegt. Nächste Woche sollte dann auch der 10G Switch kommen. Mal gucken ob das dann ähnlich unglatt läuft.