ComputerBase Menü
Aktuelles

10G Intel Lan packt nur ~150 Mbit/s Upstream bei 25 Gbit/s Glasfaser

Habe nun endlich mal den Threadripper an ein 1G Modul von FS.com anschließen können. Da lädt ist die Transferrate fast doppelt so hoch wie wenn ich das 10G Ubiquiti Modul nutze. Ich vermute also die 10G Module und der Router sind inkompatibel. Morgen kommt dann hoffentlich endlich das 10G Mikrotik Modul. Dann werde ich ja sehen ob es daran lag.

Ergänzung ()

0-8-15 User schrieb:
Was sagt iperf3?
Zum Vergrößern anklicken....
Bin hier Windows Only.

edit

Mit einem anderen Kabel ist dann auch mehr downstream möglich. Evtl. ist es sogar die Kombination Modul + Kabel.

1623618807855.png
 
Zuletzt bearbeitet:
Ja 10G über Cat ist halt eine Sache..

Wegen Linux reichen auch zwei USB sticks. An sich müsste sogar einer reichen.
 
Sorry, bin noch nicht zu den anderen Sachen gekommen aber das Mikrotik 10G SPF+ Modul ist da.

  • Lüfter des Routers dreht tatsächlich voll auf wenn das Modul verwendet wird (weil Temperatur hier ausgelesen werden kann und bei Ubiquiti nicht)
  • Bandbreite des Threadrippers an dem Modul ist nicht besser als am Ubiquiti, eher schlechter
  • X570 Unify funktioniert in 2.5G nicht mit dem Modul. Egal ob Auto Negotion auf beiden Seiten an oder fix auf 2.5G gestellt (Mainboard). Im Router kann man per Hand nur 1G und 10G fix für den Port einstellen...
Morgen kommt dann endlich der Switch. Mal gucken ob es da besser läuft.
 
Zuletzt bearbeitet:
Es wäre sinnvoll zu prüfen, wie hoch die eigentliche Routing Performance ist.

Dazu 2 Interfaces mit IP Adressen einstellen, Routen einstellen und dann jeweils mit einem Client und iperf3 lokal testen.

Laut Datenblatt bekommst du maximal 4Gbit/s 40Gbit/s. Routing Durchsatz auf Layer 3. Bei deiner Internetverbindung kommt noch NAT obendrauf. Dazu gibt es leider keinen Wert. Layer 2 Durchsatz ist auch nicht viel höher. Ist nunmal ein Router und kein Switch.

https://mikrotik.com/product/ccr2004_1g_12s_2xs#fndtn-testresults

Wieso hast du das SFP28-1 zur Bridge hinzugefügt? Hast du Hardware Offloading aktiviert? Laut deiner Config nämlich nicht.

Mach mal ein paar Screenshots vom Winbox von den relevanten Seiten. (mehr ist mehr)
Und liefere bitte die versprochene Skizze zu deinem Netzwerk.

Grüße
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: tackleberry
Eieiei. Kommando zurück. Wer lesen kann ist klar im Vorteil. Es sind ca. 40Gbit/s statt 4Gbit/s.
 
  • Gefällt mir
Reaktionen: Hayda Ministral
Dumme Frage aber die Angabe der Geschwindigkeit mit Routing beinhaltet immer ein NAT oder?

Aber ja würde mich auch interessieren, weil ich mit dem gedanken spiele einen eigenen Router zu bauen. Aber wenn der 10gbit mindestens hinkriegt ist das okey
 
  • Gefällt mir
Reaktionen: tackleberry
Kiso schrieb:
Wieso hast du das SFP28-1 zur Bridge hinzugefügt? Hast du Hardware Offloading aktiviert? Laut deiner Config nämlich nicht.

Mach mal ein paar Screenshots vom Winbox von den relevanten Seiten. (mehr ist mehr)
Zum Vergrößern anklicken....
Dachte das muss so...

Here we go

Ryzen hängt am sfpplus3 und Threadripper am sfpplus12. WAN ist SFP28-1. Mir ist gerade aufgefallen, dass ich überall TX und RX deaktiviert habe... War mal zum Testen. Wieder aktivieren?

Habe den Threadripper gerade an einem 1G Modul von FS.com weil der Upload mit dem Modul zu einem Server auf den ich daueruppe höher ist (zwar nicht 1G aber zuminst 50 mb/s, der Ryzen lädt den ganzen Tag locker mit 90-100 mb/s dort hoch).

Mein Mikrotik CRS309 ist heute übrigens endlich gekommen. Mal Switch and Router und alle Geräte direkt an den Switch statt Router anschließen? Ich hoffe auch der verdammte Switch verbindet den Ryzen endlich mit 2.5G...
1623854202541.png

1623854286235.png

1623854300606.png

1623854314568.png

1623854328588.png

1623854343073.png

1623854405442.png

1623854429576.png

1623854454259.png

1623854494786.png

1623854505654.png

1623854518274.png

1623854529297.png

1623854542165.png

1623854558545.png

1623854617188.png

1623854589339.png


1623854635354.png

1623854648331.png

1623854658729.png

1623854672812.png

1623854688980.png

1623854699849.png

1623854714104.png

1623854731386.png

1623854787853.png

1623854801521.png

1623854814850.png

1623854851729.png

1623854991457.png

1623855002025.png

1623855014947.png

1623855029627.png

1623855041628.png

1623855064364.png

1623855085460.png

1623855095020.png

1623855104760.png

1623855117226.png

1623855127946.png

1623855138593.png

1623855148260.png

1623855188645.png

1623855243828.png

1623855320936.png

1623855451920.png

1623855517544.png


1623855556209.png

1623855574458.png

1623855584221.png

1623855601572.png


1623855620254.png

1623855633736.png

1623855642449.png

1623855664173.png


1623855712722.png


1623855746621.png

1623855759098.png

1623855769869.png

edit

Btw:

Layer3 hardware offloading (otherwise known as IP switching or HW routing) will allow to offload some of the router features on to the switch chip. This allows reaching wire speeds when routing packets, which simply would not be possible with the CPU.
Starting with RouterOS v7.1beta4, both modes (l3hw=yes and l3hw=fw) merged, allowing to run full hardware routing on some ports and firewall-compatible mode on another. Also, l3hw renamed to l3-hw-offloading.
Zum Vergrößern anklicken....
Quelle: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading
Ergänzung ()

Hayda Ministral schrieb:
2.5GbE und 5GbE sind nach 10G definiert worden. Entsprechend kann man sich nicht darauf verlassen das ein 10GbE-Router auch die Zwischenstufen beherscht.
Zum Vergrößern anklicken....
So, mit 6.49beta ging 2.5 es nun doch.

Router Port auf Auto Negotiate und Advertise nur auf 2.5G. NIC auf Auto Negotiate. Rx und Tx hatte ich auf beiden Seiten aus und nun am Router auf auto und am X570 Unify (Fließkontrolle) auf aktiviert. Scheinbar kann der Speedtest Server von Init7 nicht mehr liefern. Die Werte hat ich ja am Threadripper auch erreicht.

1623856774536.png

1623856545482.png

Ergänzung ()

Kiso schrieb:
Dazu 2 Interfaces mit IP Adressen einstellen, Routen einstellen und dann jeweils mit einem Client und iperf3 lokal testen.
Zum Vergrößern anklicken....
Ist die Bitte noch aktuell? Ich schnalle auch nicht ganz was genau ich machen soll.
Ergänzung ()

Habe mal "Fast Forward" auf Interface "Bridge" deaktiviert... Werte waren anfangs sogar im 2000er Bereich für Downstream und Upstream. Test mit Ryzen (2.5G NIC).
1623858465580.png



Zum Thema Fast Forward. RTFM.
:daumen:

Fast Forward allows to forward packets faster under special conditions. When Fast Forward is enabled, then the bridge can process packets even faster since it can skip multiple bridge related checks, including MAC learning. Below you can find a list of conditions that MUST be met in order for Fast Forward to be active:

  • Bridge has fast-forward set to yes
  • Bridge has only 2 running ports
  • Both bridge ports support Fast Path, Fast Path is active on ports and globally on the bridge
  • Bridge Hardware Offloading is disabled
  • Bridge VLAN Filtering is disabled
  • bridge DHCP snooping is disabled
  • unknown-multicast-flood is set to yes
  • unknown-unicast-flood is set to yes
  • broadcast-flood is set to yes
  • MAC address for the bridge matches with a MAC address from one of the bridge slaves
  • horizon for both ports is set to none
Zum Vergrößern anklicken....

Fast Forward ist also scheinbar nur für Bridges mit 2 Ports gedacht.
 
Zuletzt bearbeitet:
Noch ein Speedtest mit einem anderen Server (Ryzen System mit 2.5G). Glaube echt das aktivierte Fast Forward auf der Bridge war das größte Problem bislang.

1623859216728.png


:schluck:

So jetzt optimieren wir den Threadripper. Nächstes Ziel 10Gbit/s.:verwandlung:

edit

Threadripper (NIC wieder komplett auf default Settings) gammelt am Ubiquiti 10G Modul weiterhin mit niedrigen Geschwindigkeiten ins WAN rum. Beim Transfer zwischen Threadripper und Ryzen habe ich im LAN etwa 150 MB/s Spitze erreicht aber in Speedtests ist beim Threadripper im Upload meist bei 700 Mbit/s Schluss. Habe jetzt noch ein Mikrotik 10G Modul bestellt. Sollte morgen kommen und werde dann damit weitertesten. Bin froh, dass der Ryzen nun mehr als 1G hat und werde dann mit dem Threadripper weitertesten wenn das zweite Mikrotik Modul das ist.

Am WE werde ich mich dann auch mal mit dem Switch beschäftigen.
 
Zuletzt bearbeitet:
Ich bin gerade noch unterwegs. Aber hw offloading ist bei dir deaktiviert. Bei den Switchen musste man das immer explizit aktivieren. Weiß jetzt gerade nicht wie das bei den Routern ist. Aber in dem einen Screenshot war's ausgegraut?!

Ich find's super spannend und würde dir gerne helfen. Ich befasse mich nachher nochmal genau damit.

Ich würde die config erstmal so basic wie möglich machen und dann intern im LAN auf ordentliche Werte mit iperf kommen und dann mit dem Internet weiter machen.
Ergänzung ()

Was hast du denn nun genau für NICs und Transceiver wo drin? Das immer aus Fließtexten zusammenzustellen ist ziemlich aufwendig.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Skysnake und tackleberry
Kiso schrieb:
Ich würde die config erstmal so basic wie möglich machen und dann intern im LAN auf ordentliche Werte mit iperf kommen und dann mit dem Internet weiter machen.
Zum Vergrößern anklicken....
Genau das wollte ich auch gerade empfehlen. Alles andere ist in meinen Augen nur stochern im Nebel.
 
  • Gefällt mir
Reaktionen: tackleberry
Kiso schrieb:
Ich bin gerade noch unterwegs. Aber hw offloading ist bei dir deaktiviert. Bei den Switchen musste man das immer explizit aktivieren. Weiß jetzt gerade nicht wie das bei den Routern ist. Aber in dem einen Screenshot war's ausgegraut?!

Ich find's super spannend und würde dir gerne helfen. Ich befasse mich nachher nochmal genau damit.

Ich würde die config erstmal so basic wie möglich machen und dann intern im LAN auf ordentliche Werte mit iperf kommen und dann mit dem Internet weiter machen.
Ergänzung ()

Was hast du denn nun genau für NICs und Transceiver wo drin? Das immer aus Fließtexten zusammenzustellen ist ziemlich aufwendig.
Zum Vergrößern anklicken....
So viel mir ist unterstützt der Router kein Hardware offloading, was einer der grössten Kritikpunkte ist im Internet
 
  • Gefällt mir
Reaktionen: tackleberry
killerkappi schrieb:
So viel mir ist unterstützt der Router kein Hardware offloading, was einer der grössten Kritikpunkte ist im Internet
Zum Vergrößern anklicken....
Layer3 hardware offloading (otherwise known as IP switching or HW routing) will allow to offload some of the router features on to the switch chip. This allows reaching wire speeds when routing packets, which simply would not be possible with the CPU.
Starting with RouterOS v7.1beta4, both modes (l3hw=yes and l3hw=fw) merged, allowing to run full hardware routing on some ports and firewall-compatible mode on another. Also, l3hw renamed to l3-hw-offloading.
Zum Vergrößern anklicken....
Quelle: https://help.mikrotik.com/docs/display/ROS/L3+Hardware+Offloading

Ist das genau das was mit 7.1 behoben wird?

edit

Hier noch ein paar auswählte Screenshots vom Ryzen System (2.5G) nachts um 2 Uhr (nebenher noch nen 30 mb/s upload laufen gehabt...). Mit der Performance für den Ryzen kann ich leben. Auch auf den Websites wo ich hochlade, ist nun alles deutlich zügiger online. Beim Threadripper (10G) muss aber deutlich mehr gehen. Das kriegen wir aber auch noch hin. Mal gucken was das Mikrotik Modul bringt und ich werde wohl mal die 7.1beta der RouterOS Firmware ausprobieren.

1623888725885.png

1623888388234.png

1623888870884.png

1623888470629.png

1623888820040.png

Mit so viel Bandbreite kommt dann das First World Problem, dass man sich darüber aufregt, dass 99.9% der Server im Netz langsamer sind. Ich glaub ich mach im Keller mein eigenes Rechenzentrum und mein eigenes CDN auf. 2 Vcores, 16 GB RAM, 100 GB SSD NVME, 250 Mbit/s garantiert für 10 Euro im Monat anyone? :daumen:
 
Zuletzt bearbeitet:
Ich habe keinen Mikrotik Router hier und normalerweise geht Troubleshooting deutlich besser, wenn man es vor sich stehen hat. Ich suche es jetzt also auch nur aus der Mikrotik Wiki zusammen. Sichere also deine Config vorher.

Dann musst du den Router resetten und keine(!) Default Config laden.

Dann diese Config laden.

Code: 
config removed

Wenn das geklappt hat und du immer noch online bist, hab ich erstmal alles richtig gemacht.

An sfp-sfpplus-1 kommt dann ein Client und an sfp-sfpplus-2 der andere. IP Adressen musst du hier manuell konfigurieren. Dann den jeweils anderen anpingen und wenn das geht mit iperf3 den Durchsatz in beide Richtungen messen.

Client 1:
sfp-sfpplus1
IP: 10.2.0.2
SM: 255.255.255.0
SG: 10.2.0.1


Client 2:
sfp-sfpplus2
IP: 10.3.0.2
SM: 255.255.255.0
SG: 10.3.0.1

Iperf3:
https://iperf.fr/iperf-download.php#windows

Client 1
iperf3.exe -s

Client 2
iperf3.exe -c 10.2.0.2 -w 1M

Und umgekehrt. iperf muss in der Windows Firewall freigegeben werden!
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Hayda Ministral und Skysnake
Du musst dich einloggen oder registrieren, um hier zu antworten.

Ähnliche Themen

T
PCIe Netzwerkkarte für 25 Gbit/s Glasfaser - Router im Eigenbau
2
Antworten
27
Aufrufe
7.450
killerkappi
killerkappi
Zurück
Oben

Willkommen auf ComputerBase!

Mit Werbung weiterlesen

Besuche ComputerBase wie gewohnt mit Werbung und Tracking. Die Zustimmung ist jederzeit widerrufbar.

Details im Privacy Center und in der Liste unserer Partner. Ein Widerruf ist möglich in der Datenschutzerklärung.

… oder ComputerBase Pro bestellen

Nutze ComputerBase ohne Werbebanner, Video-Ads und Werbetracking schon für 4 €/Monat oder 36 €/Jahr.

Mehr zu ComputerBase Pro

Bereits Pro-Nutzer? Hier anmelden.

Tracking: Wir und unsere 160 Partner verarbeiten personenbezogene Daten, indem wir mit auf Ihrem Gerät gespeicherten Informationen (z. B. eindeutige Kennungen in Cookies) ein Nutzungsprofil erstellen, um z. B. Anzeigen zu personalisieren. Verarbeitungszwecke: Genaue Standortdaten und Abfrage von Geräteeigenschaften zur Identifikation, Informationen auf einem Gerät speichern und/oder abrufen, Personalisierte Anzeigen und Inhalte, Anzeigen- und Inhaltsmessungen, Erkenntnisse über Zielgruppen und Produktentwicklungen.

Impressum Kontakt Datenschutz